2001/3.

Tudománypolitika

A szakértői bírálattól a portfólió-elemzésig

Balogh Tamás

Az alkalmazott kutatás-fejlesztés értékelése

A kutatásértékelés célja és módszerei

A közpénzből nyújtott támogatások felhasználásának átláthatósága egyre fontosabb. A K+F programok elengedhetetlen része a szakmai értékelés, amikor független szakértők vizsgálják a kutatás közvetlen és közvetett hatásait (1. táblázat). Az értékelés az átláthatóság és az elszámoltatás megvalósításán túl módot ad a tanulásra, a programok fejlesztésére is.

A K+F értékelésének célja lehet a kitűzött célok és az elért eredmények összehasonlítása, a felhasznált eszközök hatékonyságának mérése, a szervezeti fejlődés és tanulás elősegítése; információ a tudomány- és technológiapolitika számára; a támogatási rendszer legitimációjának erősítése, a kutatási területek és intézmények összehasonlítása, vagy az igazságos és hatékony pénzelosztás segítése. A kialakult módszerek szintén sokfélék, de vannak közös elveik (Kaukonen, 1997):

1. Az értékelés a kutatás szerves része.

2. Az értékelés ne adminisztratív kontroll, hanem "kutatásbarát" kezdeményezés legyen.

3. A negatív hatások és a manipulálás elkerülésére az értékelés konszenzussal alakuljon ki.

4. A következtetések legyen közérthetők, az egyszerű állampolgár számára is világosak.

5. Nem a számszerűsítés fontos, hanem az átláthatóság és az eredmények megértése.

6. A kutatók ideje értékes; célszerű takarékosan bánni vele.

7. Ki kell választani az adott célra legjobb értékelési módszert.

Alapkutatások esetében a megítélés tárgya az egyéni kiválóság, illetve a kutatócsoport vagy intézmény színvonala. Ezekkel kapcsolatban sok a tapasztalat: kialakult az intézményértékelés mint fontos, esetenként kutatói sorsokat eldöntő értékelési terület (Berényi, Haraszthy, 1997). A projekt- és programértékelés viszont a K+F ráfordítások megtérülésére, illetve a tapasztalatok visszacsatolása révén kialakuló tanulásra helyezi a hangsúlyt.1 Ez a két cél és gondolat - a társadalomban a K+F megítélésében uralkodó hangulattal és trendekkel összefüggésben - keveredik az értékelés során, és ha eltérő mértékben is, de mindkettő jelen van (Georghiou, 1997). A K+F értékelési módszerek egy lehetséges csoportosítása néhány módszertani összefoglaló munka (OECD, 1987; Mulcaster et al., 1993; Anderson és Fears, 1996; OECD, 1997; Berg és Lindberg, 1997; TAFTIE, 1997; Vedung, 1997; Arnold és Balázs, 1998) alapján a következő:

1. Szakértői bírálaton (peer review) alapuló módszerek

• Hagyományos bírálati módszer

• Módosított bírálati módszer

2. Interjús és kérdőíves módszerek

3. Félkvantitatív módszerek

• Bibliometria

• Szabadalomelemzés

• Tudományos és technikai indikátorok elemzése

4. Kvantitatív módszerek

• Költség-haszon elemzés

• Ökometriai módszerek

• A gazdasági többleteredményen alapuló módszerek

5. Esettanulmányok

6. Teljesítmény-indikátorokon alapuló elemzések

7. Portfólió-elemzési módszerek

Szakértői bírálaton alapuló módszerek

A hagyományos bírálati módszer (peer review) az adott kutatási terület legkiválóbbjainak véleményén alapul. Ennek erőssége a magas szakmai színvonal. Elsősorban alapkutatások, a személyes tudományos kiválóság megítélésekor (tudományos fokozathoz kapcsolódó védések) és kéziratok tudományos folyóiratokban történő közölhetőségének elbírálásához alkalmazzák.

A hagyományos bírálat nem kedvez a nagy felfedezéseknek és áttöréseknek, hanem a kis lépésekben haladó kutatókat részesíti előnyben.2 Mellette szól viszont, hogy a szakmai nyilvánosság a helytelen állásfoglalásokat adó bírálók véleményeit leértékeli, így ez egy tanulási folyamat során garancia a minőségre.

A módosított bírálati rendszer abban tér el a hagyományostól, hogy az értékelésbe bevonnak a témában nem jártas, társadalmi-gazdasági kérdésekkel foglalkozó szakértőket is. Így bekerül a szempontok közé a K+F tevékenység társadalmi és gazdasági hasznossága is. A tudományos képzettség önmagában nem tesz valakit értékelőnek alkalmassá, de nélkülözhetetlen az adott szakterületet ismerő személyek jelenléte az értékelő csoportban. Szokás olyan értékelést is végezni, ahol két csoportban párhuzamosan működnek a szakterület mély ismeretével rendelkező szakértők és a társadalmi-gazdasági szakértők. A módosított bírálat főleg az alkalmazott K+F értékelésében terjedt el, de olyan alapkutatásoknál is alkalmazzák, ahol a cél világosan látható (Mulcaster et al., 1993).

A szakértői bírálati (peer review) módszerek előnyei és hátrányai

Előny:

• Egyszerű szervezés és lebonyolítás.

• Kísérletet tesz a társadalmi haszon elemzésére.

• Kis költség.

• Magas szakmai színvonal.

• Rendszerezhető és ellenőrizhető eredmények.

Hátrány:

• Gyakran túlértékelik a tudományos minőségi szempontokat.

• Kevés véleményen alapulnak.

• Kultúra- és referenciakritérium-függőek, szubjektivitásra adnak módot.

• Csak kvalitatív eredményeket adnak.

• Nem kedveznek a nagy áttörések elismerésének.

• A bíráló csoporton belül gyakran tekintélyelv uralkodik.

• A hagyományos bírálatok gyakran elhanyagolják a hasznosítás szempontjait.

Interjús és kérdőíves módszerek

A K+F gazdasági és társadalmi hatásainak felmérésére a leginkább a személyes interjúk és a kérdőívek alkalmazása terjedt el. Ezek rokonságot mutatnak a nagyszámú szakértőre kiterjedő módosított peer review módszerrel és a vevői megelégedettség vizsgálatára vonatkozó vállalati felmérésekkel. Előnyük, hogy egységes interjúvázlatokkal és kérdőívekkel, az adatok elemzésével sok érintett szakértő, felhasználó vagy potenciális partner véleményét figyelembe lehet venni.

A felmérések két jellemző típusa:

a)Résztvevői felmérés: a kérdéseket azoknak teszik fel, akik közvetlenül vagy közvetve (pl. információk szolgáltatásával) részt vettek a K+F munkában.

b)Hasznosítói felmérés: a kérdéseket egy széles, reprezentatív körnek teszik fel (a kutatási eredmények felhasználói vagy külső szakértők). Gyakori, hogy a szélesebb körnek egy jól definiált hányadát a K+F munka résztvevői adják.

A felmérések régi problémája a pozitív irányú torzítás szinte törvényszerű megjelenése. Ennek kiszűrésére nagyszámú kérdésre van szükség, amelyek a válaszadó számára mutatott fontosságot és a hasznosságot különböző nézőpontokból közelítik. A kérdések felölelhetik a válaszadónak a kutatási területhez fűződő érdeklődését és elkötelezettségét, vagy a kutatás fontosságát a válaszadó szervezete számára (Bennet és Jaswal, 1989). Egy másik módszer szerint pontos, tárgyszerű kérdéseket kell feltenni az eredmények gyakorlati hasznosítására és az azokból származó társadalmi-gazdasági hatásokra vonatkozóan. Egy harmadik módszer szerint utólagos interjút készítenek a válaszadók egy részével, és szembesítve őket más forrásból származó hasonló adatokkal, őszintébb válaszokat kapnak. Fontos, hogy a kérdéseket összeállító szakértők legyenek tisztában a vizsgált K+F jellegével, céljaival, és ne tegyenek fel felesleges kérdéseket. Az interjú előnye, hogy alkalmas a korábbi esettanulmányok ellenőrzésére és tapasztalataik általánosítására, a nyitott kérdések révén pedig új ismeretekhez és szempontokhoz juttathatja az értékelőket és az értékelés megrendelőit. Az új szempontok segítik a program céljainak, prioritásainak átgondolását.

Az interjús és kérdőíves felmérések előnyei és hátrányai

Előny:

• Sok vélemény figyelembevétele.

• A nyitott kérdések révén gyakran új, érdekes szempontok merülnek fel.

• Alkalmasak kvantitatív jelzőszámok meghatározására.

• Alkalmasak az esettanulmányok eredményeinek általánosítására.

Hátrány:

• A kérdések strukturálása és a válaszok értelmezése torzíthatja az eredményt.

• A válaszadók hajlamosak a valóságosnál pozitívabb kép kialakítására, mert az értékelés eredménye kihathat saját későbbi támogatásukra.

Félkvantitatív módszerek

E módszerek főleg a kutatás minőségének és kevésbé társadalmi-gazdasági hasznosságának mérésére irányulnak. Három ilyen elterjedt módszer a bibliometria, a szabadalomelemzés, valamint a tudományos és technológiai indikátorok alkalmazása.

A bibliometria a publikációk elemzésére alapozott értékelés. Közismert, hogy a kutatók világában már nemcsak a siker, hanem egyre inkább az egzisztencia alapvető feltétele a rendszeres publikálás. Igen fontos, hogy a tudományos eredmény közzététele hol, milyen elismertségű (impakt faktorú) folyóiratban, illetve milyen kiadónál történt.

A bibliometriai indikátorok alapvetően a kutatás tudományos minőségének értékelésére alkalmasak. Alkalmazásuk arra a feltevésre épül, hogy a tudományos haladás az információk cseréjén alapul, és a kutatónak egy adott K+F témában közölt publikációja jól jellemzi a projekt vagy a kutató fejlődését. A legegyszerűbb ilyen indikátor a publikációk száma, de az évtizedek során sok bonyolultabb és kifinomultabb módszer is kialakult (pl. citációs index elemzése, ko-citációs elemzés, ko-word elemzés és ko-klasszifikációs elemzés).

A szabadalomelemzés mögött az a feltevés húzódik meg, hogy egy K+F tevékenység műszaki sikeressége mérhető a termékekre, eljárásokra vagy rendszerekre vonatkozó szabadalmak számával. Ez a megközelítés is torzít, mert nincs olyan kutatás, amelynek eredménye kizárólag a szabadalomra szűkíthető. A szabadalmak egyrészt nem jönnek automatikusan létre a K+F projektek eredményeképp, másrészt nem biztos, hogy sikertelen az az alkalmazott K+F projekt, ami nem vezet szabadalomhoz. A vállalatok szabadalmi stratégiája is változott: egyre gyakrabban az eredmények titokban tartása mellett döntenek és "előre menekülnek". A szabadalomelemzés másik gyengéje, hogy nem méri, alkalmazzák-e a szabadalmat, és ha igen, milyen széles körben. Emiatt a szabadalomelemzés - bár elvileg többet mond a hasznosításról, mint a publikációk elemzése - valójában kevés információt nyújt a tényleges társadalmi-gazdasági hatásokról. Más, összetettebb eljárások keretében, egyik fontos indikátorként azonban hasznos lehet.

A tudományos és technológiai indikátorok annak makroszintű mutatói, hogy egy társadalom milyen erőforrásokat mozgósít kutatásra és fejlesztésre. A legtöbb indikátor jól mérhető, és a nemzeti statisztikai hivatalok mérik is ezeket, mint például a kutatóhelyek számát, a K+F ráfordítások mértékét, megoszlását, a kutatók és fejlesztők számát, a felsőoktatási ráfordítások alakulását, a hallgatók létszámát, vagy a tudományos fokozattal rendelkezők számát.

A ráfordítási oldal indikátorai mellett vannak olyan makromutatók, amelyek az eredményekre utalnak. Az eredményeket mérik a bibliometriai és szabadalmi teljesítmények adatai, de közvetve olyan társadalmi mutatók is, mint a könyvkiadás, az élveszületések aránya, a várható élettartam, a fejlett infrastruktúrával ellátott lakosság vagy a fejlett termelő és szolgáltató szektorokban foglalkoztatottak aránya. Ezeket az indikátorokat viszont olyan sok más társadalmi és gazdasági tényező befolyásolja, hogy szinte lehetetlen kimutatni a közvetlen összefüggést a K+F tevékenységgel.3 Emiatt a tudományos és technikai indikátorok alkalmasak lehetnek nagyobb léptékű - országos vagy regionális - összehasonlításokra, döntések előkészítésére, de alig alkalmasak a K+F társadalmi és gazdasági hatásainak elemzésére. A legjobb esetben közvetett információként használhatók a K+F szélesebb környezetének megismeréséhez.

A félkvantitatív módszerek előnyei és hátrányai

Előny:

• Számszerűsíthető, átlátható és ellenőrizhető adatokat szolgáltatnak.

• Lehetővé teszi a kutatók és kutatócsoportok normatív összehasonlítását.

• Más módszerekkel kombinálva hasznos indikátorokat adnak.

Hátrány:

• Általában egy-egy paraméterre koncentrálnak.

• Nem adnak választ a K+F társadalmi és gazdasági hasznosság kérdésére.

• A makromutatókon belül nem lehet elkülöníteni a K+F hatásait.

Kvantitatív módszerek

Közös jellemzőjük, hogy a K+F tevékenység gazdasági hatásaira koncentrálnak, és azokat matematikai formában elemzik. A módszerek eltérnek a számszerűsítés szintje és a figyelembe vett időtáv tekintetében. Legismertebb változatai: a költség-haszon elemzések (ezen belül a megtérülés számítására és a nettó jelenérték számítására épülő módszerek), az ökonometriai elemzések, valamint a gazdasági többleteredmény elemzése.

Költség-haszon elemzés. A K+F ráfordítások és azok társadalmi-gazdasági hasznának elemzése szilárd módszertani alapokon nyugszik. Az elemzések a K+F ráfordításokat befektetésnek tekintik, amelynek megtérülését más befektetési lehetőségekhez kell mérni. Figyelembe kell venni az alternatív költségeket, tehát a kutatás helyett végrehajtott befektetések várható hasznát (Levin et al., 1987). A gondolatmenet feltételezi, hogy a társadalom erőforrásai teljes mértékben ki vannak használva és egymással helyettesíthetők, tehát csak akkor lehet azokat egy újabb K+F projekt keretében felhasználni, ha egy másik területről kivonjuk. A kivont erőforrásokkal előállítható termékek és szolgáltatások értékénél kell a K+F projekt keretében nagyobb értéket előállítani (Jones, 1989). Három költségelemet vesznek figyelembe: a közvetlen K+F ráfordítást, a gyakorlati hasznosítás költségeit, valamint a végfelhasználóknak az eredmények alkalmazásával kapcsolatos saját költségeit.

A haszon oldalán a K+F tevékenység eredményeként új vagy a korábbinál jobb termékek, eljárások vagy rendszerek értékét veszik figyelembe azon az áron, amit a társadalom kész értük megfizetni. A közvetett hatásokat, pl. az új tudásnak az oktatásban és a képzésben történő felhasználását, a csökkenő környezeti terhelést, a javuló egészségügyi helyzetet vagy munkakörülményeket is igyekeznek figyelembe venni, bár ez nem könnyű. Ha a közvetett hatásokat nem is sikerül számszerűsíteni, akkor is fontos azok azonosítása és kvalitatív leírása a haszon oldalán. Ha egy fejlesztés negatív externáliákkal és/vagy kockázatokkal jár, akkor ezt a költségek oldalán kell figyelembe venni. A társadalmi szintű haszon felmérése azért nehéz, mert az nemcsak időben nyúlhat el, hanem különböző szinteken és a társadalom különböző szereplőinél jelentkezik (kutató, fejlesztő, gyártó, kereskedő, felhasználó stb.). A költség-haszon elemzésre épülő értékelés angolszász közelítése elsősorban a passzív K+F politika számára szolgáltat érveket (Török, 1998).

Ha képet akarunk kapni az erőforrások felhasználásának alakulásáról, nem elég a K+F tevékenység költségének és hasznának számszerű értékét kimutatni, hanem meg kell határozni a kapcsolódó kockázatot és azt is, hogy ez hol jelentkezik. Fontos a költség és a haszon időbeli ütemezése is, mert így lehet számításba venni a szükséges ráfordításokat és a jelenértékre átszámított hasznot.

A pénzfelhasználás értékelésének igénye először az angolszász kultúrkörben jelent meg, amely azóta is élen jár a "value for money" megközelítésben, leginkább a költség-haszon vizsgálatokban. Ezek módszertani kérdése az, hogy a hányadost a műszaki fejlesztési folyamat mely szakaszában számítjuk, de legalább ekkora gond az, hogy mit értünk input és output alatt. A haszon meghatározása - más, nem K+F jellegű beruházásokhoz hasonlóan - a belső megtérülési ráta kiszámításával történik (Bozeman, Melkers, 1993).

Minél közelebb vagyunk az alapkutatáshoz, annál nehezebb meghatározni a haszon jellegét, mértékét és időzítését, és annál nagyobb a súlya a közvetett hatásoknak. Nagy a szerepe a más tudományterületen vagy iparágban történő hasznosulásnak, de ezek követése bizonytalan. Nehéz elkülöníteni azt is, hogy az eredmény mennyiben tulajdonítható a K+F projektnek és mennyiben más innovációs tényezőknek (tőke, menedzsment, formatervezés, piaci körülmények). A számításokban csak a növekményeket szabad figyelembe venni, ami azért nehéz, mert általában nincs összehasonlítható kontrollcsoport.

A költség-haszon elemzés tehát elméletileg alkalmas a társadalmi és gazdasági hatások értékelésére, de nem képes a gazdasági eredményekhez hasonló "robusztus" adatokkal kimutatni a nem mérhető ráfordításokat és hasznot. Sokak szerint a költség-haszon elemzés teljesen hasznavehetetlen, mert nagy ráfordításokat igényel és nem képes a másodlagos hatások mérésére. Ennek a kritikának van alapja, de el kell ismerni a módszer átláthatóságát, logikus szerkezetét és azt, hogy alkalmas a párhuzamos alternatívák összehasonlítására, döntéselőkészítésre.

Az ökonometriai módszerek a gazdasági teljesítmény vagy a termelékenység javulása, valamint a K+F és egyéb pozitív hatások közötti függvénykapcsolat meghatározására törekszenek. A függvény alapján meg lehet becsülni a K+F ráfordítások gazdasági megtérülésének statisztikai jellemzőit is (Mansfield, 1991).

E módszerek egyik hátránya, hogy nagy a munka- és adatigényük, és nehéz a függvények felállítása, valamint a homogén adatok biztosítása, mert sok független, a K+F körén kívül eső változót kell figyelembe venni. Másik hátrányuk, hogy csak az alapadatokhoz történő illeszkedés ellenőrizhető, és nincs ismeretünk arról, hogy elvileg jó-e a függvény, miközben a társadalmi megtérülés számszerűsítése igen kényes probléma. A helyzetet tovább bonyolítja, hogy gyakran összesített adattömegből dolgoznak és szubjektív döntéseken múlik a változók kiválasztása is. Így elképzelhető, hogy nagy adatbázisok alapján makroszintű következtetések levonhatók, és ezek mégsem alkalmasak árnyalt elemzésre. Az ökonometriai módszerek általában azon a helytelen feltevésen alapulnak, hogy a gazdasági folyamatok kizárólag a szóban forgó K+F projektek eredményeként alakultak, így nem adnak igazi alternatívát az értékelésre. Nagyobb, makroszinten mérhető hatású infrastruktúra-fejlesztési programok értékelésére viszont alkalmasak.

A gazdasági többleteredményen alapuló módszerek. Többleteredményen a gazdaságban a K+F tevékenység következtében létrejött és a K+F nélkül kialakult állapot közötti különbséget értjük. E módszerek a K+F ráfordításokat azzal a gazdasági haszonnal hasonlítják össze, amit a K+F tevékenység összességében a társadalomnak hozott. Az eredmények hasznosulásán túl figyelembe vesznek olyan, mérhető járulékos hatásokat is, mint a kutatók fizetésének vásárlóerőként történő megjelenése, a kutatáshoz szükséges anyagok és eszközök vásárlásának közvetlen keresletnövelő hatása, vagy a gazdaságban megjelenő közvetett, tovagyűrűző hatások. Feltételezik, hogy a gazdaságban megjelenő keresletnövekedés újabb munkahelyeket és beruházásokat, vagy a meglévők jobb kihasználtságát eredményezi.

A gazdasági többleteredményen alapuló módszerek sok adatot igényelnek. Ezek elsődleges forrásai kérdőívek és interjúk, valamint a nemzeti K+F statisztikák. Rákérdeznek arra, hogy a K+F szervezet a munka során milyen vállalkozástól vásárolt anyagot, berendezést vagy szolgáltatást. Az összegyűjtött adatok alapján kimutatják az elsődleges és másodlagos gazdasági hatásokat, annak az elméleti lehetőségnek a végiggondolásával, hogy az érintett vállalatok forgalma, nyeresége és a foglalkoztatottak száma hogyan viszonyul ahhoz az esethez, ha nem kaptak volna ilyen megrendelést. Ezeket a becsléseket egyenként végzik el az érintett vállalatokra, majd az adatokat összegzik.

Bár a módszer sokat mond a kutatás gazdaságra történő visszahatásáról, hibája, hogy a K+F tevékenységet puszta pénzmozgásként kezeli és éppen azokat az eredményeket hanyagolja el, amelyek érdekében a kutatást végzik. Ebből a szempontból lényegesen eltér a költség-haszon elemzéstől, mert ott például a K+F intézmények adóbefizetéseivel nem foglalkoznak, itt viszont a társadalmi megtérülés fontos részének tekintik. A gazdasági többleteredményen alapuló módszerek tehát egyoldalú képet adnak a K+F eredményességéről, de tanulságosak abból a szempontból, hogy akár ilyen mértékig is el lehet menni a közvetett gazdasági megtérülés vizsgálatában, így kiegészíthetik egy költség-haszon elemzés szempontjait.

A kvantitatív módszerek előnyei és hátrányai

Előny:

• Logikus, matematikailag kezelhető, átlátható és ellenőrizhető adatok.

• Lehetővé teszik projektek összehasonlítását, ezzel megalapozhatják az erőforrások felhasználásáról hozott döntéseket.

• Hangsúlyozzák a K+F társadalmi hasznosságának követelményét.

Hátrány:

• Szűk szempontokra korlátozódnak a közvetett hatások figyelembevételénél.

• Ritkán képesek figyelembe venni a hosszabb távú hatásokat.

• Eredményeik matematikai megjelenítésével megbízható hatást keltenek, miközben pontosságukat számos módszertani nehézség gátolja. Költségesek.

Esettanulmányokon alapuló értékelések

Az esettanulmányok egyedi K+F projektek elemzésével foglalkoznak, általában több módszert is alkalmazva az állítások megalapozására vagy illusztrálásra. Az esettanulmány valószínűleg a leghasznosabb módszer a K+F és a hozzá kapcsolódó társadalmi és gazdasági hatások mélyebb összefüggéseinek megértéséhez, hátránya viszont, hogy a sok kvalitatív jellegű megállapítás nehezen összegezhető.

Az esettanulmány egy speciális típusa a projekt történetének leírása a kutatástól az alkalmazásokon át a piaci hasznosításig, illetve visszafelé, az eredmény ismeretében a siker szempontjából legfontosabb mozzanatok azonosítását végzi. Bár a történeti megközelítés magában hordozza a régi lineáris innovációs modell jegyeit, a visszatekintő rész és a fő lépések elemzése miatt ez a közelítés tartalmában és szemléletében is meghaladja azt.

Az esettanulmányokkal vizsgálhatók a sikerek és sikertelenségek okai, mert megvilágítják a projektek fő elágazási, döntési pontjait. Segítenek annak megértésében is, hogy hogyan alakulnak a K+F eredmények közvetlen és közvetett társadalmi haszonná. Hátrányuk, hogy kevésbé képesek konkrét következtetéseket adni és feltárni a társadalmi haszon összetevőit, valamint azok nagyságát.

Az esettanulmányokon alapuló értékelések előnyei és hátrányai

Előny:

• Konkrét eseteken követik a K+F és a társadalmi-gazdasági hatások összefüggéseit.

• Segítenek a sikertényezők azonosításában.

• Alkalmasak komplex folyamatok megértésére és döntések megalapozására.

• Előre meghatározott indikátorok nélkül is feltárják az összefüggéseket.

Hátrány:

• A múltra vonatkoznak, így folyamatban lévő ügyek vizsgálatára nem alkalmasak.

• Szubjektívek, nagymértékben függenek az értékelő személyes tapasztalataitól.

• Eredményeik nem vagy nehezen általánosíthatók.

• Költségesek, ezért nagyszámú téma vizsgálatára kevésbé alkalmasak.

• Szöveges jellegük miatt kevés kvantitatív eredményt adnak, ezért nehéz beépíteni ezeket a rutinjellegű monitoring-tevékenységbe.

Teljesítményindikátorok alkalmazása

A teljesítményindikátorok olyan számszerűsített minőségi és mennyiségi mutatók, amelyek a kitűzött célok teljesítését jellemzik. Teljesítményindikátorok alkalmazása esetén a félreértések elkerülése érdekében mindig szükséges az indikátorok pontos leírása. Megbízhatóságuk annál nagyobb, minél nagyobb az alkalmazott információs források és módszerek száma. A négy fő indikátortípus használatát értékelési és monitoring vizsgálatok céljára a 2. táblázat foglalja össze.

A ráfordítás indikátorok a K+F tevékenységben felhasznált erőforrások nagyságát írják le, függetlenül azok eredetéről (pl. hazai, külföldi, állami, vállalati, alapítványi K+F ráfordítások, közvetett ösztönzők és kedvezmények).

A folyamatindikátorok a tevékenység operatív jellemzőit írják le, mint például a menedzsment hatékonysága, a projekt helyzete. Ezeket főleg a monitoringtevékenység keretében, a program végrehajtásának javítására használják, és a leginkább ezek alkalmasak az összehasonlító vizsgálatok követésére.

Az eredményindikátorok azt az eredményt írják le, ami a projekt végrehajtásából származik vagy várható. Alkalmazott K+F és kísérleti fejlesztés esetén ezek általában új termékek, eljárások, szolgáltatások, módszerek, új vállalatok, forgalom-, export- és nyereségnövekedés, új munkahelyek stb. Ezek fő felhasználási területe az ex-ante (várt) és az ex-post (megvalósult) értékelés.

A hatásindikátorok általánosabb értelemben írják le egy projekt vagy program eredményeit a gazdaságban és a társadalomban: pl. vállalatok versenyképessége, egy-egy ipari szektor vagy egy régió megerősödése, új munkahelyek, környezetvédelmi hatások, a közszolgáltatások minősége. A ráfordítás- és az eredményindikátorok együttes alkalmazása visszavezet a költség-haszon elemzéshez, amely a kvantitatív módszereken belül a leggyakrabban alkalmazott eljárás.

Az indikátorok előnye, hogy a jól definiált adatok gyűjtése és rendszerezése viszonylag egyszerű és olcsó. Az indikátorok egyaránt alkalmasak a múltban, a jelenben és a jövőben végzett K+F tevékenység követésére, ezért fontos összekötő kapcsot jelentenek az értékelés és a monitoring között. Hátrányuk, hogy egyszerűsítenek és használatuk során elsikkadhatnak fontos kvalitatív információk, ezért a folyamatok és összefüggések megértésére kevésbé alkalmasak, mint pl. az esettanulmányok.

Az indikátorokon alapuló értékelés előnyei és hátrányai

Előny:

• Az indikátorok könnyen azonosíthatók, strukturálhatók és számszerűsíthetők.

• A folyamatban lévő programok követésére valószínűleg ez a legjobb módszer.

• Fegyelmezi a gondolkodást azáltal, hogy előre meg kell határozni a célokhoz illő, mérhető indikátorokat.

• Az összes értékelési módszer közül a legolcsóbb.

Hátrány:

• A súlyozás szubjektivitása torzításhoz vezethet.

• Indikátorra alapozott döntések során elsikkadhatnak fontos kvalitatív információk.

• A sok adat a teljesség képzetét keltheti, miközben elsikkadhat az összefüggések, az okok megértése.

Portfólió-elemzés

A portfólió-elemzések gondolata a pénzügyi világból származik, ahol a befektetők alapvető igénye a maximális hozamra törekvés, és egyidejűleg az alacsony kockázat, amit többnyire sokféle befektetés kombinációjával érnek el. A pénzügyi tanácsadó cégek, kockázati tőketársaságok pénzügyi mutatók segítségével elemzik a megtérülést és a kockázatot, és a portfólió ezek összegezett adatait és változóit tartalmazza. A különböző portfóliók összehasonlíthatók és egymással közvetlenül versenyeznek.

Hasonló gondolat alkalmazható a vállalati gyakorlatban az egyes projektek vizsgálatára, sőt, állami szervezeteknél is a programot alkotó K+F projektek eredményességének együttes vizsgálatára. Minden projekt esetében rögzítik a kockázatra és a várható megtérülésre vonatkozó változókat.

A portfólió-elemzés többdimenzióssá teszi az indikátorok alkalmazását, és az így feltárt összefüggések feltárása révén többletinformációt nyújt, sőt, új értéket is létrehoz azzal, hogy olyan kérdésekre is választ tud adni, amelyek a program eredeti céljainak megvalósulását mérik. Ilyen kérdés lehet, hogy megfelelő arányban ért-e el egy adott támogatási forma egy meghatározott pályázói kört (pl. technológiaigényes kisvállalkozások), a szándékoknak megfelelő-e a projektek összetétele a szakmai és üzleti sikerek aránya szempontjából stb. A grafikus ábrázolás révén a különböző lehetőségek könnyen összehasonlíthatók és lehetővé teszik a programok finomhangolását (Roussel et al., 1991).

A termékben, illetve az eljárásban bekövetkező változások együttes grafikus ábrázolását Wheelwright és Clark (1992) nyomán példaként az 1. ábra mutatja be. Itt egy alkalmazott K+F programon belül a projekteket egy-egy kör jelzi, amelyek területe arányos a projekthez nyújtott támogatással. A végeredmény szempontjából négy kategória különböztethető meg: kismértékű fejlesztéssel járó projektek, új generációs projektek, áttörést, radikális innovációt jelentő projektek, illetve más jellegűek (külön ábrázolva) az új tudományos vagy műszaki vívmányt hozó projektek, melyek eredménye termékben vagy eljárásban még nem jelent meg.

A négy kategória esetében eltér a kockázat, a megtérülés és a potenciális eredmény. Érdekes ennek az eredménynek az összevetése a tényleges pénzügyi megtérülési adatokkal. Hasonlóan vizsgálható a szervezet működése vagy versenyhelyzetének változása is különböző szempontok szerint.

A portfólió-elemzésen alapuló értékelés előnyei és hátrányai

Előny:

• Több dimenzióban is szemléletesen használható elemzések.

• Többletinformáció a teljes program irányainak elemzéséhez.

• Alkalmasak nagy programok gyors áttekintésére, ezért menedzsment-eszközként is jól segítik a programmenedzserek és a döntéshozók munkáját.

Hátrány:

• Az ábrázolt dimenziók kiválasztása szubjektív.

• A kevés indikátor alapján végzett portfólió-elemzések során kimaradhatnak fontos információk.

Következtetések és javaslatok

A K+F értékelése az elmúlt 15 év során jelentősen túllépett a korábbi, elsősorban egy-egy kutató vagy kutatási intézmény tudományos kiválóságára vonatkozó értékeléseken. Megváltozott a K+F társadalmi környezete, amely ma egyre keményebben kéri számon a társadalom és a gazdaság számára hasznosítható eredményeket. Ennek vizsgálatára lépésről lépésre alakultak ki a módszerek, amelyek ma már nagy számban rendelkezésre állnak. A gyakorlatban felmerülő értékelési igények esetében a módszerek kiválasztására javaslataim a következők:

• Alapkutatás esetében célszerű a hagyományos szakértői bírálat, számításba jöhetnek még a bibliometriai elemzések és a felhasználók megelégedettségét vizsgáló interjús és kérdőíves módszerek.

• Alkalmazott kutatások és a gyakorlatban megvalósuló innovációs projektek esetében a legcélravezetőbbek az eredmény- és hatásindikátorok, az esettanulmányok és a módosított szakértői bírálatok, számításba jöhetnek még a felhasználók megelégedettségét vizsgáló interjúk és kérdőívek, valamint a költség-haszon elemzések. Nagyobb programok esetében hasznos a portfólió-elemzés.

Nem érdemes elkötelezni magunkat egy-egy módszer kizárólagos alkalmazása mellett, mert a módszerek fejleszthetők és kombinálhatók. Nagy gondosságot igényel az adott program céljainak, prioritásainak és megcélzott partneri körének és az anyagi ésszerűségnek leginkább megfelelő értékelési módszer vagy módszer-kombináció kiválasztása.

Ma a K+F értékelések súlypontjának eltolódása figyelhető meg a nemzetközi gyakorlatban az intézményértékeléstől a projekt- és programértékelés felé. Nő a portfólió-elemzés szerepe és egyre jellemzőbb a szakmapolitikák szintjére vonatkozó értékelés.

A "precíz" gazdasági megtérülést célzó értékelések valójában emberek szubjektív becslésein alapulnak. Mivel az alkalmazott K+F és az innováció lényege a már meglévő tudás alkalmazása és továbbfejlesztése, valamint a tudás és a technológia áramlásának biztosítása, döntő jelentősége van a külső és a hosszabb távú hatásoknak. Az értékelésnek korlátot szab az a tény, hogy a technológiai ciklusok hossza meghaladja az üzleti ciklusokét, és emiatt nem is lehet azt elvárni, hogy az egyik ciklusra értelmezett kritériumok a másikhoz is illeszkedjenek. Többek között ezért is fenntartásokkal kell kezelni minden olyan értékelést, amelyik azt állítja, hogy nagy pontossággal kimutatta egyes K+F programok megtérülési szorzóját (van számos ilyen külföldi példa).

Az értékelés megbízhatóságát, átláthatóságát és összehasonlíthatóságát nagyban javítja a teljesítményindikátorok (performance indicators) alkalmazása. Ezek lehetővé teszik a programok komplex értékelésére szolgáló portfólió-elemzéseket, amelyek nemcsak a stratégia, hanem a szakmapolitika szintjén is használható eredményeket adnak. A teljesítményindikátorok rendszerének kialakítása valójában a kontextus, a célok és az összefüggések pontos tisztázása, ezért rokona a vállalati gyakorlatban ismert teljes körű minőségirányítási (TQM) gondolkodásnak.

A kutatás értékelése társadalmi folyamat, amely egyre inkább összefonódik más rokon területekkel (technológiai előretekintés, technológiaértékelés, technológiai hatáselemzés), amelyeknek külön-külön szerteágazó szakirodalma van. Értékelés nélkül a szakmapolitikák kevésbé átláthatók, kevésbé racionálisak és megalapozottak.

JEGYZET

Két kiemelkedő, és egymástól markánsan elkülöníthető értékelési kultúra alakult ki. Az angolszász iskola a közpénz felhasználás átláthatóságát, legitimitását és a megtérülést állítja a középpontba. Nem véletlen, hogy az Egyesült Királyságban a K+F értékelés a Számvevőszék hatáskörébe tartozik, amely azt szigorú gazdasági alapon végzi. A skandináv iskola a konszenzuskeresésre és a szervezeti tanulásra helyezi a hangsúlyt. A valóságban gyakran keverednek a két megközelítés elemei.

Ezt illusztrálja Berson és Yalow esete, akiknek antitestekkel kapcsolatos úttörő dolgozatát először mind a Science, mind a Journal of Clinical Investigation mint hibásat utasította el. Yalow két más kutatóval közösen 1977-ben ezért a felfedezésért Nobel-díjat kapott (Yalow, 1978).

Jelentős külföldi tőkebefektetések és ezzel járó technológiatranszfer esetében ezek a mutatók látványosan javulhatnak viszonylag csekély K+F tevékenység mellett is; erre példa Írország vagy hazánkban Fejér megye.

IRODALOM

Anderson, J., Fears, R. (1996) (ed.): Valuing and Evaluating: assessment of the value of R&D in creating national and corporate prosperity. SmithKline Beecham Symposium, Publ. Cross and Associates, February.

Arnold, E., Balázs, K. (1998): Methods in The Evaluation of Publicly Funded Basic Research. Technopolis, March 1998. p. 34.

Balogh T. (1997): Magyarország az EUREKA-ban. Magyar Tudomány, 11. 1346-1350. o.

Bennet, D., Jaswal, I. (1989): Relevance and Limitations of Various Methods and Approaches to R&D Evaluation, NRC Seminar on the Evaluation of R&D Programs, December 14, 1989.

Berényi D. - Haraszthy Á. (1997): Téma/projekt/kutatócsoport értékelése. Magyar Tudomány, 1997. 7. 835-839. o.

Berg, P.; Lindberg, R. (1997): Assessment and Decision Making for R&D Programmes, TEKES Technology Programme Report 16/97, Helsinki 1997.

Bozeman, B., Melkers, J. (1993) (ed.): R&D Impacts: Methods and Practice, Kluwer Academic Publishers, Norwell, Massachusetts, p. 304.

Georghiou, L. (1997): Issues in the evaluation of innovation and technology policy. OECD Conference on Policy Evaluation in Innovation and Technology, Paris, 26-27 June 1997.

Jones, P. M. S. (1989): Cost-Benefit and Public Policy Issues, R&D Management, Vol. 19,/2.

Kaukonen, E. (1997): Evaluation of Scientific Research in Finland OECD Conference on Policy Evaluation in Innovation and Technology, Paris, 26-27 June 1997.

Levin, R. C., Klevirock, A. K., Nelson, R. R., Winter, S. G. (1987): Appropriating the Returns from Industrial Research and Development, Brookings Papers on Economic Activity, No. 3, 783-820. o.

Mansfield, E. (1991): Social Returns from R&D: Findings, Methods and Limitations, Research-Technology Management, Nov/Dec.

Mulcaster, D. et al. (1993): Methods for Assessing the Socioeconomic Impacts of Government S&T, Report, ARA Consulting Group, May.

OECD (1987): Evaluation of Research. A Selection of Current Practices. Paris, p. 77.

OECD (1997): The Evaluation of Scientific Research: Selected Experiences. OCDE/GD(97)194. Paris.

Roussel, Ph. A., Saad, K. N., Erickson, T. J. (1991), (Arthur D. Little Inc).: Third Generation R&D, Managing the Link to Corporate Strategy, Harvard Business School Press, Boston, Massachusett

s.

TAFTIE (1997): Guidelines on Performance Indicators for Evaluation and Monitoring (Task Force: Balogh T., Hekland, J., Lambrechts, M., Romanainen, J., Schnitzer, K., G., Urzay, J., Van der Veen, Winqvist, T.).

Török, Á. (1998): A magyar K+F szféra oldalnézetben. Magyar Tudomány, 1998. 3. szám, 323-335. o.

Vedung, E. (1997): Public Policy and Program Evaluation. Transaction Publishers.

Wheelwright, S. C., Kim B., Clark, K. B. (1992): Revolutionizing Product Development, Quantum Leaps in Speed Efficiency and Quality, The Free Press, New York.

Yalow, R. S. (1978): Radioimmunoassay: a probe for the fine structure of biologic systems. Science, Vol. 200, pp. 1236-45, 1978. (Idézte: Garfield, 1991).


<-- Vissza az 2001/3. szám tartalomjegyzékére