Ha a Tisztelt Olvasó nem különösképpen jártas a tudományos életben, akkor talán azt gondolná, hogy a kutató élete maga a nyugalom, amit egyéni életvitelük és érdeklődésük által megszabott ritmusban tölthetnek kutatással, ami egyébként a hobbijuk is egyben. Kevés szó esik a kutatói élet roppant kompetitív mivoltáról. A versengés egyrészt megjelenik tudomány belső világában, ahol minden felfedezés csak egyszer, először számít érdekesnek. A "második felfedezőre" már senki nem kíváncsi, teljesen jogosan, így hát arra törekszünk, hogy az eredményeinkkel megelőzzük a pályatársainkat. Talán hihetetlen, de néha egész kiélezett verseny zajlik egy-egy felfedezésért, gyakran anélkül, hogy tudnánk róla. Akkor jövünk csak rá, amikor megjelenik egy publikáció, ami lényegében az általunk éppen vizsgált kérdést válaszolja meg. Most nem erről a versengésről lesz szó, hanem arról, amikor rajtunk kívülálló erők próbálják megítélni, rangsorolni kutatók és intézetek tudományos teljesítményét. A tudományos teljesítmény számszerűsítésével egy egész tudományterület, a szcientometria vagy tudománymetria foglalkozik, és Magyarországon nagy hagyományokkal bír (a nívós Scientometrics folyóiratot pl. az Akadémiai Kiadó adja ki). Én nem tartozom ennek a tudományterületnek a művelői közé. Azért bátorkodom mégis írni róla, mert kutatóként nap mint nap találkozom a tudománymérés gyakorlati problémáival, és néhány gondolatot szeretnék megosztani ennek kapcsán. Mondandómat egy bejegyzéssorozatban adom közre, ennek az első, bevezető része a mostani, amely inkább azoknak szól, akik nem tudományos pályán dolgoznak.
Miért kell mérni a tudományos teljesítményt?
A kutatáshoz pénz kell. Fizetni kell a dolgozók bérét, a munkához szükséges anyagokat, a logisztikát, a kapcsolódó szolgáltatásokat, sőt, fizetni kell a tudományos eredmények közzétételének bizonyos formáiért. Mondanom sem kell, a jó kutatáshoz gyakran sok pénz kell. Pénz azonban nem áll rendelkezésre korlátlan mennyiségben - egyes kutatásokra jut, másokra nem. A tudományt finanszírozó források (ezek lehetnek állami vagy államok közötti szervek, alapítványok, cégek, magánszemélyek... bármi) szeretnék, ha a tudományra fordított támogatás nem kidobott pénz lenne, hanem felmutatható eredmények születnének belőle, ezért szükségük van valamiféle "kockázatbecslésre", amely segít eldönteni, mibe érdemes "befektetni" és mibe nem. Ez a kockázatminimalizálás a velejéig áthatja a tudományos életet, hiszen végső soron az eredményességet minden szinten létkérdéssé teszi, ezzel versengést szül a tudományterületek, intézmények és egyéni kutatók közt. Nem utolsó sorban a kutatók érdeke is lehet a minősítés, hiszen ez alapot adhat a szakmai előrelépés, megbecsültség alátámasztásához, ami akár még anyagiakban is megnyilvánulhat.
 |
| Máté evangelista ábrázolása forrás: wikipedia.org |
Hogyan mérjük a tudományos teljesítményt?
A tudományban nagyon erősen érvényesül az ún. Máté-elv: "Mert mindenkinek, akinek van, adatik, és bővelkedni fog; attól pedig, akinek nincs, még az is elvétetik, amije van." (Mt 25,29) A tudományos életre ez úgy alkalmazható, hogy aki eddig eredményes volt, az ezután is az (vagy még inkább az) lesz, míg, aki nem volt eredményes, az nem valószínű, hogy ezután az lesz. A legkevésbé tehát azt a kutatást (pályázatot, kutatót, kutatócsoportot...) kockázatos támogatni, amely előélete sikerekben gazdag. Ez a jelenlegi tudományfinanszírozás sarokpontja (elviekben). De mi jelenti a sikert, az eredményességet a tudományban? Szükségünk van valamiféle mérőszámra, amely megmutatja, ha az egyik kutató(-csoport) jobb a másiknál.
A tudományos munka közleményekben nyilvánul meg, amelyeket ha a szakma érdemesnek tart rá, akkor átvesz és tovább használ, ellenkező esetben gyakorlatilag elfelejt (bár néha később újra felfedez). A tudományos teljesítmény mérésére használt indexek ezért a publikációk számán és minőségén, valamint a publikációk utóéletéről szóló információn, jellemzően a publikációkra érkező hivatkozások számán alapulnak. A tudományos teljesítmény mérésére használt mutatók sokaságát egyetlen bejegyzésben képtelenség áttekinteni. Mi, kutatók, ezeket aránylag jól ismerjük, de a szakmához távolabbról kapcsolódó olvasók kedvéért most röviden bemutatok néhányat.
A legegyszerűbb mérőszám a kutató(-csoport) által közölt cikkek száma. Mivel azonban a folyóiratok színvonala tág határok között változik, ezt érdemes árnyalni, pl. annak figyelembevételével, hogy mennyire rangos lapnál jelentek meg a cikkek.
Az egyik legközismertebb index erre a célra az ún. impakt faktor (IF). Ez a nyugati világban már kezd kimenni a divatból, bár hatása máig érezhető. Az impakt faktort eredetileg könyvtárak számára vezették be annak megítélésére, hogy melyik folyóiratot érdemes megrendelni - azt érdemes ugyanis, amelyre sokan hivatkoznak. Az impakt faktor nem más, mint az a szám, ahányszor átlagosan idézték az elmúlt 2 év cikkeit a tárgyévben. Egy időben észrevették, hogy ez mutat valamiféle összefüggést azzal, hogy mennyire tartunk egyes folyóiratokat jónak. Az impakt faktort tehát folyóiratokra számolják ki évente. A tudományminősítésben ezt úgy szokták figyelembe venni, hogy pl. egy adott kutató(-csoport) cikkeihez hozzárendelik a megjelentető folyóiratok aktuális évi impakt faktorát, majd ezt összegzik. Ez a módszer azonban számos ponton torzít, ezért az IF az utóbbi 10 évben egyre hangosabb kritika tárgya, és fokozatosan kikopik a fontosabb tudományminősítési rendszerekből.
Nem az impakt faktor az egyetlen módszer a folyóiratok pontozására. A Scimago Lab által üzemeltetett SJR (Scimago Journal Ranking) indexe figyelembe veszi azt is, hogy milyen presztízsű folyóiratokból érkeznek a hivatkozások. A folyóiratok rangsorolását pedig tágabb tudományterületeken belül végzik, és nyers pontszámok alkalmazása helyett a lapokat helyzetük szerint négy csoportba (vagyis a rangsor négy kvartilisére, Q1, Q2, Q3, Q4 jelöléssel, a Q1 a legjobb) osztják. A felső 10%-ot (D1) külön is meg szokták különböztetni. Az SJR-en alapuló tudományminősítés úgy szokott kinézni, hogy pl. a vizsgált kutatónak megszámolják, hogy hány D1, Q1, ... cikke van, így az nyer, akinek több.
Ezeknél jobban koncentrál a kutató egyéni teljesítményére a Hirsch-index (vagy h-index). A Hirsch-index az a legnagyobb szám, amelyre igaz, hogy a vizsgált kutatónak h db olyan cikke van, amelyre legalább h darab hivatkozás érkezett már a múltban.
Az efféle indexekre roppant sokféle körülmény hat az adott kutató képességein kívül. Befolyásolja például, hogy különböző tudományterületeken mennyi cikk születik általában, mekkora a cikk "felvevő piaca", vagy a tudományágra jellemző hivatkozási kultúra. Ezek kivédése érdekében csak tudományágakon belül, és gyakran valamilyen időbeli szűkítéssel ajánlott összehasonlításokat végeznünk. A kifejezetten téves tartalmú és/vagy provokatív hangvételű cikkekre is sok hivatkozás érkezik.
A megjelent cikkek egyszerű összeszámolása mellett egyre inkább próbálják figyelembe venni a kutatók egyéni hozzájárulásait. Ennek legegyszerűbb módja, hogy a cikk elsőszerzőjének (vagyis aki a sorrendben elöl van) lenni nagyobb értékkel bír, mint középsőnek. A nyugati világban elfogadott gyakorlat szerint ugyanis az az elsőszerző, aki a legtöbbet dolgozik a cikkel. (Ez nem mindenhol szokás egyébként, és ez vezethet tudománymérési anomáliákhoz.) Szintén magas értékű az utolsó pozíció, aki rendszerint a kutatócsoport felelős vezetője, ritkábban a második legtöbbet dolgozó hozzájáruló. A köztes pozíciók kevesebbet érnek.
Egy viszonylag új, divatos szempont, hogy a kevésszerzős cikkeket többre (akár jelentősen többre) értékelik a többszerzős cikkeknél, mondván, ha valamin többen dolgoztak, akkor az egyéni hozzájárulások mértéke kisebb. Erre egy későbbi bejegyzésben visszatérek.
Egyre több minősítési rendszer próbálja meg figyelembe venni a kutató teljesítményének időbeli dimenzióját. Ennek az egyik módja, hogy pl. csak az utóbbi 5-10 év cikkeit számolják. Egy másik lehetőség, hogy a kutatók közti összehasonlítást azonos vagy hasonló korú kutatók között végzik el, így csak olyanok versengenek, akiknek elvileg ugyanannyi idejük állt rendelkezésre az alkotásra. A kutatói életutak azonban sokfélék, ezért a „tudományos kort” nem feltétlenül a születési dátum óta eltelt idő írja le a legjobban. Van, ahol a doktori értekezés megszerzése óta, vagy az első publikáció megjelenése óta eltelt időt veszik alapul.
A tudományminősítés egy viszonylag szofisztikált rendszere tekinthető meg a scientometrics.org oldalon. Itt egyes kutatókra le lehet kérdezni, hogy a h-index, az évenkénti független hivatkozások átlagos száma, valamint az utolsó 5 év Q1-es cikkeinek száma tekintetében hol állnak az azonos publikációs korú és azonos területen dolgozó pályatársakhoz képest. A publikációs kort az első publikáció megjelenésétől számolja.
Nincsenek megjegyzések:
Megjegyzés küldése