A tudománymetriáról 3. Bonyodalom az idővel

Ha egy magasugró az egyik évben bajnok lesz, a következőkben viszont rendre leveri a legalacsonyabbra tett lécet, akkor az egykori elsőből minden további nélkül lehet utolsó. A tudomány azonban másképp működik. A tudománymetriai jóságnak van egyfajta "tehetetlensége": a mérhető eredmények és a jutalmazás nem azonnal a publikáció megjelenése után jelennek meg, és ha maga a tudományos munka meg is szakadna, a mutatók még jó ideig (sőt, igazából az örökkévalóságig - amennyiben a tudomány azt megéri) növekednének. Egy átlagos ökológiai cikk több év, akár több évtized munkáját tartalmazza, és gyakran bírálati és szerkesztői munka átfutási ideje is több egy évnél. Onnantól, hogy megjelent, folyamatosan jönnek rá a hivatkozások. Így aztán akinek sok cikke van a múltból, annak az éves idézettsége akkor is magasabb lehet, ha egy gombot nem nyom le a billentyűzeten soha többé, mint aki az első publikációin dolgozik éjt nappallá téve. Ez egy nyilvánvaló torzítás, de indirekt módon hasonlóan torzítja az idő az írt publikációk számát is. Aki már régóta van a szakmában, annak kiterjedtebb a kapcsolati hálója, gyakran befolyásosabb pozícióban is ül, ezért ilyen-olyan módokon bekerülhet cikkekbe szerzőként, így néha "lepottyan" neki némi felmutatható eredmény relatíve kevés munkával is. Ha más nem, az évek alatt megszerzett rutinnal kisebb energia-befektetéssel ír egységnyi mennyiségű cikket, mint a pályakezdők. Felmerül az igény, hogy valamilyen módon standardizálni kellene a szakmában töltött idővel a tudománymetriai mutatókat. De mi legyen ehhez az "alapvonal"? Mit tekintsünk a szakmába lépés dátumának? A diploma megszerzésének az idejét? Rögtön kérdések hadába ütközünk: BSc vagy MSc diploma? És aki diploma előtt is publikált? És aki a diplomával először kipróbálta magát máshol, és utána ment csak kutatónak? Vagy aki több diplomával is rendelkezik? Vagy nem a tudományos szakterületén szerzett diplomát? Könnyen beláthatjuk, hogy a diploma megszerzése gyenge támpont. Egy másik lehetőség az első publikáció megjelentetésének ideje. Ez logikusnak hangzik, hiszen vehetjük úgy, hogy ezzel lép ki a kutató a tudomány porondjára. Sajnos azonban ez is csak a mesében ilyen egyszerű, és ezt a saját példámmal vagyok kénytelen illusztrálni. A vizsgált platform pedig a tudomanymetria.com (már nem frissül), illetve az újabb verziója, a scientometrics.org. A régebbi verzió a diplomaszerzés idejéhez, az újabb az első publikációhoz viszonyít. Mindkét rendszer az azonos kezdőévvel rendelkező kutatókat rangsorolja, majd a sorrendben elfoglalt hely szerint decilisekbe osztályozza őket. Így a D1-be a felső 10%, a D2-be a 10-20%, stb. kerül. Vizsgálható a kezdőév óta eltelt évek során változó pozíció is. A scientometrics.org és az általa alkalmazott alapelvek láthatóan egyre fontosabbá válnak a hazai tudományos értékelésben, noha bőséggel illette őket már kritika.

Azok közé tartozom, akik nagyon-nagyon korán, egész kicsi gyerekként eldöntötték, hogy mivel szeretnének foglalkozni. Középiskolásként már folytattam diákkutatásokat, tanulmányi versenyeken is gyakran szerepeltem. Ekkor kerültem kapcsolatba a hozzám hasonlóan motivált diákokat összefogó "Kutdiákkal", vagyis a Kutató Diákok Országos Szövetségével, illetve a későbbi egyetemi témavezetőmmel is már bőven gimnazista koromtól együtt dolgoztam. A diákkori kutatási témám a hazai levendulaültetvények gyomvegetációja volt, ezeket Pannonhalmán és Tihanyban vizsgáltam. Az első "éles" (tehát nem tanulmányi verseny) konferenciaszereplésem elsős egyetemista koromban történt egy németországi gyombiológiai konferencián. A szervezők lehetőséget adtak arra, hogy a bemutatott prezentációk anyagát egy bírálati procedúra után cikk formájában is megjelentessük egy impakt faktoros lapban (igaz, az IF egész alacsony volt). Én éltem ezzel a lehetőséggel, így 2006-ban, elsős egyetemistaként megjelent az első impakt faktoros cikkem. (Akkor még az impakt faktort fetisizálta a tudománymetria.) Elismerem, ez a cikk még eléggé "zsenge"; habár a hasonló színvonalú lapokban, sőt, ennél jobb mutatókkal rendelkező MDPI lapokban ma is jelennek meg ilyesmik. Nem is csodálom, hogy eddig alig idézték. "Hivatalosan" azonban nem ez az első cikkem, ugyanis a 2005/2006-os télen a Mecsekben megtaláltam a babérboroszlán kivadult példányait, és ebből írtam egy apró közleményt a Kitaibeliába. A lapnak azonban a 2005-ös száma késett, ezért végül a 2006-ban beküldött cikket is a 2005-ös kiadványban jelentették meg. Ezek után 2008-ban és 2009-ben jelent meg három cikkem, egyben elsőszerző, kettőben társszerző vagyok - mind hazai, impakt faktor nélküli folyóiratban, tehát mai szemmel viszonylag "súlytalan" publikációk, de akkor a hallgatók szintjén kevesek büszkélkedhettek ilyenekkel. Ha tehát az egyetemi éveimet figyeljük, akkor három elsőszerzős és két társszerzős cikkel szereztem meg a diplomámat. (Csak mellékesen jegyzem meg, hogy ezekre a kutatásokra csak igen-igen ritkán kaptam pénzt, jobbára magam fizettem minden utazást, kivéve a konferenciarészvételeket.) Összehasonlításképpen, a tipikus fiatal kutató, ha időben kezd szakdolgozni, akkor jó esetben 1-2 (inkább társszerzős) cikkel a tarsolyában jelentkezett PhD-zni akkortájt...

A scientometrics.org szerint tehát az én kezdődátumom 2005, ekkor én 19 éves voltam. Az ezutáni 5 évemet hallgatóként töltöttem, amikor egyáltalán nem várta el senki tőlem a publikálást. A cikkeim csak önszorgalomból és érdeklődésből fakadó bónuszok voltak, még az egyetemi életben sem láttam látványos hasznukat. Utána 3 évig voltam doktorandusz hallgató, majd újabb 3 év múlva, 2016-ban védtem meg a doktorimat. Doktoranduszként, illetve később megfizetett kutatóként elvárt, hogy az ember publikáljon, lehetőleg nemzetközi szinten, de ehhez általában a körülmények is nagyságrendekkel alkalmasabbak, mint hallgatóként. Pl. sokkal több ideje van rá, hiszen a kutatás az elsőszámú feladata, általában jobban elérhetőek a műszerek, laborok, kutatási pénzek... Ha valaki tehát a publikációs tevékenységet 2005-ben kezdte el, mondjuk 28 éves doktoranduszként egy másoddiploma után, és olyan intenzitással csinálja azóta is, ahogyan én a doktori megszerzése óta, az engem "simán ver" a scientometrics.org rangsorában. A korai cikkeimre ugyanis kevés idézetet kapok, így azok csak rontanak a mutatóimon. Hiába, hogy azok a cikkek egy olyan időszakból származnak, amikor még csak igen kevesek publikálnak. A rendszer nem veszi figyelembe, hogy az egyik kutató önszorgalomból, hobbiból, írja első cikkeit, nem ritkán saját zsebből fizetve minden kutatási költséget, a másik meg fizetésért, projektpénzből. A tudomanymetria.com-on két decilis kategóriával magasabban voltam, mint a scientometrics.org-on... Ám ha az egyetem során megjelent cikkeimet és az azokra érkezett hivatkozásokat letagadhatnám, akkor lényegesen javíthatnék a helyezésemen. Ezt nonszensznek tartom.

Minden értékelési rendszernek vannak kedvezményezettjei és kárvallottjai. A kedvezményezettek a bemutatott rendszernél azok, akik későn kezdtek el publikálni, azóta viszont többé-kevésbé folyamatos aktivitással csinálják. Az átlagos kutatók valószínűleg ilyenek, továbbá "még ilyenebbek" azok, akik már szereztek valamilyen, a tudományban is hasznosítható munkatapasztalatot más területen, és csak később kezdtek kutatói pályát. A kárvallottak pedig a korán jelentkező tehetségek, akiknek a hallgatói aktivitása, ami akkor kiemelkedővé tette őket, ma a hátrányukra válik, mert aránytalan versenybe helyezi őket. Hogy ilyen személyből mennyi van, azt a Kutdiák szövetség léte is illusztrálja: kimutatható számban vannak diákok, akik nagyon korán lépnek tudományos pályára, és gyakran később is sikeresek ezen a területen. Nagyon sok mostani pályatársamat (köztük többen ma is a szakmai legjobbjai közé tartoznak) még diákként ismertem meg. Rájuk nézve az első publikációhoz mérni az értékelés kezdőévét kifejezetten hátrányos, és ez a tudományra nézve kontraproduktív. Egyáltalán nem ösztönző ugyanis a szárnyukat bontogató fiatal kutatók felé az a tudat, hogy olyanokkal szerepelnek majd azonos összehasonlításban, akik sokkal jobb kutatási körülményekkel rendelkeznek, még ha tudásban, kreativitásban, motivációban éppen fordított is a reláció. Összességében pedig ez a tudomány utánpótlását gyengíti. Az vitán felül áll, hogy egy kutatónak sem abból kell "megélnie", hogy egyetemistaként milyen tehetségesnek számított. Az viszont, hogy a hallgatói évei is ugyanolyan súllyal essenek latba, mint a későbbiek, amikor már "főállású" kutató, torz értékeléshez vezet. Sokkal korrektebbnek tartanám, ha ez a kezdődátum nem lehetne korábban, mint pl. az első MSc diploma megszerzésének vagy az első PhD megkezdésének éve.

A kezdődátumokhoz való bármiféle viszonyítás azonban más társadalmi csoportokat is súlyos hátrányba helyez: ők azok, akik néhány évre felfüggesztik a tudományos pályát, vagy csökkent aktivitással művelik azt. Mindenekelőtt a gyermeket nevelő, GYES/GYED/CSED-en lévő szülőkre gondolok. Teljességgel méltánytalannak tartom, hogy ugyanabban az összehasonlításban kell helytállnia egy családanyának 0-6 éves gyerekekkel mindenféle korrekció nélkül, mint egy gyermektelen pályatársának. Ez a kritika kifejezetten a tudomanymetria.com-ot és a scientometrics.org-ot érinti, mert egyébként szerencsére sok pályázat esetén legalább a pályázási korhatárt kitolják gyermekenként +2 évvel.

Elismerem, hogy a fenti problémákra igen nehéz minden lehetséges esetet kielégítő pontrendszert megalkotni. A javaslatom azonban, hogy ne is tegyünk úgy, mintha... Semmiképpen se alkalmazzuk a tudomanymetria.com vagy a scientometrics.org által kihozott sorrendeket, illetve az általuk követett elveket automatikusan. Bár az egyszerűségük vonzó, túl sok elhanyagolással, igazságtalansággal járnak.

A nevezett értékelő platformok a tavalyi OTKA-eredmények kapcsán váltottak ki nagy visszhangot a tudományos közösség részéről, ez a sajtóban is megjelent. A rendszer számos hiányosságáról írt Kamarás Katalin és szerzőtársai a Magyar Tudományban, de szólt erről konferencia is, valamint jelent meg több véleménycikk. A tudományos közösség általánosságban óva int a tudomanymetria.com leegyszerűsítő használatától (s ez minden bizonnyal a scientometrics.org-ra is érvényes).

FRISSÍTÉS: A bejegyzés közzététele után számos ismerősöm jelezte, hogy korai, hallgatókori munkásságának betudhatóan szintén alacsonyabb mutatókat ért el a scientometrics.org-on. Mindannyian tehetséges, a kutatómunkában kortársaikat megelőző személyek...

A tudománymetriáról 2. Kevésszerzős vs. sokszerzős cikkek

Az előző bejegyzésben röviden áttekintettem a tudományminősítés alapvető tudnivalóit. Írtam, hogy a tudományminősítés alapja annak valamiféle "pontozása", hogy kinek a neve alatt mennyi és milyen tudományos publikációk jelennek meg. Említettem azt is, hogy terjedőben van az a szemlélet, miszerint az olyan cikkek többet érnek a tudománymetria tükrében, amelyet kevés szerző jegyez, mint a sokszerzős cikkek.

Jellemzően egy cikk szerzői közé az kerül be, aki jelentős mértékben, tudományos módon hozzájárult a munka sikeréhez. Hogy hol van a "jelentős mérték" és a "tudományos mód" határa, azt igen nehéz definiálni. Az én tudományterületemen általában az ér társszerzői státuszt, ha valaki részt vesz egy kutatás elméleti tervezésében, a mintavételi és az adatelemzési döntések meghozatalában, vagy jelentős mértékű adatot szolgáltat, majd a cikkírásban legalább átnézi a kéziratot. A világban szétnézve azonban egészen változatos módokon realizálódik a szerzői kör megszabása. Nem kell sokat kutakodnunk a színfalak mögött, hogy kiderüljön, előfordul, amikor "karitatív alapon", vagy éppen stratégiai okokból olyanok is bekerülnek egy cikkbe, akik nem sokat dolgoztak benne. Ez nyilvánvalóan etikátlan, de mivel a szerzői hozzájárulások önbevalláson alapulnak, nem igazán lehet ellene tenni. Egy átlagos cikk kb. 5-15 személy nevével jelenik meg, de léteznek több száz, vagy ezer szerzős cikkek is. Talán az ok nélkül hatalmasra duzzadó szerzői listák kiküszöbölése motiválhatta a szerzőszám figyelembevételét a tudományértékelésben, hiszen az valóban nem fair, ha lényegi hozzájárulás nélkül is hasznot húz valaki a publikációból. Az értékelés pontos mikéntjén azonban nagyon sok múlik. Nem mindegy, hogy ez az adott cikk összes szerzőjére vonatkozik, vagy csak a köztes szerzőkre (tehát a szerzői lista első és utolsó tagjára nem - az ő hozzájárulásuk általában a legnagyobb), és hogy pontosan milyen függvény szerint csökkenti az egyedi hozzájárulások "pontszámát" a szerzőszám (pl. 10 szerző felett csak fele annyi pontot ér, vagy a szerzőszámmal egyenes arányban ér egyre kevesebbet, stb). Emiatt egész konkrét gyakorlatokról nem tudok írni, ezek még nem is igazán kristályosodtak ki, csak az alapelvről.

Forrás: PHD Comics https://phdcomics.com/comics/archive.php?comicid=562

Az valóban nem cáfolható, hogy ha valaki egyedül, vagy 1-2 társsal végez el egy munkát, az nagyobb erőfeszítés, mintha ugyanazt több társsal kivitelezte volna, hiszen feltételezhetjük, hogy a munka jobban megoszlott utóbbiak között. Kérdés, hogy valóban ugyanaz a munka születik-e meg 1-2, vagy 4-5, netán 10-15, vagy 100-150 szerző munkájával.

Általában ugyanis nem ugyanarról írunk cikket egyedül, mint csapatban. Az elméleti jellegű cikkeket, pl. az adatelemzési módszertani cikkeket, általában a statisztikai cikkeket, véleménycikkeket, fórumcikkeket, rendszerint viszonylag kevés szerző írja. Ezzel szemben a nagy adatgyűjtési munkán alapuló cikkeknek, pl. terepi kísérletek, nagy földrajzi léptékű szintézisek, hosszútávú monitoringok, több taxonra kiterjedő vizsgálatok cikkeinek jellemzően sok szerzőjük van. Miért? Mert egy gondolati rendszer jól megfér egyetlen személy fejében, esetleg nem jelent nagy kavarodást, ha még 1-2 kolléga hozzászól. De ennél több hozzájáruló akár zavaró és kontraproduktív is lehet. Ha nem elsődleges adatok elemzése, hanem elméletibb tartalmú a cikk, amiben sokat számítanak a szubjektív nézetek, akkor nehéz lehet a sok eltérő vélemény közös nevezőre hozása. Egy statisztikai módszer ötlete is általában egy-két emberhez köthető, a hozzá szükséges tesztekhez sem kell sokkal több. Ezzel szemben, ha egy vizsgálat kiterjed 10 országra, az gyakran kapásból 10 társszerző, hiszen kell valaki, aki szakértő és felelősséget vállal az adott ország vonatkozásaiban, pl. meg tudja ítélni az adatok minőségét és van lokális háttértudása az eredmények értelmezéséhez, a hibák kiszúrásához; neadjisten ő maga adja az adatokat. Egy komplexebb terepi kutatáshoz kell ember a terepi adatgyűjtéshez, kellhetnek specialista szakértők egyes taxoncsoportokhoz vagy lokalitásokhoz, kellhet egy-két szakirodalomban jártas személy és adatelemző, ott van a laborvezető, illetve valaki, aki az egészet összefogja. Ha a vizsgálat sokáig tart, akkor a személyek cserélődhetnek ilyen-olyan okokból, pl. lejár a pályázatuk, gyermekük születik, nyugdíjba mennek, ez mind-mind behoz 1-1 helyettesítő embert. Rosszabbá válna a kutatás attól, hogy ennyi ember dolgozik rajta? Nem gondolom. Az elsőszerző munkája értéktelenebb lenne ettől? Nos, vehetjük úgy, hogy a kulcsember még többet tehetne le az asztalra, ha pl. több taxoncsoportot is kitanulna gyorsan, vagy két-három személyre valót dolgozna terepen - de ez gyakorlatilag irreális elvárás. Ha az adatok több forrásból érkeznek, akkor etikailag is megkérdőjelezhető a fontosabb adatszolgáltatók kihagyása. Fel kellene ismerni, hogy vannak bizonyos kutatási típusok, amiket sokan, csapatban lehet jól megcsinálni. Ettől ezek a kutatások, az így születő cikkek nem érnek kevesebbet azoknál, amelyeket kevesen írtak, mert gyakran tematikájukban is mások. Ahogyan egy foci-vb győzelem sem ér kevesebbet egy kézilabda-vb győzelemnél csupán azért, mert a focicsapat több emberből áll. Gépies összehasonlításuk félrevezető. Sajnos láttam már bizonyos fórumon kevésszerzőssége okán (is) piedesztálra emelt cikket, aminek jót tett volna még néhány résztvevő (a "vicc" az volt, hogy maga a szerző sem tagadta a hiányosságokat).

Hallottam olyan érvet, hogy a népes társszerzői csapat koordinálása logisztikai, és nem tudományos feladat, ezért egy másfajta díjazással lehetne "kárpótolni" a sokszerzősség miatt hátrányba került, vezető pozíciójú szerzőket. Ez az érv – egyrészt – nem teljesen állja meg a helyét, hiszen a részvizsgálatok összehangolása, részeredmények és „résztudások” szintetizálása nagyon is tudományos munka. Itt nem csak arról van szó, hogy több számlát kell leigazolni és több Word dokumentumot kell összefésülni... Az eredménye is tudomány, hiszen ott a megjelent cikk. Másrészt, sajnos nem tisztázott az alternatív jutalmazás mikéntje, addig pedig ez nem lehet hivatkozási alap. Harmadrészt, szimpatikusabbnak tartom azt a kiindulási feltételezést, hogy egy cikket annyian írnak meg a megfelelő színvonulú eredmény érdekében, ahány személyre szükség van, mint azt, hogy "gyanús ott az a csoportosulás", biztos vannak potyautasok köztük... Nem tagadva, hogy potyautasok léteznek, csak a gyakoriságuk ismeretlen.

Összefoglalva tehát az a gondom a teljes szerzőszám figyelembevételével, hogy bizonyos tudományterületeken és problématípusokon dolgozó kutatókat hátrányosan különböztet meg. Tudom, hogy már 3-4 szerző esetén sem egyenlő mindenki hozzájárulása. 100-200 szerzős cikkeknél is legfeljebb 3-4 személy húzza az igát, és mellettük 10-20 „második körös” szerzővel lehet számolni. A többiek valamilyen részfeladat, jellemzően adatszolgáltatás miatt szerepelnek. A hozzájárulók nagy része nélkül gyakorlatilag ugyanúgy megjelenhetne a cikk. Azonban ilyenkor legalább a vezető szerzőket nem kellene azzal büntetni, hogy hány egyéb szerző van még a cikkükben, mert azok a személyek gyakran etikai okokból is szerepelnek, amúgy a munkát effektíve nem könnyítik meg lényegesen. Igazságosabb megoldás felé vihet a CRediT (Contributor Roles Taxonomy), amely egy egységes, általános hozzájárulási nómenklatúrát kínál. Gyakorlatilag egy listából ki lehet választani, hogy melyik szerző milyen módon járult hozzá a cikkhez. Néhány folyóirat már megköveteli ennek az alkalmazását – ám a tudománymetriai minősítő rendszerek még aligha vettek róla tudomást. A szándékos csalást, persze, ez sem előzi meg.

FRISSÍTÉS:

A bejegyzés közzétételének másnapján jelent meg egy számos kollégám által jegyzett cikk (melyhez ezúton is gratulálok!), amely azt boncolgatja, hogy a 2050-re Magyarországra vonatkozó környezeti előrejelzések milyen természetvédelmi kutatások fontosságát vetítik előre. A cikk egy fő üzenete, hogy határokon és tudományterületeken átívelő együttműködésekre lesz szükség a tudáshiányok "betöméséhez". Az ilyen együttműködések kimenetei tipikusan sokszerzősek. Életszerűtlen, ha pont ezeket értékelik majd alul tudománymetriai szempontból.

A cikk itt érhető el egyébként: Csákvári et al. (2021): Conservation biology research priorities for 2050: A Central-Eastern European perspective. Biological Conservation 264, https://doi.org/10.1016/j.biocon.2021.109396

A tudománymetriáról 1. Rövid bevezetés

Ha a Tisztelt Olvasó nem különösképpen jártas a tudományos életben, akkor talán azt gondolná, hogy a kutató élete maga a nyugalom, amit egyéni életvitelük és érdeklődésük által megszabott ritmusban tölthetnek kutatással, ami egyébként a hobbijuk is egyben. Kevés szó esik a kutatói élet roppant kompetitív mivoltáról. A versengés egyrészt megjelenik tudomány belső világában, ahol minden felfedezés csak egyszer, először számít érdekesnek. A "második felfedezőre" már senki nem kíváncsi, teljesen jogosan, így hát arra törekszünk, hogy az eredményeinkkel megelőzzük a pályatársainkat. Talán hihetetlen, de néha egész kiélezett verseny zajlik egy-egy felfedezésért, gyakran anélkül, hogy tudnánk róla. Akkor jövünk csak rá, amikor megjelenik egy publikáció, ami lényegében az általunk éppen vizsgált kérdést válaszolja meg. Most nem erről a versengésről lesz szó, hanem arról, amikor rajtunk kívülálló erők próbálják megítélni, rangsorolni kutatók és intézetek tudományos teljesítményét. A tudományos teljesítmény számszerűsítésével egy egész tudományterület, a szcientometria vagy tudománymetria foglalkozik, és Magyarországon nagy hagyományokkal bír (a nívós Scientometrics folyóiratot pl. az Akadémiai Kiadó adja ki). Én nem tartozom ennek a tudományterületnek a művelői közé. Azért bátorkodom mégis írni róla, mert kutatóként nap mint nap találkozom a tudománymérés gyakorlati problémáival, és néhány gondolatot szeretnék megosztani ennek kapcsán. Mondandómat egy bejegyzéssorozatban adom közre, ennek az első, bevezető része a mostani, amely inkább azoknak szól, akik nem tudományos pályán dolgoznak.

Miért kell mérni a tudományos teljesítményt?

A kutatáshoz pénz kell. Fizetni kell a dolgozók bérét, a munkához szükséges anyagokat, a logisztikát, a kapcsolódó szolgáltatásokat, sőt, fizetni kell a tudományos eredmények közzétételének bizonyos formáiért. Mondanom sem kell, a jó kutatáshoz gyakran sok pénz kell. Pénz azonban nem áll rendelkezésre korlátlan mennyiségben - egyes kutatásokra jut, másokra nem. A tudományt finanszírozó források (ezek lehetnek állami vagy államok közötti szervek, alapítványok, cégek, magánszemélyek... bármi) szeretnék, ha a tudományra fordított támogatás nem kidobott pénz lenne, hanem felmutatható eredmények születnének belőle, ezért szükségük van valamiféle "kockázatbecslésre", amely segít eldönteni, mibe érdemes "befektetni" és mibe nem. Ez a kockázatminimalizálás a velejéig áthatja a tudományos életet, hiszen végső soron az eredményességet minden szinten létkérdéssé teszi, ezzel versengést szül a tudományterületek, intézmények és egyéni kutatók közt. Nem utolsó sorban a kutatók érdeke is lehet a minősítés, hiszen ez alapot adhat a szakmai előrelépés, megbecsültség alátámasztásához, ami akár még anyagiakban is megnyilvánulhat.

Máté evangelista ábrázolása
forrás: wikipedia.org

Hogyan mérjük a tudományos teljesítményt?

A tudományban nagyon erősen érvényesül az ún. Máté-elv: "Mert mindenkinek, akinek van, adatik, és bővelkedni fog; attól pedig, akinek nincs, még az is elvétetik, amije van." (Mt 25,29) A tudományos életre ez úgy alkalmazható, hogy aki eddig eredményes volt, az ezután is az (vagy még inkább az) lesz, míg, aki nem volt eredményes, az nem valószínű, hogy ezután az lesz. A legkevésbé tehát azt a kutatást (pályázatot, kutatót, kutatócsoportot...) kockázatos támogatni, amely előélete sikerekben gazdag. Ez a jelenlegi tudományfinanszírozás sarokpontja (elviekben). De mi jelenti a sikert, az eredményességet a tudományban? Szükségünk van valamiféle mérőszámra, amely megmutatja, ha az egyik kutató(-csoport) jobb a másiknál.

A tudományos munka közleményekben nyilvánul meg, amelyeket ha a szakma érdemesnek tart rá, akkor átvesz és tovább használ, ellenkező esetben gyakorlatilag elfelejt (bár néha később újra felfedez). A tudományos teljesítmény mérésére használt indexek ezért a publikációk számán és minőségén, valamint a publikációk utóéletéről szóló információn, jellemzően a publikációkra érkező hivatkozások számán alapulnak. A tudományos teljesítmény mérésére használt mutatók sokaságát egyetlen bejegyzésben képtelenség áttekinteni. Mi, kutatók, ezeket aránylag jól ismerjük, de a szakmához távolabbról kapcsolódó olvasók kedvéért most röviden bemutatok néhányat.

A legegyszerűbb mérőszám a kutató(-csoport) által közölt cikkek száma. Mivel azonban a folyóiratok színvonala tág határok között változik, ezt érdemes árnyalni, pl. annak figyelembevételével, hogy mennyire rangos lapnál jelentek meg a cikkek.

Az egyik legközismertebb index erre a célra az ún. impakt faktor (IF). Ez a nyugati világban már kezd kimenni a divatból, bár hatása máig érezhető. Az impakt faktort eredetileg könyvtárak számára vezették be annak megítélésére, hogy melyik folyóiratot érdemes megrendelni - azt érdemes ugyanis, amelyre sokan hivatkoznak. Az impakt faktor nem más, mint az a szám, ahányszor átlagosan idézték az elmúlt 2 év cikkeit a tárgyévben. Egy időben észrevették, hogy ez mutat valamiféle összefüggést azzal, hogy mennyire tartunk egyes folyóiratokat jónak. Az impakt faktort tehát folyóiratokra számolják ki évente. A tudományminősítésben ezt úgy szokták figyelembe venni, hogy pl. egy adott kutató(-csoport) cikkeihez hozzárendelik a megjelentető folyóiratok aktuális évi impakt faktorát, majd ezt összegzik. Ez a módszer azonban számos ponton torzít, ezért az IF az utóbbi 10 évben egyre hangosabb kritika tárgya, és fokozatosan kikopik a fontosabb tudományminősítési rendszerekből.

Nem az impakt faktor az egyetlen módszer a folyóiratok pontozására. A Scimago Lab által üzemeltetett SJR (Scimago Journal Ranking) indexe figyelembe veszi azt is, hogy milyen presztízsű folyóiratokból érkeznek a hivatkozások. A folyóiratok rangsorolását pedig tágabb tudományterületeken belül végzik, és nyers pontszámok alkalmazása helyett a lapokat helyzetük szerint négy csoportba (vagyis a rangsor négy kvartilisére, Q1, Q2, Q3, Q4 jelöléssel, a Q1 a legjobb) osztják. A felső 10%-ot (D1) külön is meg szokták különböztetni. Az SJR-en alapuló tudományminősítés úgy szokott kinézni, hogy pl. a vizsgált kutatónak megszámolják, hogy hány D1, Q1,  ... cikke van, így az nyer, akinek több.

Ezeknél jobban koncentrál a kutató egyéni teljesítményére a Hirsch-index (vagy h-index). A Hirsch-index az a legnagyobb szám, amelyre igaz, hogy a vizsgált kutatónak h db olyan cikke van, amelyre legalább h darab hivatkozás érkezett már a múltban.

Az efféle indexekre roppant sokféle körülmény hat az adott kutató képességein kívül. Befolyásolja például, hogy különböző tudományterületeken mennyi cikk születik általában, mekkora a cikk "felvevő piaca", vagy a tudományágra jellemző hivatkozási kultúra. Ezek kivédése érdekében csak tudományágakon belül, és gyakran valamilyen időbeli szűkítéssel ajánlott összehasonlításokat végeznünk. A kifejezetten téves tartalmú és/vagy provokatív hangvételű cikkekre is sok hivatkozás érkezik. 

A megjelent cikkek egyszerű összeszámolása mellett egyre inkább próbálják figyelembe venni a kutatók egyéni hozzájárulásait. Ennek legegyszerűbb módja, hogy a cikk elsőszerzőjének (vagyis aki a sorrendben elöl van) lenni nagyobb értékkel bír, mint középsőnek. A nyugati világban elfogadott gyakorlat szerint ugyanis az az elsőszerző, aki a legtöbbet dolgozik a cikkel. (Ez nem mindenhol szokás egyébként, és ez vezethet tudománymérési anomáliákhoz.) Szintén magas értékű az utolsó pozíció, aki rendszerint a kutatócsoport felelős vezetője, ritkábban a második legtöbbet dolgozó hozzájáruló. A köztes pozíciók kevesebbet érnek.

Egy viszonylag új, divatos szempont, hogy a kevésszerzős cikkeket többre (akár jelentősen többre) értékelik a többszerzős cikkeknél, mondván, ha valamin többen dolgoztak, akkor az egyéni hozzájárulások mértéke kisebb. Erre egy későbbi bejegyzésben visszatérek.

Egyre több minősítési rendszer próbálja meg figyelembe venni a kutató teljesítményének időbeli dimenzióját. Ennek az egyik módja, hogy pl. csak az utóbbi 5-10 év cikkeit számolják. Egy másik lehetőség, hogy a kutatók közti összehasonlítást azonos vagy hasonló korú kutatók között végzik el, így csak olyanok versengenek, akiknek elvileg ugyanannyi idejük állt rendelkezésre az alkotásra. A kutatói életutak azonban sokfélék, ezért a „tudományos kort” nem feltétlenül a születési dátum óta eltelt idő írja le a legjobban. Van, ahol a doktori értekezés megszerzése óta, vagy az első publikáció megjelenése óta eltelt időt veszik alapul.

A tudományminősítés egy viszonylag szofisztikált rendszere tekinthető meg a scientometrics.org oldalon. Itt egyes kutatókra le lehet kérdezni, hogy a h-index, az évenkénti független hivatkozások átlagos száma, valamint az utolsó 5 év Q1-es cikkeinek száma tekintetében hol állnak az azonos publikációs korú és azonos területen dolgozó pályatársakhoz képest. A publikációs kort az első publikáció megjelenésétől számolja.

Folyt. köv.