A tudománymetriáról 2. Kevésszerzős vs. sokszerzős cikkek

Az előző bejegyzésben röviden áttekintettem a tudományminősítés alapvető tudnivalóit. Írtam, hogy a tudományminősítés alapja annak valamiféle "pontozása", hogy kinek a neve alatt mennyi és milyen tudományos publikációk jelennek meg. Említettem azt is, hogy terjedőben van az a szemlélet, miszerint az olyan cikkek többet érnek a tudománymetria tükrében, amelyet kevés szerző jegyez, mint a sokszerzős cikkek.

Jellemzően egy cikk szerzői közé az kerül be, aki jelentős mértékben, tudományos módon hozzájárult a munka sikeréhez. Hogy hol van a "jelentős mérték" és a "tudományos mód" határa, azt igen nehéz definiálni. Az én tudományterületemen általában az ér társszerzői státuszt, ha valaki részt vesz egy kutatás elméleti tervezésében, a mintavételi és az adatelemzési döntések meghozatalában, vagy jelentős mértékű adatot szolgáltat, majd a cikkírásban legalább átnézi a kéziratot. A világban szétnézve azonban egészen változatos módokon realizálódik a szerzői kör megszabása. Nem kell sokat kutakodnunk a színfalak mögött, hogy kiderüljön, előfordul, amikor "karitatív alapon", vagy éppen stratégiai okokból olyanok is bekerülnek egy cikkbe, akik nem sokat dolgoztak benne. Ez nyilvánvalóan etikátlan, de mivel a szerzői hozzájárulások önbevalláson alapulnak, nem igazán lehet ellene tenni. Egy átlagos cikk kb. 5-15 személy nevével jelenik meg, de léteznek több száz, vagy ezer szerzős cikkek is. Talán az ok nélkül hatalmasra duzzadó szerzői listák kiküszöbölése motiválhatta a szerzőszám figyelembevételét a tudományértékelésben, hiszen az valóban nem fair, ha lényegi hozzájárulás nélkül is hasznot húz valaki a publikációból. Az értékelés pontos mikéntjén azonban nagyon sok múlik. Nem mindegy, hogy ez az adott cikk összes szerzőjére vonatkozik, vagy csak a köztes szerzőkre (tehát a szerzői lista első és utolsó tagjára nem - az ő hozzájárulásuk általában a legnagyobb), és hogy pontosan milyen függvény szerint csökkenti az egyedi hozzájárulások "pontszámát" a szerzőszám (pl. 10 szerző felett csak fele annyi pontot ér, vagy a szerzőszámmal egyenes arányban ér egyre kevesebbet, stb). Emiatt egész konkrét gyakorlatokról nem tudok írni, ezek még nem is igazán kristályosodtak ki, csak az alapelvről.

Forrás: PHD Comics https://phdcomics.com/comics/archive.php?comicid=562

Az valóban nem cáfolható, hogy ha valaki egyedül, vagy 1-2 társsal végez el egy munkát, az nagyobb erőfeszítés, mintha ugyanazt több társsal kivitelezte volna, hiszen feltételezhetjük, hogy a munka jobban megoszlott utóbbiak között. Kérdés, hogy valóban ugyanaz a munka születik-e meg 1-2, vagy 4-5, netán 10-15, vagy 100-150 szerző munkájával.

Általában ugyanis nem ugyanarról írunk cikket egyedül, mint csapatban. Az elméleti jellegű cikkeket, pl. az adatelemzési módszertani cikkeket, általában a statisztikai cikkeket, véleménycikkeket, fórumcikkeket, rendszerint viszonylag kevés szerző írja. Ezzel szemben a nagy adatgyűjtési munkán alapuló cikkeknek, pl. terepi kísérletek, nagy földrajzi léptékű szintézisek, hosszútávú monitoringok, több taxonra kiterjedő vizsgálatok cikkeinek jellemzően sok szerzőjük van. Miért? Mert egy gondolati rendszer jól megfér egyetlen személy fejében, esetleg nem jelent nagy kavarodást, ha még 1-2 kolléga hozzászól. De ennél több hozzájáruló akár zavaró és kontraproduktív is lehet. Ha nem elsődleges adatok elemzése, hanem elméletibb tartalmú a cikk, amiben sokat számítanak a szubjektív nézetek, akkor nehéz lehet a sok eltérő vélemény közös nevezőre hozása. Egy statisztikai módszer ötlete is általában egy-két emberhez köthető, a hozzá szükséges tesztekhez sem kell sokkal több. Ezzel szemben, ha egy vizsgálat kiterjed 10 országra, az gyakran kapásból 10 társszerző, hiszen kell valaki, aki szakértő és felelősséget vállal az adott ország vonatkozásaiban, pl. meg tudja ítélni az adatok minőségét és van lokális háttértudása az eredmények értelmezéséhez, a hibák kiszúrásához; neadjisten ő maga adja az adatokat. Egy komplexebb terepi kutatáshoz kell ember a terepi adatgyűjtéshez, kellhetnek specialista szakértők egyes taxoncsoportokhoz vagy lokalitásokhoz, kellhet egy-két szakirodalomban jártas személy és adatelemző, ott van a laborvezető, illetve valaki, aki az egészet összefogja. Ha a vizsgálat sokáig tart, akkor a személyek cserélődhetnek ilyen-olyan okokból, pl. lejár a pályázatuk, gyermekük születik, nyugdíjba mennek, ez mind-mind behoz 1-1 helyettesítő embert. Rosszabbá válna a kutatás attól, hogy ennyi ember dolgozik rajta? Nem gondolom. Az elsőszerző munkája értéktelenebb lenne ettől? Nos, vehetjük úgy, hogy a kulcsember még többet tehetne le az asztalra, ha pl. több taxoncsoportot is kitanulna gyorsan, vagy két-három személyre valót dolgozna terepen - de ez gyakorlatilag irreális elvárás. Ha az adatok több forrásból érkeznek, akkor etikailag is megkérdőjelezhető a fontosabb adatszolgáltatók kihagyása. Fel kellene ismerni, hogy vannak bizonyos kutatási típusok, amiket sokan, csapatban lehet jól megcsinálni. Ettől ezek a kutatások, az így születő cikkek nem érnek kevesebbet azoknál, amelyeket kevesen írtak, mert gyakran tematikájukban is mások. Ahogyan egy foci-vb győzelem sem ér kevesebbet egy kézilabda-vb győzelemnél csupán azért, mert a focicsapat több emberből áll. Gépies összehasonlításuk félrevezető. Sajnos láttam már bizonyos fórumon kevésszerzőssége okán (is) piedesztálra emelt cikket, aminek jót tett volna még néhány résztvevő (a "vicc" az volt, hogy maga a szerző sem tagadta a hiányosságokat).

Hallottam olyan érvet, hogy a népes társszerzői csapat koordinálása logisztikai, és nem tudományos feladat, ezért egy másfajta díjazással lehetne "kárpótolni" a sokszerzősség miatt hátrányba került, vezető pozíciójú szerzőket. Ez az érv – egyrészt – nem teljesen állja meg a helyét, hiszen a részvizsgálatok összehangolása, részeredmények és „résztudások” szintetizálása nagyon is tudományos munka. Itt nem csak arról van szó, hogy több számlát kell leigazolni és több Word dokumentumot kell összefésülni... Az eredménye is tudomány, hiszen ott a megjelent cikk. Másrészt, sajnos nem tisztázott az alternatív jutalmazás mikéntje, addig pedig ez nem lehet hivatkozási alap. Harmadrészt, szimpatikusabbnak tartom azt a kiindulási feltételezést, hogy egy cikket annyian írnak meg a megfelelő színvonulú eredmény érdekében, ahány személyre szükség van, mint azt, hogy "gyanús ott az a csoportosulás", biztos vannak potyautasok köztük... Nem tagadva, hogy potyautasok léteznek, csak a gyakoriságuk ismeretlen.

Összefoglalva tehát az a gondom a teljes szerzőszám figyelembevételével, hogy bizonyos tudományterületeken és problématípusokon dolgozó kutatókat hátrányosan különböztet meg. Tudom, hogy már 3-4 szerző esetén sem egyenlő mindenki hozzájárulása. 100-200 szerzős cikkeknél is legfeljebb 3-4 személy húzza az igát, és mellettük 10-20 „második körös” szerzővel lehet számolni. A többiek valamilyen részfeladat, jellemzően adatszolgáltatás miatt szerepelnek. A hozzájárulók nagy része nélkül gyakorlatilag ugyanúgy megjelenhetne a cikk. Azonban ilyenkor legalább a vezető szerzőket nem kellene azzal büntetni, hogy hány egyéb szerző van még a cikkükben, mert azok a személyek gyakran etikai okokból is szerepelnek, amúgy a munkát effektíve nem könnyítik meg lényegesen. Igazságosabb megoldás felé vihet a CRediT (Contributor Roles Taxonomy), amely egy egységes, általános hozzájárulási nómenklatúrát kínál. Gyakorlatilag egy listából ki lehet választani, hogy melyik szerző milyen módon járult hozzá a cikkhez. Néhány folyóirat már megköveteli ennek az alkalmazását – ám a tudománymetriai minősítő rendszerek még aligha vettek róla tudomást. A szándékos csalást, persze, ez sem előzi meg.

FRISSÍTÉS:

A bejegyzés közzétételének másnapján jelent meg egy számos kollégám által jegyzett cikk (melyhez ezúton is gratulálok!), amely azt boncolgatja, hogy a 2050-re Magyarországra vonatkozó környezeti előrejelzések milyen természetvédelmi kutatások fontosságát vetítik előre. A cikk egy fő üzenete, hogy határokon és tudományterületeken átívelő együttműködésekre lesz szükség a tudáshiányok "betöméséhez". Az ilyen együttműködések kimenetei tipikusan sokszerzősek. Életszerűtlen, ha pont ezeket értékelik majd alul tudománymetriai szempontból.

A cikk itt érhető el egyébként: Csákvári et al. (2021): Conservation biology research priorities for 2050: A Central-Eastern European perspective. Biological Conservation 264, https://doi.org/10.1016/j.biocon.2021.109396

A tudománymetriáról 1. Rövid bevezetés

Ha a Tisztelt Olvasó nem különösképpen jártas a tudományos életben, akkor talán azt gondolná, hogy a kutató élete maga a nyugalom, amit egyéni életvitelük és érdeklődésük által megszabott ritmusban tölthetnek kutatással, ami egyébként a hobbijuk is egyben. Kevés szó esik a kutatói élet roppant kompetitív mivoltáról. A versengés egyrészt megjelenik tudomány belső világában, ahol minden felfedezés csak egyszer, először számít érdekesnek. A "második felfedezőre" már senki nem kíváncsi, teljesen jogosan, így hát arra törekszünk, hogy az eredményeinkkel megelőzzük a pályatársainkat. Talán hihetetlen, de néha egész kiélezett verseny zajlik egy-egy felfedezésért, gyakran anélkül, hogy tudnánk róla. Akkor jövünk csak rá, amikor megjelenik egy publikáció, ami lényegében az általunk éppen vizsgált kérdést válaszolja meg. Most nem erről a versengésről lesz szó, hanem arról, amikor rajtunk kívülálló erők próbálják megítélni, rangsorolni kutatók és intézetek tudományos teljesítményét. A tudományos teljesítmény számszerűsítésével egy egész tudományterület, a szcientometria vagy tudománymetria foglalkozik, és Magyarországon nagy hagyományokkal bír (a nívós Scientometrics folyóiratot pl. az Akadémiai Kiadó adja ki). Én nem tartozom ennek a tudományterületnek a művelői közé. Azért bátorkodom mégis írni róla, mert kutatóként nap mint nap találkozom a tudománymérés gyakorlati problémáival, és néhány gondolatot szeretnék megosztani ennek kapcsán. Mondandómat egy bejegyzéssorozatban adom közre, ennek az első, bevezető része a mostani, amely inkább azoknak szól, akik nem tudományos pályán dolgoznak.

Miért kell mérni a tudományos teljesítményt?

A kutatáshoz pénz kell. Fizetni kell a dolgozók bérét, a munkához szükséges anyagokat, a logisztikát, a kapcsolódó szolgáltatásokat, sőt, fizetni kell a tudományos eredmények közzétételének bizonyos formáiért. Mondanom sem kell, a jó kutatáshoz gyakran sok pénz kell. Pénz azonban nem áll rendelkezésre korlátlan mennyiségben - egyes kutatásokra jut, másokra nem. A tudományt finanszírozó források (ezek lehetnek állami vagy államok közötti szervek, alapítványok, cégek, magánszemélyek... bármi) szeretnék, ha a tudományra fordított támogatás nem kidobott pénz lenne, hanem felmutatható eredmények születnének belőle, ezért szükségük van valamiféle "kockázatbecslésre", amely segít eldönteni, mibe érdemes "befektetni" és mibe nem. Ez a kockázatminimalizálás a velejéig áthatja a tudományos életet, hiszen végső soron az eredményességet minden szinten létkérdéssé teszi, ezzel versengést szül a tudományterületek, intézmények és egyéni kutatók közt. Nem utolsó sorban a kutatók érdeke is lehet a minősítés, hiszen ez alapot adhat a szakmai előrelépés, megbecsültség alátámasztásához, ami akár még anyagiakban is megnyilvánulhat.

Máté evangelista ábrázolása
forrás: wikipedia.org

Hogyan mérjük a tudományos teljesítményt?

A tudományban nagyon erősen érvényesül az ún. Máté-elv: "Mert mindenkinek, akinek van, adatik, és bővelkedni fog; attól pedig, akinek nincs, még az is elvétetik, amije van." (Mt 25,29) A tudományos életre ez úgy alkalmazható, hogy aki eddig eredményes volt, az ezután is az (vagy még inkább az) lesz, míg, aki nem volt eredményes, az nem valószínű, hogy ezután az lesz. A legkevésbé tehát azt a kutatást (pályázatot, kutatót, kutatócsoportot...) kockázatos támogatni, amely előélete sikerekben gazdag. Ez a jelenlegi tudományfinanszírozás sarokpontja (elviekben). De mi jelenti a sikert, az eredményességet a tudományban? Szükségünk van valamiféle mérőszámra, amely megmutatja, ha az egyik kutató(-csoport) jobb a másiknál.

A tudományos munka közleményekben nyilvánul meg, amelyeket ha a szakma érdemesnek tart rá, akkor átvesz és tovább használ, ellenkező esetben gyakorlatilag elfelejt (bár néha később újra felfedez). A tudományos teljesítmény mérésére használt indexek ezért a publikációk számán és minőségén, valamint a publikációk utóéletéről szóló információn, jellemzően a publikációkra érkező hivatkozások számán alapulnak. A tudományos teljesítmény mérésére használt mutatók sokaságát egyetlen bejegyzésben képtelenség áttekinteni. Mi, kutatók, ezeket aránylag jól ismerjük, de a szakmához távolabbról kapcsolódó olvasók kedvéért most röviden bemutatok néhányat.

A legegyszerűbb mérőszám a kutató(-csoport) által közölt cikkek száma. Mivel azonban a folyóiratok színvonala tág határok között változik, ezt érdemes árnyalni, pl. annak figyelembevételével, hogy mennyire rangos lapnál jelentek meg a cikkek.

Az egyik legközismertebb index erre a célra az ún. impakt faktor (IF). Ez a nyugati világban már kezd kimenni a divatból, bár hatása máig érezhető. Az impakt faktort eredetileg könyvtárak számára vezették be annak megítélésére, hogy melyik folyóiratot érdemes megrendelni - azt érdemes ugyanis, amelyre sokan hivatkoznak. Az impakt faktor nem más, mint az a szám, ahányszor átlagosan idézték az elmúlt 2 év cikkeit a tárgyévben. Egy időben észrevették, hogy ez mutat valamiféle összefüggést azzal, hogy mennyire tartunk egyes folyóiratokat jónak. Az impakt faktort tehát folyóiratokra számolják ki évente. A tudományminősítésben ezt úgy szokták figyelembe venni, hogy pl. egy adott kutató(-csoport) cikkeihez hozzárendelik a megjelentető folyóiratok aktuális évi impakt faktorát, majd ezt összegzik. Ez a módszer azonban számos ponton torzít, ezért az IF az utóbbi 10 évben egyre hangosabb kritika tárgya, és fokozatosan kikopik a fontosabb tudományminősítési rendszerekből.

Nem az impakt faktor az egyetlen módszer a folyóiratok pontozására. A Scimago Lab által üzemeltetett SJR (Scimago Journal Ranking) indexe figyelembe veszi azt is, hogy milyen presztízsű folyóiratokból érkeznek a hivatkozások. A folyóiratok rangsorolását pedig tágabb tudományterületeken belül végzik, és nyers pontszámok alkalmazása helyett a lapokat helyzetük szerint négy csoportba (vagyis a rangsor négy kvartilisére, Q1, Q2, Q3, Q4 jelöléssel, a Q1 a legjobb) osztják. A felső 10%-ot (D1) külön is meg szokták különböztetni. Az SJR-en alapuló tudományminősítés úgy szokott kinézni, hogy pl. a vizsgált kutatónak megszámolják, hogy hány D1, Q1,  ... cikke van, így az nyer, akinek több.

Ezeknél jobban koncentrál a kutató egyéni teljesítményére a Hirsch-index (vagy h-index). A Hirsch-index az a legnagyobb szám, amelyre igaz, hogy a vizsgált kutatónak h db olyan cikke van, amelyre legalább h darab hivatkozás érkezett már a múltban.

Az efféle indexekre roppant sokféle körülmény hat az adott kutató képességein kívül. Befolyásolja például, hogy különböző tudományterületeken mennyi cikk születik általában, mekkora a cikk "felvevő piaca", vagy a tudományágra jellemző hivatkozási kultúra. Ezek kivédése érdekében csak tudományágakon belül, és gyakran valamilyen időbeli szűkítéssel ajánlott összehasonlításokat végeznünk. A kifejezetten téves tartalmú és/vagy provokatív hangvételű cikkekre is sok hivatkozás érkezik. 

A megjelent cikkek egyszerű összeszámolása mellett egyre inkább próbálják figyelembe venni a kutatók egyéni hozzájárulásait. Ennek legegyszerűbb módja, hogy a cikk elsőszerzőjének (vagyis aki a sorrendben elöl van) lenni nagyobb értékkel bír, mint középsőnek. A nyugati világban elfogadott gyakorlat szerint ugyanis az az elsőszerző, aki a legtöbbet dolgozik a cikkel. (Ez nem mindenhol szokás egyébként, és ez vezethet tudománymérési anomáliákhoz.) Szintén magas értékű az utolsó pozíció, aki rendszerint a kutatócsoport felelős vezetője, ritkábban a második legtöbbet dolgozó hozzájáruló. A köztes pozíciók kevesebbet érnek.

Egy viszonylag új, divatos szempont, hogy a kevésszerzős cikkeket többre (akár jelentősen többre) értékelik a többszerzős cikkeknél, mondván, ha valamin többen dolgoztak, akkor az egyéni hozzájárulások mértéke kisebb. Erre egy későbbi bejegyzésben visszatérek.

Egyre több minősítési rendszer próbálja meg figyelembe venni a kutató teljesítményének időbeli dimenzióját. Ennek az egyik módja, hogy pl. csak az utóbbi 5-10 év cikkeit számolják. Egy másik lehetőség, hogy a kutatók közti összehasonlítást azonos vagy hasonló korú kutatók között végzik el, így csak olyanok versengenek, akiknek elvileg ugyanannyi idejük állt rendelkezésre az alkotásra. A kutatói életutak azonban sokfélék, ezért a „tudományos kort” nem feltétlenül a születési dátum óta eltelt idő írja le a legjobban. Van, ahol a doktori értekezés megszerzése óta, vagy az első publikáció megjelenése óta eltelt időt veszik alapul.

A tudományminősítés egy viszonylag szofisztikált rendszere tekinthető meg a scientometrics.org oldalon. Itt egyes kutatókra le lehet kérdezni, hogy a h-index, az évenkénti független hivatkozások átlagos száma, valamint az utolsó 5 év Q1-es cikkeinek száma tekintetében hol állnak az azonos publikációs korú és azonos területen dolgozó pályatársakhoz képest. A publikációs kort az első publikáció megjelenésétől számolja.

Folyt. köv.