A tudománymetriáról 3. Bonyodalom az idővel

Ha egy magasugró az egyik évben bajnok lesz, a következőkben viszont rendre leveri a legalacsonyabbra tett lécet, akkor az egykori elsőből minden további nélkül lehet utolsó. A tudomány azonban másképp működik. A tudománymetriai jóságnak van egyfajta "tehetetlensége": a mérhető eredmények és a jutalmazás nem azonnal a publikáció megjelenése után jelennek meg, és ha maga a tudományos munka meg is szakadna, a mutatók még jó ideig (sőt, igazából az örökkévalóságig - amennyiben a tudomány azt megéri) növekednének. Egy átlagos ökológiai cikk több év, akár több évtized munkáját tartalmazza, és gyakran bírálati és szerkesztői munka átfutási ideje is több egy évnél. Onnantól, hogy megjelent, folyamatosan jönnek rá a hivatkozások. Így aztán akinek sok cikke van a múltból, annak az éves idézettsége akkor is magasabb lehet, ha egy gombot nem nyom le a billentyűzeten soha többé, mint aki az első publikációin dolgozik éjt nappallá téve. Ez egy nyilvánvaló torzítás, de indirekt módon hasonlóan torzítja az idő az írt publikációk számát is. Aki már régóta van a szakmában, annak kiterjedtebb a kapcsolati hálója, gyakran befolyásosabb pozícióban is ül, ezért ilyen-olyan módokon bekerülhet cikkekbe szerzőként, így néha "lepottyan" neki némi felmutatható eredmény relatíve kevés munkával is. Ha más nem, az évek alatt megszerzett rutinnal kisebb energia-befektetéssel ír egységnyi mennyiségű cikket, mint a pályakezdők. Felmerül az igény, hogy valamilyen módon standardizálni kellene a szakmában töltött idővel a tudománymetriai mutatókat. De mi legyen ehhez az "alapvonal"? Mit tekintsünk a szakmába lépés dátumának? A diploma megszerzésének az idejét? Rögtön kérdések hadába ütközünk: BSc vagy MSc diploma? És aki diploma előtt is publikált? És aki a diplomával először kipróbálta magát máshol, és utána ment csak kutatónak? Vagy aki több diplomával is rendelkezik? Vagy nem a tudományos szakterületén szerzett diplomát? Könnyen beláthatjuk, hogy a diploma megszerzése gyenge támpont. Egy másik lehetőség az első publikáció megjelentetésének ideje. Ez logikusnak hangzik, hiszen vehetjük úgy, hogy ezzel lép ki a kutató a tudomány porondjára. Sajnos azonban ez is csak a mesében ilyen egyszerű, és ezt a saját példámmal vagyok kénytelen illusztrálni. A vizsgált platform pedig a tudomanymetria.com (már nem frissül), illetve az újabb verziója, a scientometrics.org. A régebbi verzió a diplomaszerzés idejéhez, az újabb az első publikációhoz viszonyít. Mindkét rendszer az azonos kezdőévvel rendelkező kutatókat rangsorolja, majd a sorrendben elfoglalt hely szerint decilisekbe osztályozza őket. Így a D1-be a felső 10%, a D2-be a 10-20%, stb. kerül. Vizsgálható a kezdőév óta eltelt évek során változó pozíció is. A scientometrics.org és az általa alkalmazott alapelvek láthatóan egyre fontosabbá válnak a hazai tudományos értékelésben, noha bőséggel illette őket már kritika.

Azok közé tartozom, akik nagyon-nagyon korán, egész kicsi gyerekként eldöntötték, hogy mivel szeretnének foglalkozni. Középiskolásként már folytattam diákkutatásokat, tanulmányi versenyeken is gyakran szerepeltem. Ekkor kerültem kapcsolatba a hozzám hasonlóan motivált diákokat összefogó "Kutdiákkal", vagyis a Kutató Diákok Országos Szövetségével, illetve a későbbi egyetemi témavezetőmmel is már bőven gimnazista koromtól együtt dolgoztam. A diákkori kutatási témám a hazai levendulaültetvények gyomvegetációja volt, ezeket Pannonhalmán és Tihanyban vizsgáltam. Az első "éles" (tehát nem tanulmányi verseny) konferenciaszereplésem elsős egyetemista koromban történt egy németországi gyombiológiai konferencián. A szervezők lehetőséget adtak arra, hogy a bemutatott prezentációk anyagát egy bírálati procedúra után cikk formájában is megjelentessük egy impakt faktoros lapban (igaz, az IF egész alacsony volt). Én éltem ezzel a lehetőséggel, így 2006-ban, elsős egyetemistaként megjelent az első impakt faktoros cikkem. (Akkor még az impakt faktort fetisizálta a tudománymetria.) Elismerem, ez a cikk még eléggé "zsenge"; habár a hasonló színvonalú lapokban, sőt, ennél jobb mutatókkal rendelkező MDPI lapokban ma is jelennek meg ilyesmik. Nem is csodálom, hogy eddig alig idézték. "Hivatalosan" azonban nem ez az első cikkem, ugyanis a 2005/2006-os télen a Mecsekben megtaláltam a babérboroszlán kivadult példányait, és ebből írtam egy apró közleményt a Kitaibeliába. A lapnak azonban a 2005-ös száma késett, ezért végül a 2006-ban beküldött cikket is a 2005-ös kiadványban jelentették meg. Ezek után 2008-ban és 2009-ben jelent meg három cikkem, egyben elsőszerző, kettőben társszerző vagyok - mind hazai, impakt faktor nélküli folyóiratban, tehát mai szemmel viszonylag "súlytalan" publikációk, de akkor a hallgatók szintjén kevesek büszkélkedhettek ilyenekkel. Ha tehát az egyetemi éveimet figyeljük, akkor három elsőszerzős és két társszerzős cikkel szereztem meg a diplomámat. (Csak mellékesen jegyzem meg, hogy ezekre a kutatásokra csak igen-igen ritkán kaptam pénzt, jobbára magam fizettem minden utazást, kivéve a konferenciarészvételeket.) Összehasonlításképpen, a tipikus fiatal kutató, ha időben kezd szakdolgozni, akkor jó esetben 1-2 (inkább társszerzős) cikkel a tarsolyában jelentkezett PhD-zni akkortájt...

A scientometrics.org szerint tehát az én kezdődátumom 2005, ekkor én 19 éves voltam. Az ezutáni 5 évemet hallgatóként töltöttem, amikor egyáltalán nem várta el senki tőlem a publikálást. A cikkeim csak önszorgalomból és érdeklődésből fakadó bónuszok voltak, még az egyetemi életben sem láttam látványos hasznukat. Utána 3 évig voltam doktorandusz hallgató, majd újabb 3 év múlva, 2016-ban védtem meg a doktorimat. Doktoranduszként, illetve később megfizetett kutatóként elvárt, hogy az ember publikáljon, lehetőleg nemzetközi szinten, de ehhez általában a körülmények is nagyságrendekkel alkalmasabbak, mint hallgatóként. Pl. sokkal több ideje van rá, hiszen a kutatás az elsőszámú feladata, általában jobban elérhetőek a műszerek, laborok, kutatási pénzek... Ha valaki tehát a publikációs tevékenységet 2005-ben kezdte el, mondjuk 28 éves doktoranduszként egy másoddiploma után, és olyan intenzitással csinálja azóta is, ahogyan én a doktori megszerzése óta, az engem "simán ver" a scientometrics.org rangsorában. A korai cikkeimre ugyanis kevés idézetet kapok, így azok csak rontanak a mutatóimon. Hiába, hogy azok a cikkek egy olyan időszakból származnak, amikor még csak igen kevesek publikálnak. A rendszer nem veszi figyelembe, hogy az egyik kutató önszorgalomból, hobbiból, írja első cikkeit, nem ritkán saját zsebből fizetve minden kutatási költséget, a másik meg fizetésért, projektpénzből. A tudomanymetria.com-on két decilis kategóriával magasabban voltam, mint a scientometrics.org-on... Ám ha az egyetem során megjelent cikkeimet és az azokra érkezett hivatkozásokat letagadhatnám, akkor lényegesen javíthatnék a helyezésemen. Ezt nonszensznek tartom.

Minden értékelési rendszernek vannak kedvezményezettjei és kárvallottjai. A kedvezményezettek a bemutatott rendszernél azok, akik későn kezdtek el publikálni, azóta viszont többé-kevésbé folyamatos aktivitással csinálják. Az átlagos kutatók valószínűleg ilyenek, továbbá "még ilyenebbek" azok, akik már szereztek valamilyen, a tudományban is hasznosítható munkatapasztalatot más területen, és csak később kezdtek kutatói pályát. A kárvallottak pedig a korán jelentkező tehetségek, akiknek a hallgatói aktivitása, ami akkor kiemelkedővé tette őket, ma a hátrányukra válik, mert aránytalan versenybe helyezi őket. Hogy ilyen személyből mennyi van, azt a Kutdiák szövetség léte is illusztrálja: kimutatható számban vannak diákok, akik nagyon korán lépnek tudományos pályára, és gyakran később is sikeresek ezen a területen. Nagyon sok mostani pályatársamat (köztük többen ma is a szakmai legjobbjai közé tartoznak) még diákként ismertem meg. Rájuk nézve az első publikációhoz mérni az értékelés kezdőévét kifejezetten hátrányos, és ez a tudományra nézve kontraproduktív. Egyáltalán nem ösztönző ugyanis a szárnyukat bontogató fiatal kutatók felé az a tudat, hogy olyanokkal szerepelnek majd azonos összehasonlításban, akik sokkal jobb kutatási körülményekkel rendelkeznek, még ha tudásban, kreativitásban, motivációban éppen fordított is a reláció. Összességében pedig ez a tudomány utánpótlását gyengíti. Az vitán felül áll, hogy egy kutatónak sem abból kell "megélnie", hogy egyetemistaként milyen tehetségesnek számított. Az viszont, hogy a hallgatói évei is ugyanolyan súllyal essenek latba, mint a későbbiek, amikor már "főállású" kutató, torz értékeléshez vezet. Sokkal korrektebbnek tartanám, ha ez a kezdődátum nem lehetne korábban, mint pl. az első MSc diploma megszerzésének vagy az első PhD megkezdésének éve.

A kezdődátumokhoz való bármiféle viszonyítás azonban más társadalmi csoportokat is súlyos hátrányba helyez: ők azok, akik néhány évre felfüggesztik a tudományos pályát, vagy csökkent aktivitással művelik azt. Mindenekelőtt a gyermeket nevelő, GYES/GYED/CSED-en lévő szülőkre gondolok. Teljességgel méltánytalannak tartom, hogy ugyanabban az összehasonlításban kell helytállnia egy családanyának 0-6 éves gyerekekkel mindenféle korrekció nélkül, mint egy gyermektelen pályatársának. Ez a kritika kifejezetten a tudomanymetria.com-ot és a scientometrics.org-ot érinti, mert egyébként szerencsére sok pályázat esetén legalább a pályázási korhatárt kitolják gyermekenként +2 évvel.

Elismerem, hogy a fenti problémákra igen nehéz minden lehetséges esetet kielégítő pontrendszert megalkotni. A javaslatom azonban, hogy ne is tegyünk úgy, mintha... Semmiképpen se alkalmazzuk a tudomanymetria.com vagy a scientometrics.org által kihozott sorrendeket, illetve az általuk követett elveket automatikusan. Bár az egyszerűségük vonzó, túl sok elhanyagolással, igazságtalansággal járnak.

A nevezett értékelő platformok a tavalyi OTKA-eredmények kapcsán váltottak ki nagy visszhangot a tudományos közösség részéről, ez a sajtóban is megjelent. A rendszer számos hiányosságáról írt Kamarás Katalin és szerzőtársai a Magyar Tudományban, de szólt erről konferencia is, valamint jelent meg több véleménycikk. A tudományos közösség általánosságban óva int a tudomanymetria.com leegyszerűsítő használatától (s ez minden bizonnyal a scientometrics.org-ra is érvényes).

FRISSÍTÉS: A bejegyzés közzététele után számos ismerősöm jelezte, hogy korai, hallgatókori munkásságának betudhatóan szintén alacsonyabb mutatókat ért el a scientometrics.org-on. Mindannyian tehetséges, a kutatómunkában kortársaikat megelőző személyek...

A tudománymetriáról 2. Kevésszerzős vs. sokszerzős cikkek

Az előző bejegyzésben röviden áttekintettem a tudományminősítés alapvető tudnivalóit. Írtam, hogy a tudományminősítés alapja annak valamiféle "pontozása", hogy kinek a neve alatt mennyi és milyen tudományos publikációk jelennek meg. Említettem azt is, hogy terjedőben van az a szemlélet, miszerint az olyan cikkek többet érnek a tudománymetria tükrében, amelyet kevés szerző jegyez, mint a sokszerzős cikkek.

Jellemzően egy cikk szerzői közé az kerül be, aki jelentős mértékben, tudományos módon hozzájárult a munka sikeréhez. Hogy hol van a "jelentős mérték" és a "tudományos mód" határa, azt igen nehéz definiálni. Az én tudományterületemen általában az ér társszerzői státuszt, ha valaki részt vesz egy kutatás elméleti tervezésében, a mintavételi és az adatelemzési döntések meghozatalában, vagy jelentős mértékű adatot szolgáltat, majd a cikkírásban legalább átnézi a kéziratot. A világban szétnézve azonban egészen változatos módokon realizálódik a szerzői kör megszabása. Nem kell sokat kutakodnunk a színfalak mögött, hogy kiderüljön, előfordul, amikor "karitatív alapon", vagy éppen stratégiai okokból olyanok is bekerülnek egy cikkbe, akik nem sokat dolgoztak benne. Ez nyilvánvalóan etikátlan, de mivel a szerzői hozzájárulások önbevalláson alapulnak, nem igazán lehet ellene tenni. Egy átlagos cikk kb. 5-15 személy nevével jelenik meg, de léteznek több száz, vagy ezer szerzős cikkek is. Talán az ok nélkül hatalmasra duzzadó szerzői listák kiküszöbölése motiválhatta a szerzőszám figyelembevételét a tudományértékelésben, hiszen az valóban nem fair, ha lényegi hozzájárulás nélkül is hasznot húz valaki a publikációból. Az értékelés pontos mikéntjén azonban nagyon sok múlik. Nem mindegy, hogy ez az adott cikk összes szerzőjére vonatkozik, vagy csak a köztes szerzőkre (tehát a szerzői lista első és utolsó tagjára nem - az ő hozzájárulásuk általában a legnagyobb), és hogy pontosan milyen függvény szerint csökkenti az egyedi hozzájárulások "pontszámát" a szerzőszám (pl. 10 szerző felett csak fele annyi pontot ér, vagy a szerzőszámmal egyenes arányban ér egyre kevesebbet, stb). Emiatt egész konkrét gyakorlatokról nem tudok írni, ezek még nem is igazán kristályosodtak ki, csak az alapelvről.

Forrás: PHD Comics https://phdcomics.com/comics/archive.php?comicid=562

Az valóban nem cáfolható, hogy ha valaki egyedül, vagy 1-2 társsal végez el egy munkát, az nagyobb erőfeszítés, mintha ugyanazt több társsal kivitelezte volna, hiszen feltételezhetjük, hogy a munka jobban megoszlott utóbbiak között. Kérdés, hogy valóban ugyanaz a munka születik-e meg 1-2, vagy 4-5, netán 10-15, vagy 100-150 szerző munkájával.

Általában ugyanis nem ugyanarról írunk cikket egyedül, mint csapatban. Az elméleti jellegű cikkeket, pl. az adatelemzési módszertani cikkeket, általában a statisztikai cikkeket, véleménycikkeket, fórumcikkeket, rendszerint viszonylag kevés szerző írja. Ezzel szemben a nagy adatgyűjtési munkán alapuló cikkeknek, pl. terepi kísérletek, nagy földrajzi léptékű szintézisek, hosszútávú monitoringok, több taxonra kiterjedő vizsgálatok cikkeinek jellemzően sok szerzőjük van. Miért? Mert egy gondolati rendszer jól megfér egyetlen személy fejében, esetleg nem jelent nagy kavarodást, ha még 1-2 kolléga hozzászól. De ennél több hozzájáruló akár zavaró és kontraproduktív is lehet. Ha nem elsődleges adatok elemzése, hanem elméletibb tartalmú a cikk, amiben sokat számítanak a szubjektív nézetek, akkor nehéz lehet a sok eltérő vélemény közös nevezőre hozása. Egy statisztikai módszer ötlete is általában egy-két emberhez köthető, a hozzá szükséges tesztekhez sem kell sokkal több. Ezzel szemben, ha egy vizsgálat kiterjed 10 országra, az gyakran kapásból 10 társszerző, hiszen kell valaki, aki szakértő és felelősséget vállal az adott ország vonatkozásaiban, pl. meg tudja ítélni az adatok minőségét és van lokális háttértudása az eredmények értelmezéséhez, a hibák kiszúrásához; neadjisten ő maga adja az adatokat. Egy komplexebb terepi kutatáshoz kell ember a terepi adatgyűjtéshez, kellhetnek specialista szakértők egyes taxoncsoportokhoz vagy lokalitásokhoz, kellhet egy-két szakirodalomban jártas személy és adatelemző, ott van a laborvezető, illetve valaki, aki az egészet összefogja. Ha a vizsgálat sokáig tart, akkor a személyek cserélődhetnek ilyen-olyan okokból, pl. lejár a pályázatuk, gyermekük születik, nyugdíjba mennek, ez mind-mind behoz 1-1 helyettesítő embert. Rosszabbá válna a kutatás attól, hogy ennyi ember dolgozik rajta? Nem gondolom. Az elsőszerző munkája értéktelenebb lenne ettől? Nos, vehetjük úgy, hogy a kulcsember még többet tehetne le az asztalra, ha pl. több taxoncsoportot is kitanulna gyorsan, vagy két-három személyre valót dolgozna terepen - de ez gyakorlatilag irreális elvárás. Ha az adatok több forrásból érkeznek, akkor etikailag is megkérdőjelezhető a fontosabb adatszolgáltatók kihagyása. Fel kellene ismerni, hogy vannak bizonyos kutatási típusok, amiket sokan, csapatban lehet jól megcsinálni. Ettől ezek a kutatások, az így születő cikkek nem érnek kevesebbet azoknál, amelyeket kevesen írtak, mert gyakran tematikájukban is mások. Ahogyan egy foci-vb győzelem sem ér kevesebbet egy kézilabda-vb győzelemnél csupán azért, mert a focicsapat több emberből áll. Gépies összehasonlításuk félrevezető. Sajnos láttam már bizonyos fórumon kevésszerzőssége okán (is) piedesztálra emelt cikket, aminek jót tett volna még néhány résztvevő (a "vicc" az volt, hogy maga a szerző sem tagadta a hiányosságokat).

Hallottam olyan érvet, hogy a népes társszerzői csapat koordinálása logisztikai, és nem tudományos feladat, ezért egy másfajta díjazással lehetne "kárpótolni" a sokszerzősség miatt hátrányba került, vezető pozíciójú szerzőket. Ez az érv – egyrészt – nem teljesen állja meg a helyét, hiszen a részvizsgálatok összehangolása, részeredmények és „résztudások” szintetizálása nagyon is tudományos munka. Itt nem csak arról van szó, hogy több számlát kell leigazolni és több Word dokumentumot kell összefésülni... Az eredménye is tudomány, hiszen ott a megjelent cikk. Másrészt, sajnos nem tisztázott az alternatív jutalmazás mikéntje, addig pedig ez nem lehet hivatkozási alap. Harmadrészt, szimpatikusabbnak tartom azt a kiindulási feltételezést, hogy egy cikket annyian írnak meg a megfelelő színvonulú eredmény érdekében, ahány személyre szükség van, mint azt, hogy "gyanús ott az a csoportosulás", biztos vannak potyautasok köztük... Nem tagadva, hogy potyautasok léteznek, csak a gyakoriságuk ismeretlen.

Összefoglalva tehát az a gondom a teljes szerzőszám figyelembevételével, hogy bizonyos tudományterületeken és problématípusokon dolgozó kutatókat hátrányosan különböztet meg. Tudom, hogy már 3-4 szerző esetén sem egyenlő mindenki hozzájárulása. 100-200 szerzős cikkeknél is legfeljebb 3-4 személy húzza az igát, és mellettük 10-20 „második körös” szerzővel lehet számolni. A többiek valamilyen részfeladat, jellemzően adatszolgáltatás miatt szerepelnek. A hozzájárulók nagy része nélkül gyakorlatilag ugyanúgy megjelenhetne a cikk. Azonban ilyenkor legalább a vezető szerzőket nem kellene azzal büntetni, hogy hány egyéb szerző van még a cikkükben, mert azok a személyek gyakran etikai okokból is szerepelnek, amúgy a munkát effektíve nem könnyítik meg lényegesen. Igazságosabb megoldás felé vihet a CRediT (Contributor Roles Taxonomy), amely egy egységes, általános hozzájárulási nómenklatúrát kínál. Gyakorlatilag egy listából ki lehet választani, hogy melyik szerző milyen módon járult hozzá a cikkhez. Néhány folyóirat már megköveteli ennek az alkalmazását – ám a tudománymetriai minősítő rendszerek még aligha vettek róla tudomást. A szándékos csalást, persze, ez sem előzi meg.

FRISSÍTÉS:

A bejegyzés közzétételének másnapján jelent meg egy számos kollégám által jegyzett cikk (melyhez ezúton is gratulálok!), amely azt boncolgatja, hogy a 2050-re Magyarországra vonatkozó környezeti előrejelzések milyen természetvédelmi kutatások fontosságát vetítik előre. A cikk egy fő üzenete, hogy határokon és tudományterületeken átívelő együttműködésekre lesz szükség a tudáshiányok "betöméséhez". Az ilyen együttműködések kimenetei tipikusan sokszerzősek. Életszerűtlen, ha pont ezeket értékelik majd alul tudománymetriai szempontból.

A cikk itt érhető el egyébként: Csákvári et al. (2021): Conservation biology research priorities for 2050: A Central-Eastern European perspective. Biological Conservation 264, https://doi.org/10.1016/j.biocon.2021.109396

Egyszerű vezérfonal cikkíráshoz

A minap a Facebookon "szembejött" az alábbi ábra, amely rendkívül információgazdagon és szemléletesen magyarázza el, hogyan kéne kinéznie egy tudományos cikknek. Mindenkinek ajánlom, aki most ismerkedik a publikálással, de talán a tapasztaltabbak dolgát is megkönnyíti.

A cikk részei az ábra tetején kezdődnek, majd lefelé haladva folytatódnak a fejezeteket (nagybetűvel) és bekezdéseket vagy alfejezeteket (kisbetűvel) jelölő szegmensekben. A szegmensek szélességei leginkább a rész fókuszáltságára vonatkoznak: minél szélesebb, annál általánosabb és kitekintő jellegűbb, minél keskenyebb, annál fókuszáltabb, specifikusabb. Nagyon ötletesen nem csak a szakaszok nevei látszanak, hanem tipikus mondatkezdések érzékeltetik a bennünk megbúvó tartalom jellegét. Annyi kiegészítést tennék csak hozzá, hogy ökológiában a szakirodalmi áttekintés ('Literature review') a bevezetésben ('Introduction') kerül elő, gyakorlatilag annak első két bekezdése ('establishing a territory'* és 'establishing a niche'*) ebből építkezik. Természetesen nem kell ezt a sémát teljesen mereven alkalmazni, főleg a 'Discussion' fejezetben van lehetőség variálni a vizsgálat logikájának megfelelően az eredmények megvitatásának sorrendjét, tematikáját. Kiindulásnak azonban nagyon hasznos, főleg kezdő kutatók számára, és azt hiszem, a szerkesztőknek, a bírálóknak és a szerzőknek egyaránt kevésbé lesz frusztráló a publikációs folyamat, ha a jövőbeli szerzők megszívlelik az útmutatást.

A fotó eredeti forrását sajnos nem tudtam kinyomozni, ha valaki megtalálja, szívesen kiegészítem a bejegyzést.

*Most ne akadjunk fenn a szavak ökológiai jelentésén! A 'territory' itt a tágabb téma kijelölését jelenti, míg a 'niche' egy specifikusabb kérdés, kutatási hiányterület felvezetését. Jellemzően mindkettő irodalmi áttekintéssel történik.

eredeti forrás: ismeretlen