Kvantitativno vrednotenje znanstvenoraziskovalnega dela

Rezultati znanstvenih raziskav so številni in raznoliki. Danes obstajajo različni standardni mehanizmi merjenja kakovosti in vpliva rezultatov raziskovalnega dela, ki so tako kvantitativni kot kvalitativni.

Za začetek znanstvenega objavljanja štejemo začetek izdajanja revije Philosophical Transactions of the Royal Society, angleške revije, ki obstaja še danes in katere prva številka je izšla 5. marca 1665. Eno prvih osrednjih vodil znanstvenega delovanja pa je bila kultura »objavi ali izgini« (angl. publish or perish), ki je prvotno izšel iz želje po objektivnem ocenjevanju raziskovalnega dela. Vse večje število člankov in drugih objav je vodilo k iskanju kazalnikov, ki bi omogočali vsaj približno kvantitativno vrednotenje  (Majdič, 2021).

Kvantitativno merjenje kakovosti objavljanja se je začelo z Eugene Garfieldom in gradnjo bibliografskih podatkovnih zbirk, ki so jih uporabljali knjižničarji kot orodje za bibliometrijske analize in raziskave. Prvotni namen teh podatkovnih zbirk je bila pomoč knjižničarjem pri odločitvah glede nakupa naslovov, izbiri posamezne revije znotraj različnih področij znanosti ter za iskanje relevantnih znanstvenih informacij. Začetki segajo v leto 1961, ko je Eugene Garfield naredil prvi indeks citatov (angl. Citation Index), leta 1963 indeks citiranosti znotraj naravoslovja (angl. Science Citation Index), ki je pomenil revolucionaren razvoj in začetke bibliometrije. Deset let zatem (l. 1973) je naredil še indeks citiranosti družboslovnih ved (angl. Social Science Citation Index) in kot zadnjega leta 1978  indeks citiranosti v umetnosti in humanistiki (angl. Arts & Humanities Citation Index). Vzpostavil je veliko podatkovno zbirko, v kateri so bili podatki o večini pomembnejših objav, o virih, ki so jih le-ti uporabili ter njihova lastna odmevnost. Postopoma se je faktor vpliva začel uporabljati kot merilo vpliva revije in kasneje njenih avtorjev in prispevkov. Danes se uporablja kot kvantitativno merilo znanstvene in strokovne uspešnosti raziskovanja tako pri nas kot drugod po svetu.

Merjenje vpliva uspešnosti in analiza citatov vključuje štetje števila citatov. Citat (referenca) je sklicevanje na vir (Weingart 2005, 119–212). Analiza citiranja z uporabo bibliometrijskih metod za izračun kazalcev na osnovi objav v podatkovnih bazah izračunava indekse citiranja. Eden osnovnih dejavnikov, ki vpliva na število citatov in njihovo izračunavanje je veda oziroma raziskovalno področje. Različne znanstvene discipline in obdobje citiranja raziskovanja vplivata na število citatov, zato obstaja več različnih kazalcev za analizo citatov (Čuješ, 2011). Prav tako pa lahko s kvantitativnimi kazalci merimo vpliv uspešnosti glede na vpliv posamezne revije, vpliv posameznega raziskovalca/avtorja, vpliv posameznega dela/članka raziskovalca ali z vplivom posamezne ustanove ali institucije.

Merjenje vpliva revije

Vrednotenje vpliva revije merimo v večini s tremi različnimi kazalci, ki imajo različne izračune  glede na področje raziskovanja in obdobje citiranja, ki jih posamezna podatkovna zbirka indeksira in sicer:

1. faktor ali dejavnik vpliva revije na internetni strani Journal Citation Report, ki izračunava kazalnike v podatkovni zbirki Web of Science. Faktor vpliva revije (angl. impact factor = IF) ocenjuje kakovost revije po formuli povprečno število citatov na posamezen članek v dveletnem obdobju. Faktor vpliva revije se uporablja samo za revije, ki jih Clarivate Analytics indeksira v JCR SE za področje znanosti in tehnologije (angl. Science Citation Index Expanded) in JCR SSE za področje družboslovja (angl. Social Sciences Citation Index). Podatki o citiranosti se izračunavajo iz več kot 12.000 svetovno  znanstvenih in strokovnih revij in se izračunava vsako leto od leta 1975 naprej. Na internetni strani JCR lahko izračunamo še vrsto drugih kazalnikov vpliva revije.
2. izračun vpliva revija pa omogoča tudi podatkovni zbirka SCImago Journal & Country Rank - SJR, ki izračunava kazalnike iz podatkovne zbirke Scopus. Kazalec, ki meri povprečno število citatov na revijo je angl. »CiteScore«, ki za obdobje vzame zadnja tri leta in ne vključuje samocitatov. Zajema več kot 20.000 revij, izračuni segajo od leta 1996 naprej in je prosto dostopen.
3. tretji kazalnik je kazalec normaliziranega vpliva na članek ali angleško SNIP (angl. Source Normalized Impact per Paper), ki se izračunava glede na število citatov, prejetih v določenem letu za članke, objavljene v prejšnjih treh letih, normaliziranih s skupnim številom člankov, objavljenih v teh istih letih. Izračunava se iz podatkovne zbirke Scopus, in sicer od leta 1999 naprej. Z upoštevanjem značilnosti področja posameznega vira tako omogoča neposredno primerjavo virov z različnih področij. Dvakrat letno jo izda (ažurira) Center za znanstvene in tehnološke študije Univerze Leiden (angl. Leiden University's Centre for Science & Technology Studies; CWTS) v sodelovanju z Elsevierjem in sicer od leta 1999 naprej. Kazalec SNIP je na voljo tako v Web of Science kot Scopus podatkovni zbirki.

Merjenje vpliva avtorjev

Merjenje citatov avtorja ali raziskovalca merimo s Hirschejevim indeksom – h-indeks, ki ga lahko poiščemo v  Web of Science, Scopus in Google Učenjaku (angl. Google Scholar). Gre za izračun glede na število objavljenih člankov in število citatov, ki so ji le-ti prejeli. Če ima raziskovalec h-indeks 4, pomeni, da so štiri publikacije citirane vsaj 4-krat. Web of Science, Scopus in Google Učenjak izračunavajo različne vrednosti h-indeksa, ki je odvisen glede na število publikacij, ki so vključeni v posamezno podatkovno zbirko. Obstajajo še drugi kazalniki, kot so »najbolje citirani prispevki v publikaciji« (angl. h-core), »povprečje citatov (angl. h-median),  »h-index zadnjih 5 let« (angl. h5-index) idr.

• Za izračun h-indeksa v podatkovni zbirki Web of Science izberemo zavihek »raziskovalci (angl. Researchers). V iskalno zahtevo vpišemo priimek in ime raziskovalca ali evidenčno številko raziskovalca (t. j. ResearcherID ali ORCID). Na desni strani imamo na voljo različne kazalnike uspešnosti. Izberemo lahko »pregled kazalnikov« (angl. View citation report), ki nam ponudi vpogled v skupno število citatov (čistih citatov in samocitatov), število citirajočih člankov, povprečno število citatov na članek in h-indeks ipd. Nasvet: Web of Science uporablja ResearcherID za upravljanje z imeni avtorjev in citati. Če imate ReseacherID lahko ročno dodajate svoje članke in popravljate napake.

• V podatkovni zbirki Scopus kazalnike uspešnosti raziskovalca iščemo z uporabo zavihka »avtorji« (angl. Authors). Poiščemo raziskovalca (lahko z imenom in priimkom ali preko evidenčne številke raziskovalca v Scopusu (angl. Scopus Author Identifier) ali z evidenčno številko ORCID. Profil raziskovalca ponuja seznam vseh objav, število citatov, ki so jih prejeli, avtorjev h-indeks ipd. Nasvet: V metriko so vključeni podatki, ki segajo do leta 1995.

• Google Učenjak poleg iskanja člankov, knjig, visokošolskih del, poročil in drugih znanstvenih in strokovnih del iz različnih virov ponuja tudi različne izračune h-indeksa raziskovalcev. V iskalno okno Google Učenjak vpišite raziskovalca. Če obstaja »javni profil (angl. Google Citations profile) se bo prikazal na vrhu seznama rezultatov. S klikom na profil raziskovalca lahko pregledate različne kazalnike (npr. število citatov, h-indeks in i10-indeks, število publikacij z najmanj 10 citati idr.).

Merjenje vpliva člankov

Merjenje vpliva raziskovalnega dela je prav tako ključno za kvantitativno merjenje ocene kakovosti in uspešnosti znanstvenih prispevkov.

• V podatkovni zbirki WoS v osnovnem iskanju izberemo zavihek dokumenti (angl.  Documents). Lahko poiščemo točno določeni članek ali iščemo po določeni temi. Pri vsakem članku imamo podatek o številu citatov, ki jih je posamezni članke prejel. Na voljo nam je vpogled v skupno število citatov (čistih citatov in samocitatov), število citirajočih dokumentov oz. člankov, povprečno število citatov na članek, h-indeks. Na desni strani so podrobni podatki o citiranosti članka z novimi povezavami do natančnejših podatkov. Obstaja tudi možnost analize po lastni meri ("Analyze results"), in sicer glede na številne kategorije in izbiro različnih kriterijev, ki so nam na voljo.
• V podatkovni zbirki Scopus poiščemo članek ali več publikacij na določeno temo prav tako z uporabo zavihka dokumenti (angl. Documents). S seznama zadetkov lahko vidimo število citatov, ki jih je posamezna objava prejela (angl. cited by). S klikom na posamezni članek lahko pregledamo še ostale možnosti iz seznama citatov. Poleg Scopusove metrike je vključena tudi alternativna metrika PlumX. Scopus nam omogoča tudi dodatno analizo rezultatov iskanja (angl. analyze search results) po različnih kriterijih: letu objave, viru (reviji ipd.), avtorjih, ustanovi, tematskem področju, tipu dokumenta, financerju itd.
• Google Učenjak prav tako ponuja iskanje po naslovu članka. V iskalni vrstici poiščemo želeni članek in v seznamu rezultatov je pod vsakim člankov vidno število citatov, ki jih je članek oz. dokument prejel (angl. cited by). S klikom na to povezavo vidite seznam vseh citatov, ki so citirali ta članek.

Merjenje vpliva ustanov in institucij

Merjenje vpliva raziskovalnih ustanov pripomore k kvantitativnemu vrednotenju posameznih raziskovalcev in njihovega prispevka k znanosti in raziskavam. Dve najpogosteje uporabljeni bazi podatkov za tovrstno analizo sta Scopus in Web of Science (WoS), ki ponujata različne bibliometrične kazalnike za oceno raziskovalne produktivnosti in vpliva.

• V podatkovni zbirki WoS v osnovnem iskanju izberemo zavihek dokumenti (angl. Documents) in iz spustnega seznama izberemo  možnost institucija ali ustanova (angl. Affiliation). Ustanovo lahko izberemo tudi s pomočjo indeksa, ki je integriran v iskalno polje. Dobimo seznam člankov avtorjev/raziskovalcev posamezne ustanove ali institucije. Število rezultatov lahko omejimo po različnih kriterijih, ki so na voljo v stranski orodni vrstici. S klikom na povezavo "Citation Report" si lahko pogledamo detajlno metriko člankov. Bolj obsežne metrike ustanov in institucij znotraj podatkovne zbirke Web od Science so na voljo preko ločene storitve InCites, ki jo ponuja Clarivate.

• V Scopusu za iskanje izberemo zavihek organizacije (angl. Organisations), kjer poiščemo želeno raziskovalno ustanovo. Iskalna zahteva nam prikaže število publikacij in število avtorje. V zavihkih spodaj je na voljo analiza publikacij po tematskih področjih, sodelujočih v posamezni ustanovi ali viru (iskanje po revijah ipd.). S klikom na skupno število dokumentov se nam izpiše celoten seznam posamezne raziskovalne ustanove, ki ga lahko pregledujemo in sortiramo po različnih kriterijih. Obstaja tudi možnost analize uspešnosti ustanov, ki je enaka kot pri metriki člankov (angl. analyze search results). Ta omogoča analizo glede na leto objave, vir dokumenta, avtorja, ustanovo, državo, tip dokumenta ali tematsko področje.

Viri:

Čuješ, L. (2011). Evalvacija znanosti: analiza citiranja kot mera znanstvene kakovosti. [Diplomsko delo]. Univerza v Ljubljan, Fakulteta za družbene vede. http://dk.fdv.uni-lj.si/diplomska/pdfs/cujes-leon.pdf

Majdič, G. (2021). Kako spremeniti znanstveno objavljanje in vrednotenje raziskovalnega dela v času odprte znanosti? Časopis za kritiko znanosti, 44(282), 64–73. http://dirros.openscience.si/IzpisGradiva.php?id=13831&lang=sl

Pomoč in svetovanje:

Za vsa vprašanja o teh vsebinah smo vam z veseljem na voljo. Pišite nam na info@nuk.uni-lj.si in lahko se dogovorimo za termin individualnega svetovanja ali vam svetujemo po telefonu ali e-pošti.