JuFo-ranking: Huonompi vaikutuskerroin?

Muutokset suomalaisessa tohtorikoulutuksessa Kaikki suomalaiset yliopistot ovat lieventämässä väitöskirjan vaatimuksia. Aiemmin vaadittujen 3–4 julkaisun sijaan väitöskirjan voi nyt puolustaa 2–3 julkaisulla. Yksi tämän muutoksen puolesta esitetty peruste oli tasapuolisten toimintaedellytysten luominen suhteessa muihin maihin. Yksikään suurista Euroopan maista ei vaadi julkaisuja tohtorintutkinnon suorittamiseksi: ei Iso-Britannia, Saksa, Ranska eikä Italia. Muut Skandinavian maat ovat ainoat muut Euroopan maat, joilla on (tai on ollut) vastaavia vaatimuksia vaadittavien julkaisujen lukumäärän suhteen, ja Ruotsin järjestelmä on lähes samankaltainen kuin Suomen. Jos tavoitteena oli kansainvälinen yhdenmukaistaminen, muutoksen olisi pitänyt olla radikaalimpi, eli julkaisuvaatimuksista olisi pitänyt luopua kokonaan. Uudet säännöt kuitenkin vain varmistavat, että menetämme laadussa sen, mitä voimme määrässä. Pidän parempana, että tohtoreita on vähemmän, mutta he ovat paremmin koulutettuja, mutta nykyhallituksemme haluaa ilmeisesti vain kasvattaa Suomen tuottamien tohtoreiden määrää. Julkaise tai kuole Pelkään, että pyrkimys lyhentää tohtoriopintoja saattaa heikentää julkaisujen laatua. Tohtoriopiskelijat ovat nyt paineen alla julkaista kolme artikkelia 3–4 vuoden kuluessa. Heti kun ”pienin julkaistava kokonaisuus” on saatu valmiiksi, se työnnetään ulos maailmaan. Harvoilla tutkimusryhmillä on varaa lykätä tutkimustulosten julkaisemista pitkään, koska ”julkaise tai kuole” -kulttuuri kukoistaa edelleen. Vaikka Suomi on luopunut vaikutuskertoimesta (hyvä asia), olemme korvanneet sen vähemmän läpinäkyvällä järjestelmällä (huono asia). Suomessa käytetään tällä hetkellä JuFo-järjestelmää, jossa lehdet luokitellaan luokkiin 0–3 ”asiantuntijoiden yksimielisen arvion” perusteella. JuFo on lyhenne sanasta Julkaisufoorumi  (“Julkaisufoorumi”). Koska jokaisella (myös asiantuntijoilla) on omat suosikkilehtensä, tämä avaa oven puolueellisuudelle ja jopa manipuloinnille. On runsaasti esimerkkejä erittäin arvostetuista, yli 10:n vaikutuskertoimen lehdistä, joiden hylkäysaste on tähtitieteellisen korkea ja jotka luokiteltiin pitkään JuFo 1 -luokkaan, kunnes – kyseisen JuFo-paneelin jäsenten vaihdoksen jälkeen – ne lopulta pudotettiin tasolle 2. Miksi JuFo-luokituksia ylipäätään on olemassa? Yksi perustelu on, että Journal Impact Factor (JIF) ei ota huomioon eri tutkimusaloilla vallitsevien julkaisu- ja viittauskulttuurien yksilöllisiä eroja. Nämä erot ovat valtavia, mutta luokiteltuaan kaikki lehdet omiin kategorioihinsa (esim. kliininen lääketiede vs. kielet vs. maatalous jne.) voitaisiin kehittää kompensointikaava (joka voisi sisältää jopa manuaalisesti määritettyjä kompensointikertoimia) JIF:n mukauttamiseksi tällaisten tieteenalojen välisten erojen mukaan. Ohjelmistoskripti voisi hoitaa kaiken JuFo-paneelien työn automaattisesti ja läpinäkyvästi. Bibliometrian tutkijat ovat ehdottaneet tällaisia parempia vaihtoehtoja JIF:lle. Lähetä minulle sähköpostia, jos mielestäsi olen jättänyt jotain huomiotta! Anekdootit vastaan dataJärjestelmä, joka mahdollistaa lehtien ”manuaalisen” alaluokittelun, on varmasti hyvä asia. Kannatan myös JuFon pyrkimystä kerätä yksittäisten tutkijoiden palautetta. Kun kuitenkin lasketaan, kuinka monta lehteä JuFo joutuu arvioimaan, huomaa, että palautteen kerääminen 180 yksittäisen tutkijan kokemuksista ja sen perusteella 60 lehden luokituksen alentaminen on ongelmallista. Näin kävi muutama vuosi sitten. Jos oletetaan, että KAIKKI palaute on ollut negatiivista ja KAIKKI negatiivinen palaute on johtanut luokituksen alentamiseen, kunkin lehden kohdalla tapauksia on vain hyvin vähän. Todisteisiin perustuvan lääketieteen piirissä jotkut näistä tapauksista saattavat olla anekdootteja. Älkää ymmärtäkö minua väärin: nämä päätökset eivät todennäköisesti ole vääriä, eikä ole väärin kerätä palautetta tutkijoilta. Itse asiassa oma kokemukseni yhdestä luokitusta alennetusta lehdestä (International Journal of Molecular Sciences) viittaa varsin selvästi saalistavaan julkaisutoimintaan. Näiden päätösten taustalla olevat tiedot eivät kuitenkaan ole parhaita mahdollisia, ja olisi yllättävää, jos jokainen näistä päätöksistä kestäisi tarkemman tarkastelun. On vaikea kuvitella, miten tällainen palaute voisi välttää puolueellisuutta. Kyseessä on itseilmoitus, ja tutkijoilla saattaa olla kannustin raportoida negatiivisista kokemuksista. Arviointi käyrän mukaan Toinen vähän tunnettu tosiasia on, että JuFo on nollasummapeli. Lehtiä ei voida jakaa vapaasti neljän luokan kesken, vaan JuFo käyttää eräänlaista ”käyrän mukaista arviointia”: enintään 10 % tietyn JuFo-paneelin (esim. Chemical sciences) lehdissä julkaistuista artikkeleista saa kuulua JuFo-luokkaan 3. Tämä ottaa huomioon eri alojen väliset erot julkaisumäärissä. Jos me – tiedeyhteisö – kuitenkin parannamme julkaisutuotantomme laatua yleisesti, tämä ei näy JuFo-luokituksessa. Se on mielestäni väärin (samojen pedagogisten syiden vuoksi, joiden vuoksi kouluja kehotetaan välttämään oppilaiden arviointia käyrän mukaan). Päätökset suljettujen ovien takana? Toinen suuri ongelma on läpinäkyvyys. Se, että joudun edellisessä kappaleessa spekuloimaan luokituksen alennuksiin johtaneista luvuista, on huolestuttavaa:

• Kuinka paljon negatiivista palautetta tarvitaan luokituksen alentamiseen?
• Mitä tarkalleen ottaen lasketaan negatiiviseksi palautteeksi?
• Käsitelläänkö kaikkea negatiivista palautetta samalla tavalla?
• Luotammeko palautteeseen, vai vaaditaanko näyttöä väärinkäytöksistä? Ja kuinka paljon näyttöä?
• Onko palaute nimetöntä vai ei?
• Onko JuFo yhteydessä lehteen tai kustantajaan, jotta nämä voisivat vastata väärinkäytösväitteisiin?

En löydä tyydyttäviä vastauksia näihin kysymyksiin. Niin kauan kuin nämä päätökset tehdään suljettujen ovien takana ja ilman valvontaa, vaihdamme vain vanhoja ongelmia uusiin. Goodhardin laki pätee paitsi vaikutuskertoimeen (Impact Factor) myös JuFo:hon: ”Kun mittari muuttuu tavoitteeksi, se lakkaa olemasta hyvä mittari.” JuFo:sta on tullut tavoite, koska opetusministeriömme käyttää sitä rahojen jakamiseen. Suojattu merkityksettömyydellä Vahvistettuja tapauksia toimituksellisesta väärinkäytöksestä on havaittu kaikissa JuFo-luokkiin kuuluvissa lehdissä. Anekdootteja on vieläkin runsaammin. Todisteiden kynnyksen tulisi kuitenkin olla korkeampi kuin pelkkä anekdootti. JuFo nauttii jonkin verran suojaa siitä, että se koskee vain alle 0,1 % maailman väestöstä (Suomessa asuu noin 5,5 miljoonaa ihmistä). Tämä koon tuoma suoja on samalla JuFon heikkous: Onko järkevää käyttää niin paljon resursseja luokitusjärjestelmään, jota käyttää vain 5 miljoonaa ihmistä? Maailmassa tarvitaan yli 1 000 luokitusjärjestelmää, jotta koko voisi tarjota suojaa. Ainoa maa, jonka tiedän tekevän vastaavaa manuaalista ”lehtien luokittelua”, on Norja ( https://kanalregister.hkdir.no/publiseringskanaler/Om  ). Ei ole yllättävää, että jotkut JuFossa matalalle sijoittuneet lehdet ovat korkealla Norjan rekisterissä ja päinvastoin (esim. Transactions of the Association for Computational Linguistics on Norjan rekisterin korkeimmassa luokassa, mutta JuFossa vain luokassa 1; vertailemalla tietokantoja löytyy monia muita esimerkkejä).Tällä hetkellä useimmat kustantajat eivät vaivaudu nimenomaan manipuloimaan JuFo-järjestelmää, mutta tilanne voi muuttua tekoälyn yleistyessä melko pian. On kuitenkin olemassa vaaroja, jotka eivät vaadi tekoälyä: Entä jos kourallinen suomalaisia tutkijoita liittoutuu alentaakseen lehtien luokitusta, joista he eivät pidä? En olisi yllättynyt, jos tämä olisi jo tapahtunut. Läpinäkyvyyden puute ei herätä luottamusta. Ilmoitus: Olen hakenut kahdesti JuFo-asiantuntijaryhmiin päästäkseen kurkistamaan JuFo:n sisäpiiriin, mutta minua ei ole koskaan valittu. Tämä herättää seuraavan kysymyksen: Miten JuFo varmistaa asiantuntijapaneelien tasapainoisen kokoonpanon, ja miten sen jäsenet valitaan? Luettelo paneeleista ja niiden jäsenistä  on julkinen. Ilman suurempaa tutkimusta on selvää, ettei kyseessä ole edustava otos Suomessa työskentelevistä tutkijoista, sillä ulkomaalaiset nimet ovat silmiinpistävän aliedustettuina. Tämä on ollut vielä selvempää aiempina vuosina; he ovat tietoisia ongelmasta ja yrittävät korjata sitä.