Yliopistojen rankingit (ja miten niitä voidaan manipuloida)

Mon, 29 Aug 2016 00:00:00 +0000

Vau. Helsingin yliopisto onnistui jälleen parantamaan sijoitustaan Shanghai-rankingissa ja on nyt 56. sijalla. Kuitenkin jopa yliopiston omassa lehdistötiedotteessa sävy oli kuitenkin hieman synkkä, ikään kuin tämä olisi viimeinen kukoistus ennen lopullista rappeutumista. On totta, että tutkijat ovat kärsivällisesti rakentaneet nykyisen menestyksen perustan viime vuosikymmenien aikana. Siitä huolimatta, kun poliitikot nyt päättelevät, että koulutusbudjetin leikkaukset ovat vastuussa tästä menestyksestä, he ovat luultavasti oikeassa. Ehkä leikkaukset todellakin vaikuttivat tuottavuuden nousuun: kaikki tutkijat, jotka yllättäen jäivät työttömiksi, jatkoivat ilmeisesti kiihkeästi työtään nykyisissä projekteissaan saadakseen käsikirjoituksensa valmiiksi julkaistaviksi. Artikkelit ovat ylivoimaisesti hallitseva valuutta akateemisilla työmarkkinoilla. Ja nämä työttömät tutkijat saattavat julkaista aiempaa nopeammin, koska heillä ei ole opetustehtäviä… Vielä tärkeämpää on kuitenkin se, että Helsingin tulokset Shanghai-rankingin yksittäisissä indikaattoreissa vuosilta 2015 ja 2016 eroavat merkittävästi toisistaan vain akateemisen suorituskyvyn osalta (julkaisut/akateemisen henkilökunnan määrä) sekä paljon siteerattujen tutkijoiden lukumäärän osalta. Koska Helsingin yliopistojen henkilöstövähennykset ovat jatkuneet jo jonkin aikaa jo ennen tämän kevään mittavia leikkauksia, vaikuttaa perustellulta väittää, että 56. sija johtuu osittain henkilöstövähennyksistä, jotka vaikuttivat suoraan ja nopeasti akateemisen henkilöstön määrään. Shanghain ranking painottaa tutkimusta, kun taas muissa ranking-listoissa Helsingin sijoitus on jopa laskenut. Esimerkiksi QS World University Rankings -listalla Helsingin sijoitus laski sijalta 67 (2014/15) sijalle 96 (2015/16). Näiden kahden rankingin välillä QS-tiimi teki ”parannuksia” rankingjärjestelmäänsä, ja nämä olivat lähes yksin vastuussa sijoitusten laskusta, jos tarkastellaan tietoja tarkasti. He ”normalisoivat” tiedekuntakohtaisen viittaussuhteen oppiaineen mukaan, ja biotieteet joutuivat kovaan rangaistukseen, koska ne luokiteltiin ”paljon viitatuksi alaksi”. Yksinkertaisesti sanottuna viittaus taiteiden ja humanististen tieteiden alalla julkaistuun artikkeliin painaa nyt noin 40 kertaa enemmän kuin viittaus biotieteiden tai lääketieteen alalla julkaistuun artikkeliin. Jokainen viidestä suuresta alasta (taiteet ja humanistiset tieteet, tekniikka ja teknologia, biotieteet ja lääketiede, luonnontieteet sekä yhteiskuntatieteet ja johtaminen) vaikuttaa nyt yhtä lailla 20 prosentin osuudella lopulliseen arvioon ”viittaukset opettajaa kohti” -kategoriassa (yksityiskohtainen selitys normalisoinnista löytyy täältä: http://content.qs.com/qsiu/Faculty_Area_Normalization_-_Technical_Explanation.pdf) . Miksi ihmeessä he rankaisevat alaa siitä, että sillä on suurempi vaikutus? Humanististen alojen artikkeleita ei siteerata yhtä paljon kuin biotieteiden artikkeleita. Ehkä tämä johtuu siitä, että niiden keskimääräinen julkaisu ei ole yhtä merkityksellinen omalle alalleen kuin biotieteiden julkaisu on biotieteiden alalle? Myönnän, että alojen välillä on kulttuurieroja, mutta kuka voi sanoa, kuinka suuri osa johtuu juuri näistä kulttuurieroista ja kuinka suuri osa taas heikosta laadusta tai epäolennaisesta tutkimuksesta? Juuri näin QS World University Ranking teki keksimällä ”normalisointikertoimia”, joilla käytännössä väitettiin kaikkien alojen olevan yhtä merkityksellisiä. Kaikkia tällaisia ranking-listoja on kuitenkin helppo manipuloida. Esimerkiksi viittausten ja tiedekunnan jäsenten välistä suhdetta voidaan helposti parantaa ulkoistamalla palveluja, joita aiemmin suorittivat tiedekunnan tutkijat (ja juuri sitä Helsingin yliopisto tekee parhaillaan). Aivan kuten lehtien vaikutuskerroin, myös yliopistorankingit menettävät merkityksensä, jos tavoitteena on saavuttaa korkea sijoitus eikä erottautua tutkimuksessa ja opetuksessa ( Goodhartin laki : Kun mittari muuttuu tavoitteeksi, se lakkaa olemasta hyvä mittari).Shanghain rankingia on kritisoitu paljon. Se aliarvioi opetusta, koska opetuksen suorituskyky ei tule lainkaan suoraan mukaan laskelmiin, ja se suosii suuria yliopistoja, koska 50 % arvosanasta perustuu pelkkään lukumäärään, jota ei ole normalisoitu yliopiston koon huomioon ottamiseksi. Siitä huolimatta se on ainoa toistettavissa oleva (ja siten tieteellinen) aineisto kolmesta suuresta rankingista ( https://link.springer.com/article/10.1007/s11192-012-0801-y ), sillä sekä QS- että Times-ranking nojaavat vahvasti mielipide- ja maine-kyselyihin, joita on tunnetusti vaikea toistaa.Mikä on tämän viesti? Helsingin yliopisto on todennäköisesti yhtä hyvä kuin se on ollut viimeisen vuosikymmenen aikana, ja suuret vaihtelut ovat vain artefakteja, jotka johtuvat muuttuneista ranking-menetelmistä tai hallinnollisista sopeutuksista taloudelliseen todellisuuteen, jonka suomalaiset äänestäjät toivat tullessaan vuoden 2015 eduskuntavaaleissa.

Times on Michael’s Domain

Yliopistojen rankingit (ja miten niitä voidaan manipuloida)