Hochschulrankings (und wie man sie manipuliert)

Mon, 29 Aug 2016 00:00:00 +0000

Wow. Die Universität Helsinki konnte ihre Position im Shanghai-Ranking erneut verbessern und belegt nun Platz 56. Allerdings hatte selbst die eigene Pressemitteilung der Universität klang der Ton eher düster, als wäre dies die letzte Blüte vor dem endgültigen Verfall. Es stimmt zwar, dass die Grundlage für den aktuellen Erfolg von den Forschern in den letzten Jahrzehnten geduldig aufgebaut wurde. Dennoch haben die Politiker wahrscheinlich recht, wenn sie nun zu dem Schluss kommen, dass die Kürzungen im Bildungshaushalt für diesen Erfolg verantwortlich sind. Vielleicht haben die Kürzungen tatsächlich zum Produktivitätsschub beigetragen: All die Wissenschaftler, die unerwartet plötzlich arbeitslos waren, haben offensichtlich weiter wie wild an ihren laufenden Projekten gearbeitet, um ihre aktuellen Manuskripte zur Veröffentlichung fertigzustellen. Publikationen sind die mit Abstand dominierende Währung auf dem akademischen Arbeitsmarkt. Und diese arbeitslosen Wissenschaftler veröffentlichen möglicherweise schneller als zuvor, da sie keine Lehrverpflichtungen haben … Noch wichtiger ist jedoch, dass sich die Zahlen Helsinkis bei den einzelnen Indikatoren des Shanghai-Rankings für 2015 und 2016 nur bei der akademischen Leistung pro Kopf (Veröffentlichungen/Anzahl der wissenschaftlichen Mitarbeiter) und der Anzahl der häufig zitierten Wissenschaftler signifikant unterscheiden. Da der Stellenabbau an den Universitäten in Helsinki bereits seit einiger Zeit andauerte – noch vor den massiven Kürzungen in diesem Frühjahr –, erscheint es plausibel zu behaupten, dass der 56. Platz teilweise auf den Stellenabbau zurückzuführen ist, der sich direkt und rasch auf die Zahl der wissenschaftlichen Mitarbeiter ausgewirkt hat. Das Shanghai-Ranking legt den Schwerpunkt auf die Forschung, während Helsinki in anderen Rankings sogar an Boden verloren hat. So fiel Helsinki beispielsweise im QS World University Rankings von Platz 67 (2014/15) auf Platz 96 (2015/16). Zwischen diesen beiden Rankings nahm das QS-Team „Verbesserungen“ an seinem Rankingsystem vor, und diese waren – bei genauer Betrachtung der Daten – fast ausschließlich für den Rückgang verantwortlich. Sie „normalisierten“ die Zitierquote pro Fakultät entsprechend dem Fachgebiet, und die Lebenswissenschaften wurden als „Feld mit hoher Zitierhäufigkeit“ stark benachteiligt. Ganz einfach ausgedrückt: Eine Zitierung einer Arbeit aus den Geisteswissenschaften zählt nun etwa 40-mal so viel wie eine Zitierung einer Arbeit aus den Lebenswissenschaften/der Medizin. Jedes der fünf großen Fachgebiete (Geisteswissenschaften, Ingenieurwesen und Technik, Lebenswissenschaften und Medizin, Naturwissenschaften, Sozialwissenschaften und Management) trägt nun zu jeweils 20 % zur Endbewertung in der Kategorie „Zitierungen pro Fakultät“ bei (detaillierte Erläuterung der Normalisierung hier: http://content.qs.com/qsiu/Faculty_Area_Normalization_-_Technical_Explanation.pdf) . Warum um alles in der Welt bestraft man ein Fachgebiet dafür, dass es einen größeren Einfluss hat? Artikel in den Geisteswissenschaften werden nicht so häufig zitiert wie Artikel in den Lebenswissenschaften. Vielleicht liegt das daran, dass ihre durchschnittlichen Veröffentlichungen für ihr eigenes Fachgebiet nicht so relevant sind wie eine Veröffentlichung aus den Lebenswissenschaften für das Fachgebiet der Lebenswissenschaften? Ich stimme zu, dass es kulturelle Unterschiede zwischen den Fachgebieten gibt, aber wer kann schon sagen, inwieweit dies auf solche kulturellen Unterschiede zurückzuführen ist und inwieweit auf minderwertige oder irrelevante Forschung? Genau das hat das QS World University Ranking getan, indem es „Normalisierungsfaktoren“ erfunden hat, die im Wesentlichen gleiche Relevanz unterstellen. Allerdings lassen sich all diese Rankings leicht manipulieren. Beispielsweise lässt sich das Verhältnis von Zitierungen zu Fakultätsmitgliedern leicht verbessern, indem man Dienstleistungen auslagert, die zuvor von Wissenschaftlern der Fakultät erbracht wurden (und genau das tut die Universität Helsinki derzeit). Ähnlich wie der Impact-Faktor für Zeitschriften verlieren auch Hochschulrankings ihre Relevanz, wenn das Ziel darin besteht, hohe Punktzahlen zu erzielen, anstatt sich in Forschung und Lehre auszuzeichnen ( Goodharts Gesetz : Wenn eine Messgröße zum Ziel wird, hört sie auf, eine gute Messgröße zu sein).Das Shanghai-Ranking wurde vielfach kritisiert. Es unterschätzt die Lehre, da die Lehrleistung überhaupt nicht direkt in die Berechnung einfließt, und es begünstigt große Universitäten, da 50 % der Bewertung auf reinen Zahlen basieren, die nicht normiert sind, um die Größe der Universität zu berücksichtigen. Dennoch ist es der einzige reproduzierbare (und damit wissenschaftliche) Datensatz der drei großen Rankings ( https://link.springer.com/article/10.1007/s11192-012-0801-y ), da sowohl das QS- als auch das Times-Ranking stark auf Meinungs- und Reputationsumfragen beruhen, die bekanntermaßen schwer zu reproduzieren sind.Was ist die Kernaussage? Die Universität Helsinki ist wahrscheinlich genauso gut wie im letzten Jahrzehnt, und die großen Schwankungen sind lediglich Artefakte, die sich aus geänderten Ranking-Methoden oder aus administrativen Anpassungen an die finanziellen Realitäten ergeben, die uns die finnischen Wähler bei den Parlamentswahlen 2015 auferlegt haben.

Shanghai on Michael’s Domain

Hochschulrankings (und wie man sie manipuliert)