JuFo-Ranking: Ein schlechterer Impact-Faktor?

Änderungen in der finnischen DoktorandenausbildungAlle finnischen Universitäten senken die Anforderungen an die Doktorarbeit. Statt drei bis vier Veröffentlichungen reichen nun zwei bis drei aus, um die Arbeit zu verteidigen. Ein Argument für diese Änderung war die Schaffung gleicher Wettbewerbsbedingungen mit anderen Ländern. Keines der großen europäischen Länder verlangt Veröffentlichungen für die Promotion: Weder Großbritannien, Deutschland, Frankreich noch Italien tun dies. Die anderen skandinavischen Länder sind die einzigen europäischen Länder, die ähnliche Anforderungen hinsichtlich der Anzahl der erforderlichen Veröffentlichungen haben (oder hatten), wobei Schweden fast auf einer Stufe mit dem finnischen System steht. Wäre eine internationale Harmonisierung das Ziel gewesen, hätte die Änderung radikaler ausfallen müssen, d. h., jegliche Anforderung an Veröffentlichungen hätte abgeschafft werden müssen. Die neuen Regeln sorgen jedoch lediglich dafür, dass wir an Qualität einbüßen, was wir an Quantität gewinnen. Ich bevorzuge weniger, dafür aber besser ausgebildete Promovierte, doch unsere derzeitige Regierung will offenbar lediglich die Zahl der Promovierten, die Finnland hervorbringt, in die Höhe treiben. Publish or perish Ich befürchte, dass das Streben nach einer kürzeren Promotionszeit die Qualität der Veröffentlichungen mindern könnte. Doktoranden stehen nun unter dem Druck, innerhalb von drei bis vier Jahren drei Artikel zu veröffentlichen. Sobald die „kleinste veröffentlichungsfähige Einheit“ vorliegt, wird sie in die Welt hinausgeschickt. Nur wenige Forschungsgruppen können es sich leisten, die Veröffentlichung von Forschungsergebnissen lange hinauszuzögern, da die „Publish-or-Perish“-Kultur nach wie vor floriert. Zwar hat Finnland den Impact-Faktor abgeschafft (gut), doch haben wir ihn durch ein weniger transparentes System ersetzt (schlecht). Die derzeit in Finnland verwendete Metrik ist das JuFo-System, bei dem Zeitschriften auf der Grundlage eines „Expertenkonsenses“ in die Klassen 0–3 eingestuft werden. JuFo ist die Abkürzung für Julkaisufoorumi  („Publikationsforum“). Da jeder (einschließlich der Experten) seine bevorzugten Zielzeitschriften hat, öffnet dies Tür und Tor für Voreingenommenheit und sogar Manipulation. Es gibt zahlreiche Beispiele für hoch angesehene Zeitschriften mit einem Impact-Faktor von über 10 und astronomisch hohen Ablehnungsquoten, die lange Zeit als JuFo 1 eingestuft waren, bis sie – nach einem Mitgliederwechsel im jeweiligen JuFo-Gremium – schließlich in die Stufe 2 herabgestuft wurden. Warum gibt es überhaupt so etwas wie JuFo-Rankings? Ein Argument lautet, dass der Journal Impact Factor (JIF) die individuellen Unterschiede in den Publikations- und Zitationskulturen zwischen verschiedenen Forschungsbereichen nicht berücksichtigt. Diese Unterschiede sind enorm, aber nachdem man alle Zeitschriften in einzelne Kategorien eingeteilt hat (z. B. klinische Medizin gegenüber Sprachwissenschaften gegenüber Agrarwissenschaften usw.), könnte man eine Ausgleichsformel entwickeln (vielleicht sogar unter Einbeziehung manuell zugewiesener Ausgleichsfaktoren), um den JIF um solche interdisziplinären Unterschiede zu bereinigen. Ein Software-Skript könnte die gesamte Arbeit der JuFo-Gremien automatisch und transparent erledigen. Bibliometrie-Forscher haben solche besseren Alternativen zum JIF vorgeschlagen. Bitte schickt mir eine E-Mail, wenn ihr der Meinung seid, dass ich hier etwas übersehen habe! Anekdoten versus DatenEin System, das eine „manuelle“ Herabstufung von Zeitschriften ermöglicht, ist sicherlich eine gute Sache. Ich begrüße auch den Versuch von JuFo, Feedback von einzelnen Forschern einzuholen. Wenn man jedoch die Anzahl der Zeitschriften betrachtet, die JuFo bewerten muss, wird deutlich, dass es problematisch ist, Feedback aus den Erfahrungen von 180 einzelnen Wissenschaftlern zu sammeln und dann auf dieser Grundlage 60 Zeitschriften herabzustufen. Genau das ist vor einigen Jahren passiert. Wenn wir davon ausgehen, dass das gesamte Feedback negativ war und jedes negative Feedback zu einer Herabstufung geführt hat, wird es für jede Zeitschrift nur eine winzige Anzahl von Fällen geben. Im Kontext der evidenzbasierten Medizin könnten einige dieser Fälle Anekdoten sein. Verstehen Sie mich nicht falsch: Diese Entscheidungen sind wahrscheinlich nicht falsch, und es ist auch nicht falsch, Rückmeldungen von Forschern einzuholen. Tatsächlich deutet meine eigene Erfahrung mit einer der herabgestuften Zeitschriften (International Journal of Molecular Sciences) ziemlich eindeutig auf „Predatory Publishing“ hin. Allerdings sind die diesen Entscheidungen zugrunde liegenden Daten nicht die besten, und es wäre überraschend, wenn jede einzelne dieser Entscheidungen einer genauen Prüfung standhalten würde. Es ist schwer vorstellbar, wie ein solches Feedback Voreingenommenheit vermeiden könnte. Es handelt sich um Selbstauskünfte, und Forscher könnten einen Anreiz haben, negative Erfahrungen zu melden. Benotung nach der Kurve Eine weitere wenig bekannte Tatsache ist, dass JuFo ein Nullsummenspiel ist. Zeitschriften können nicht frei auf die vier Kategorien verteilt werden, aber JuFo verwendet eine Variante der „Benotung nach Kurve“: Nicht mehr als 10 % der in Zeitschriften eines bestimmten JuFo-Panels (z. B. für Chemical Sciences) veröffentlichten Artikel dürfen in die JuFo-Kategorie 3 fallen. Dies berücksichtigt Unterschiede im Publikationsvolumen zwischen den Fachgebieten. Wenn wir – die wissenschaftliche Gemeinschaft – jedoch die Qualität unserer Publikationsleistung allgemein verbessern, wird sich dies nicht im JuFo-Ranking widerspiegeln. Das ist meiner Meinung nach falsch (aus denselben pädagogischen Gründen, aus denen Schulen davon abgeraten wird, Schüler nach der Kurvenbewertung zu benoten). Entscheidungen hinter verschlossenen Türen? Das zweite große Problem ist die Transparenz. Die Tatsache, dass ich im obigen Absatz über die Zahlen spekulieren muss, die zu den Herabstufungen geführt haben, ist besorgniserregend:

• Wie viel negatives Feedback führt zu einer Herabstufung? – Was genau gilt als negatives Feedback? – Wird jedes negative Feedback gleich behandelt? – Vertrauen wir dem Feedback, oder sind Beweise für das Fehlverhalten erforderlich? Und wie viele Beweise? – Ist das Feedback anonym oder nicht? – Kommuniziert JuFo mit der Zeitschrift bzw. dem Verlag, um ihnen die Möglichkeit zu geben, auf Vorwürfe des Fehlverhaltens zu reagieren?

Ich finde keine zufriedenstellenden Antworten auf diese Fragen. Solange diese Entscheidungen hinter verschlossenen Türen und ohne Kontrolle getroffen werden, tauschen wir lediglich alte Probleme gegen neue aus. Goodhards Gesetz gilt nicht nur für den Impact-Faktor, sondern auch für JuFo: „Wenn eine Messgröße zum Ziel wird, hört sie auf, eine gute Messgröße zu sein.“ JuFo ist zu einem Ziel geworden, weil unser Bildungsministerium es zur Verteilung von Geldern nutzt. Durch Irrelevanz geschützt Bestätigte Fälle redaktionellen Fehlverhaltens wurden in Zeitschriften aller JuFo-Klassen festgestellt. Anekdoten gibt es sogar noch in größerer Zahl. Doch die Beweisanforderungen sollten höher sein als bloße Anekdoten. JuFo genießt einen gewissen Schutz durch die Tatsache, dass es nur für weniger als 0,1 % der Weltbevölkerung relevant ist (in Finnland leben etwa 5,5 Mio. Menschen). Dieser Schutz durch die geringe Größe ist zugleich die Schwäche von JuFo: Ist es sinnvoll, so viele Ressourcen für ein Klassifizierungssystem aufzuwenden, das nur von 5 Millionen Menschen genutzt wird? Weltweit wären mehr als 1.000 Klassifizierungssysteme erforderlich, um einen Schutz durch die Größe zu gewährleisten. Das einzige mir bekannte Land, das ein ähnliches manuelles „Zeitschriftenranking“ durchführt, ist Norwegen ( https://kanalregister.hkdir.no/publiseringskanaler/Om  ). Es überrascht nicht, dass einige Zeitschriften, die im JuFo niedrig eingestuft sind, im norwegischen Register hoch eingestuft sind und umgekehrt (z. B. befindet sich Transactions of the Association for Computational Linguistics im norwegischen Register in der höchsten Kategorie, im JuFo jedoch nur in Kategorie 1; durch einen Vergleich der Datenbanken lassen sich viele weitere Beispiele finden).Derzeit machen sich die meisten Verlage nicht die Mühe, JuFo gezielt zu manipulieren, doch das könnte sich mit dem Vormarsch der KI schon bald ändern. Es gibt jedoch auch Gefahren, für die keine KI erforderlich ist: Was wäre, wenn sich eine Handvoll finnischer Forscher zusammentäte, um eine Zeitschrift, die ihnen nicht gefällt, herabzustufen? Es würde mich nicht überraschen, wenn dies bereits geschehen wäre. Der Mangel an Transparenz schafft kein Vertrauen. Offenlegung: Ich habe mich zweimal um die Aufnahme in die JuFo-Expertengruppen beworben, um Einblicke in die inneren Abläufe von JuFo zu gewinnen, wurde jedoch nie ausgewählt. Das wirft die nächste Frage auf: Wie stellt JuFo eine ausgewogene Zusammensetzung seiner Expertengremien sicher, und wie werden deren Mitglieder ausgewählt? Die Liste der Gremien und ihrer Mitglieder  ist öffentlich zugänglich. Schon ohne große Recherche wird deutlich, dass es sich nicht um eine repräsentative Auswahl von in Finnland tätigen Forschern handelt, da ausländische Namen auffallend unterrepräsentiert sind. In früheren Jahren war dies noch ausgeprägter; man ist sich des Problems bewusst und versucht, es zu beheben.