JuFo-Ranking: Ein schlechterer Impact-Faktor?

Sat, 02 Nov 2024 00:00:00 +0000

Änderungen in der finnischen DoktorandenausbildungAlle finnischen Universitäten senken die Anforderungen an die Doktorarbeit. Statt drei bis vier Veröffentlichungen reichen nun zwei bis drei aus, um die Arbeit zu verteidigen. Ein Argument für diese Änderung war die Schaffung gleicher Wettbewerbsbedingungen mit anderen Ländern. Keines der großen europäischen Länder verlangt Veröffentlichungen für die Promotion: Weder Großbritannien, Deutschland, Frankreich noch Italien tun dies. Die anderen skandinavischen Länder sind die einzigen europäischen Länder, die ähnliche Anforderungen hinsichtlich der Anzahl der erforderlichen Veröffentlichungen haben (oder hatten), wobei Schweden fast auf einer Stufe mit dem finnischen System steht. Wäre eine internationale Harmonisierung das Ziel gewesen, hätte die Änderung radikaler ausfallen müssen, d. h., jegliche Anforderung an Veröffentlichungen hätte abgeschafft werden müssen. Die neuen Regeln sorgen jedoch lediglich dafür, dass wir an Qualität einbüßen, was wir an Quantität gewinnen. Ich bevorzuge weniger, dafür aber besser ausgebildete Promovierte, doch unsere derzeitige Regierung will offenbar lediglich die Zahl der Promovierten, die Finnland hervorbringt, in die Höhe treiben. Publish or perish Ich befürchte, dass das Streben nach einer kürzeren Promotionszeit die Qualität der Veröffentlichungen mindern könnte. Doktoranden stehen nun unter dem Druck, innerhalb von drei bis vier Jahren drei Artikel zu veröffentlichen. Sobald die „kleinste veröffentlichungsfähige Einheit“ vorliegt, wird sie in die Welt hinausgeschickt. Nur wenige Forschungsgruppen können es sich leisten, die Veröffentlichung von Forschungsergebnissen lange hinauszuzögern, da die „Publish-or-Perish“-Kultur nach wie vor floriert. Zwar hat Finnland den Impact-Faktor abgeschafft (gut), doch haben wir ihn durch ein weniger transparentes System ersetzt (schlecht). Die derzeit in Finnland verwendete Metrik ist das JuFo-System, bei dem Zeitschriften auf der Grundlage eines „Expertenkonsenses“ in die Klassen 0–3 eingestuft werden. JuFo ist die Abkürzung für Julkaisufoorumi („Publikationsforum“). Da jeder (einschließlich der Experten) seine bevorzugten Zielzeitschriften hat, öffnet dies Tür und Tor für Voreingenommenheit und sogar Manipulation. Es gibt zahlreiche Beispiele für hoch angesehene Zeitschriften mit einem Impact-Faktor von über 10 und astronomisch hohen Ablehnungsquoten, die lange Zeit als JuFo 1 eingestuft waren, bis sie – nach einem Mitgliederwechsel im jeweiligen JuFo-Gremium – schließlich in die Stufe 2 herabgestuft wurden. Warum gibt es überhaupt so etwas wie JuFo-Rankings? Ein Argument lautet, dass der Journal Impact Factor (JIF) die individuellen Unterschiede in den Publikations- und Zitationskulturen zwischen verschiedenen Forschungsbereichen nicht berücksichtigt. Diese Unterschiede sind enorm, aber nachdem man alle Zeitschriften in einzelne Kategorien eingeteilt hat (z. B. klinische Medizin gegenüber Sprachwissenschaften gegenüber Agrarwissenschaften usw.), könnte man eine Ausgleichsformel entwickeln (vielleicht sogar unter Einbeziehung manuell zugewiesener Ausgleichsfaktoren), um den JIF um solche interdisziplinären Unterschiede zu bereinigen. Ein Software-Skript könnte die gesamte Arbeit der JuFo-Gremien automatisch und transparent erledigen. Bibliometrie-Forscher haben solche besseren Alternativen zum JIF vorgeschlagen. Bitte schickt mir eine E-Mail, wenn ihr der Meinung seid, dass ich hier etwas übersehen habe! Anekdoten versus DatenEin System, das eine „manuelle“ Herabstufung von Zeitschriften ermöglicht, ist sicherlich eine gute Sache. Ich begrüße auch den Versuch von JuFo, Feedback von einzelnen Forschern einzuholen. Wenn man jedoch die Anzahl der Zeitschriften betrachtet, die JuFo bewerten muss, wird deutlich, dass es problematisch ist, Feedback aus den Erfahrungen von 180 einzelnen Wissenschaftlern zu sammeln und dann auf dieser Grundlage 60 Zeitschriften herabzustufen. Genau das ist vor einigen Jahren passiert. Wenn wir davon ausgehen, dass das gesamte Feedback negativ war und jedes negative Feedback zu einer Herabstufung geführt hat, wird es für jede Zeitschrift nur eine winzige Anzahl von Fällen geben. Im Kontext der evidenzbasierten Medizin könnten einige dieser Fälle Anekdoten sein. Verstehen Sie mich nicht falsch: Diese Entscheidungen sind wahrscheinlich nicht falsch, und es ist auch nicht falsch, Rückmeldungen von Forschern einzuholen. Tatsächlich deutet meine eigene Erfahrung mit einer der herabgestuften Zeitschriften (International Journal of Molecular Sciences) ziemlich eindeutig auf „Predatory Publishing“ hin. Allerdings sind die diesen Entscheidungen zugrunde liegenden Daten nicht die besten, und es wäre überraschend, wenn jede einzelne dieser Entscheidungen einer genauen Prüfung standhalten würde. Es ist schwer vorstellbar, wie ein solches Feedback Voreingenommenheit vermeiden könnte. Es handelt sich um Selbstauskünfte, und Forscher könnten einen Anreiz haben, negative Erfahrungen zu melden. Benotung nach der Kurve Eine weitere wenig bekannte Tatsache ist, dass JuFo ein Nullsummenspiel ist. Zeitschriften können nicht frei auf die vier Kategorien verteilt werden, aber JuFo verwendet eine Variante der „Benotung nach Kurve“: Nicht mehr als 10 % der in Zeitschriften eines bestimmten JuFo-Panels (z. B. für Chemical Sciences) veröffentlichten Artikel dürfen in die JuFo-Kategorie 3 fallen. Dies berücksichtigt Unterschiede im Publikationsvolumen zwischen den Fachgebieten. Wenn wir – die wissenschaftliche Gemeinschaft – jedoch die Qualität unserer Publikationsleistung allgemein verbessern, wird sich dies nicht im JuFo-Ranking widerspiegeln. Das ist meiner Meinung nach falsch (aus denselben pädagogischen Gründen, aus denen Schulen davon abgeraten wird, Schüler nach der Kurvenbewertung zu benoten). Entscheidungen hinter verschlossenen Türen? Das zweite große Problem ist die Transparenz. Die Tatsache, dass ich im obigen Absatz über die Zahlen spekulieren muss, die zu den Herabstufungen geführt haben, ist besorgniserregend:

Norwegen on Michael’s Domain

JuFo-Ranking: Ein schlechterer Impact-Faktor?