GPT-3 halluziniert schon wieder

Zuletzt verändert am 24. Juli 2026 • 3 Min. Lesezeit • 436 Wörter

Am Wochenende musste ich meinen Bericht für den Kurs „UP (Universitätspädagogik) 3.1“ fertigstellen. Da wir viel über den Nutzen formeller Betreuungsvereinbarungen gesprochen hatten, wollte ich herausfinden, ob unsere Überlegungen durch empirische Forschungsergebnisse gestützt werden. Da unsere Universität ihr Abonnement für Iris AI  (ein KI-gestütztes Tool zur Literaturrecherche) gekündigt hatte, beschloss ich, GPT-3 zu befragen. Ich ging zum GPT-3-Playground und fragte: „Kannst du mir fünf Literaturhinweise finden, die den Nutzen einer Betreuungsvereinbarung im akademischen Umfeld belegen?“ Es lieferte mir umgehend fünf Hinweise (siehe Bild). Anschließend fragte ich nach den DOIs (ich nutze Zotero für das Literaturmanagement, und Zotero kann Volltext-Referenzen problemlos abrufen, wenn man ihm eine DOI angibt, vorausgesetzt, der Artikel liegt nicht hinter einer Paywall).Als ich versuchte, die Referenzen herunterzuladen, meldete Zotero: „Zotero konnte keinen Datensatz für die angegebene Kennung finden. Bitte überprüfe die Kennung und versuche es erneut.“ Also stellte ich über ein VPN eine Verbindung zum Universitätsnetzwerk her, um direkt von der Website des hinter einer Paywall liegenden Verlags (Taylor & Francis) auf den Artikel zuzugreifen. Als ich jedoch die richtige Ausgabe von „Studies in Higher Education“ (2005, Band 30, Ausgabe 5) durchsuchte, gab es keinen solchen Artikel. Keinen solchen Autor. Nichts ähnelte auch nur im Entferntesten der Referenz, die versprochen worden war. GPT-3 hatte diese oberflächlich betrachtet plausibel aussehenden Referenzen aus der Luft gegriffen. Bei genauerer Betrachtung sind die Artikel jedoch seltsam: Jeder hat nur einen Autor (selten, aber nicht unmöglich), alle Autoren sind promoviert (in der Realität sind die meisten Autoren Doktoranden), und alle Autoren geben genau einen Mittelnamen an (möglich, aber unwahrscheinlich). Als ich GPT-3 darauf hinwies, dass die DOIs gefälscht sind und zu keinem veröffentlichten Artikel führen, behauptete GPT-3 zunächst, ich könne nicht auf die Artikel zugreifen, da sie hinter einer Paywall lägen. Als ich dieses Experiment wiederholte, um Screenshots zu machen, entschuldigte sich GPT-3 und versprach, den Fehler zu beheben. Als ich darauf hinwies, dass der Fehler nicht behoben werden könne, da die Artikel fiktiv seien, stürzte GPT-3 ab. Dieses Verhalten ist nachvollziehbar: Ähnlich wie es Informationen zu jedem Thema findet und diese geschickt zu einer Antwort zusammenfügt, hat es viele Quellenangaben gefunden und diese zu einer „neuen“ Antwort zusammengefügt. Da der Algorithmus jedoch nichts „versteht“, ist ihm nicht bewusst, dass Literaturangaben in keiner Weise verändert werden dürfen. Ich gehe davon aus, dass dies bald behoben wird, da es leicht zu beheben ist. GPT-3 ist lediglich ein cleverer Zusammenführer und Wiederkäuer, und dies scheint nur ein Sonderfall von Halluzinationen zu sein. Die wichtigste Erkenntnis für Studierende: Vertraut niemals darauf, dass GPT-3 euch korrekte Informationen liefert. Auch andere haben berichtet, dass GPT-3 [häufig und ziemlich stark] halluziniert ( https://twitter.com/NateSilver538/status/1629159014272581634/photo/1  ).