Turing-Test mit Prüfungsantworten: Kann ich die KI entlarven?

Thu, 29 Dec 2022 00:00:00 +0000

In der finnischen Tageszeitung Helsingin Sanomat diskutieren GPT-3 und Laura Ketonen von der Universität Jyväskylä, wie sich KI auf die Bewertung von Studierenden auswirken wird ( Tekoäly ravistelee opiskelijoiden arviointia , Deutsch: Künstliche Intelligenz bringt die Bewertung von Studierenden ins Wanken). Eine der naheliegenden „Anwendungen“ von KI wäre das Schummeln bei Prüfungen. Lauras Meinungsbeitrag löste zahlreiche Reaktionen aus. Einige entgegneten, dass KI inhaltlosen Text produziere. Andere wiesen darauf hin, dass KI weder Mut noch Eigeninitiative besitze. Es scheint, als würden wir als menschliche Spezies bald mit einem allgemeinen Minderwertigkeitskomplex zu kämpfen haben.In einer naturwissenschaftlichen Prüfungssituation auf BSc- oder MSc-Ebene liegt die Initiative beim Lehrenden, und die Studierenden sind per Definition reaktiv. Wie definiert man leeren Text, wenn man nach einer Erklärung für Glykoengineering fragt? In den Lebenswissenschaften sind Mut und Eigeninitiative wesentliche Eigenschaften für jeden angehenden Wissenschaftler. Doch ohne ein solides Wissensfundament als Grundlage führen Mut und Eigeninitiative selten zu wirkungsvollen neuen Entwicklungen. Derzeit können wir diese Grundlage noch nicht an die KI auslagern. Daher verlangen wir von den Studierenden ein solides Wissensfundament, aus dem Mut und Eigeninitiative schöpfen können, um sich zu entfalten. Vielleicht lassen sich „niedrig hängende Früchte“ allein mit Mut und Eigeninitiative pflücken. Doch die Lösung der heutigen Probleme erfordert darüber hinaus ein solides Fundament an Wissen („auf den Schultern von Riesen stehen“). Bei der Beurteilung von KI machen wir wahrscheinlich dieselben Fehler wie Menschen bei allen neuen Technologien: Wir überschätzen ihre Auswirkungen kurzfristig, unterschätzen sie jedoch langfristig. Immer wieder ist es der (schmalen) KI gelungen, in Bereiche vorzudringen, die zuvor den Menschen vorbehalten waren. Es gibt keinen Grund anzunehmen, dass sich diese Entwicklung nicht fortsetzen wird. Es mag durchaus sein, dass die derzeit vorherrschenden Ansätze der KI (Deep Learning, maschinelles Lernen, neuronale Netze, statistische Ansätze) in Zukunft nicht zu bedeutenden Durchbrüchen in Richtung einer menschenähnlichen allgemeinen KI, vielleicht sogar einer selbstbewussten KI, führen werden. Wir wissen nicht einmal, wie menschliches Bewusstsein entsteht. Andererseits stimme ich Daniel Dennetts Vorstellung zu, dass es vielleicht gar kein „schweres Problem des Bewusstseins“ gibt: Bewusstsein ist das, was man erhält, wenn man alle einfachen Probleme gelöst hat. Wenn jedenfalls eine nicht selbstbewusste KI von einer selbstbewussten KI nicht mehr zu unterscheiden ist – worin besteht dann der Unterschied, und wie könnten wir das überhaupt erkennen? Ich bin mir sicher, dass wir irgendwann auch in der Lage sein werden, unser Wissen vollständig auszulagern. Mit Google haben wir sogar schon erste kleine Schritte in diese Richtung unternommen, aber wir brauchen eine bessere Schnittstelle zwischen Computer und Gehirn, um das Konzept des Wissens-Outsourcings voll und ganz umsetzen zu können. Deep Blue besiegte 1997 den internationalen Großmeister Garry Kasparov. Ich wollte diese Niederlage des Menschen nicht akzeptieren und erklärte die Partie für unfair: Deep Blue stürzte ab und musste während des Sechs-Partien-Turniers einmal neu gestartet werden, was meiner Meinung nach gleichbedeutend damit war, dass der Mensch während der Partie starb (oder zumindest durch Herz-Lungen-Wiederbelebung wiederbelebt wurde). Im Jahr 2016 übertrafen Computer den Menschen im Go-Spiel, und heute schlagen sie Menschen sogar bei Spielen wie Poker, die ausgefeilte psychologische Tricks wie das Bluffen erfordern. Um zu testen, wie sich KI im Vergleich zu Schülern in einer Prüfungssituation schlägt, fügte Patrick den Antworten der Schüler in einer kürzlich durchgeführten Prüfung eine von der KI generierte Antwort hinzu. Diese Idee verlieh der Benotung eine spannende Wendung! Ich glaube, ich wusste, welche Antwort von der KI stammte. Allerdings hatte ich zuvor schon mit GPT-3 experimentiert und wusste, dass die KI – ohne Feinabstimmung – bei der Beantwortung von Fragen übermäßig korrekt und systematisch vorgeht. Bei einer dreiteiligen Frage beantwortet die KI beispielsweise normalerweise systematisch alle drei Teile. Außerdem kannte die KI den genauen Inhalt meiner Vorlesungen nicht, was es relativ einfach machte, die KI-Antwort zu identifizieren. Patrick muss noch verraten, ob ich die KI-Antwort richtig erkannt habe … Die KI (oder das, was ich als KI identifiziert habe) schnitt schlechter ab als der beste Studierende, aber insgesamt hat sie sich wirklich gut geschlagen. Es ist klar, dass sich unsere zukünftigen Prüfungsfragen noch stärker auf kritisches Denken und fiktive Beispiele konzentrieren müssen, die die KI aus ihrem riesigen Pool an Trainingsmaterial nicht kennen kann. Angesichts der zunehmenden Informationsmenge, auf die KI in Zukunft zugreifen wird, kann sie sich jedoch auf das kritische Denken anderer Menschen stützen. Die nächste Generation der KI (ChatGPT-4 und Googles LaMDA) wartet bereits auf ihre Veröffentlichung… Mit ein paar kleinen Anpassungen hätte Patrick mich leicht täuschen können. Vielleicht hat er das ja schon getan … Wenn er die KI angewiesen hat, das Antwortmuster absichtlich zu durchbrechen, und wenn er GPT-3 tatsächlich mit meinen Vorlesungsfolien als Referenzmaterial trainiert hat, sind alle meine Wetten hinfällig. Ich werde euch wissen lassen, ob es mir gelungen ist, die KI-Antworten richtig zu identifizieren, sobald Patrick verrät, welche Antworten von der KI generiert wurden. UPDATE: Ich (ebenso wie die anderen Lehrkräfte) habe die KI-Antworten korrekt identifiziert. Wir waren uns einig, dass wir es nicht bemerkt hätten, wenn man uns nicht darauf hingewiesen hätte, dass eine der Antworten von einer KI generiert wurde. Die Qualität der KI-Antworten hing von der Art der Frage ab. Es schien, als sei es (zum jetzigen Zeitpunkt) relativ einfach, die KI aus der Bahn zu werfen, indem man die zur Beantwortung der Frage benötigten Informationen in grafischer Form bereitstellt. Aber ich bin mir sicher, dass die KI sehr bald lernen wird, Bilder mit Text zu verknüpfen.

Turing-Test on Michael’s Domain

Turing-Test mit Prüfungsantworten: Kann ich die KI entlarven?