GPT-3 hallusinoi taas

Tue, 07 Mar 2023 00:00:00 +0000

Viikonloppuna minun piti viimeistellä raporttini UP (yliopistopedagogiikka) 3.1 -kurssille. Koska olimme keskustelleet paljon virallisten ohjaussopimusten hyödyllisyydestä, halusin selvittää, tukevatko jotkin empiiriset tutkimukset ajatuksiamme. Koska yliopistomme oli lopettanut tilauksensa Iris AI -palveluun (tekoälypohjainen kirjallisuushakutyökalu), päätin kysyä GPT-3:lta. Menin GPT-3:n kokeilualustalle ja kysyin: "Voitko etsiä minulle viisi kirjallisuusviitettä, jotka osoittavat ohjaussopimuksen hyödyllisyyden akateemisessa ympäristössä?" Se palautti nopeasti viisi viitettä (katso kuva). Sitten pyysin DOI-tunnisteita (käytän Zoteroa viitteiden hallintaan, ja Zotero voi helposti hakea viitteiden koko tekstin, jos sille annetaan DOI-tunniste, edellyttäen että artikkeli ei ole maksullinen).Kun yritin ladata lähteet, Zotero ilmoitti: ”Zotero ei löytänyt tietuetta annetulle tunnisteelle. Tarkista tunniste ja yritä uudelleen.” Niinpä muodostin VPN-yhteyden yliopiston verkkoon päästäkseni artikkeliin suoraan maksumuurin takana olevan kustantajan (Taylor & Francis) verkkosivustolta. Kun selailin oikeaa ”Studies in Higher Education” -lehden numeroa (2005, vuosikerta 30, numero 5), siellä ei kuitenkaan ollut tällaista artikkelia. Ei tällaista kirjoittajaa. Mikään ei edes etäisesti muistuttanut sitä lähdettä, jonka se oli luvannut. GPT-3 keksi nämä pinnaltaan uskottavilta vaikuttavat lähteet tyhjästä. Tarkemmin tarkasteltuna artikkelit ovat kuitenkin outoja: jokaisella on vain yksi kirjoittaja (harvinaista, mutta ei mahdotonta), kaikki kirjoittajat ovat tohtoreita (todellisuudessa useimmat kirjoittajat ovat tohtoriopiskelijoita) ja kaikilla kirjoittajilla on täsmälleen yksi toinen nimi (mahdollista, mutta epätodennäköistä). Kun GPT-3:lle osoitettiin, että DOI-tunnukset ovat vääriä eivätkä ne johda mihinkään julkaistuun artikkeliin, se väitti aluksi, etten päässyt artikkeleihin käsiksi, koska ne olivat maksullisen sisällön takana. Kun toistin tämän kokeen kuvakaappausten ottamiseksi, GPT-3 pyysi anteeksi ja lupasi korjata virheen. Kun huomautin, ettei virhettä voida korjata, koska artikkelit olivat keksittyjä, GPT-3 kaatui. Tämä käyttäytyminen on loogista: samalla tavalla kuin se löytää tietoa mistä tahansa aiheesta ja yhdistelee sen siististi vastaukseksi, se löysi monia viitteitä ja yhdisteli ne ”uudeksi” vastaukseksi. Mutta koska algoritmi ei ”ymmärrä” mitään, se ei tajua, että kirjallisuusviitteitä ei saa muokata millään tavalla. Odotan, että tämä korjataan pian, sillä se on helppo korjata. GPT-3 on vain taitava yhdistelijä ja toistaja, ja tämä näyttää olevan vain erityistapaus hallusinaatiosta. Opiskelijoille tärkeä viesti: Älkää koskaan luottako siihen, että GPT-3 antaa teille tarkkaa tietoa. Myös muut ovat raportoineet, että GPT-3 harhaanjohtuu usein ja melko pahasti .

OpenAI on Michael’s Domain

GPT-3 hallusinoi taas