Arviointi on Michael’s Domain

Opiskelijoiden tehtävien arviointi on vaikeaa

Sat, 16 Dec 2023 00:00:00 +0000

Olen lukenut tänä syksynä satoja opiskelijoiden tehtäviä. Monissa näistä tehtävistä opiskelijoiden odotetaan vastaavan kysymyksiin. Tehtävien arviointi tarkoittaa sitä, että päätetään, onko vastaus ”oikea” vai ”väärä”. Tämä on toisinaan vaikeaa. Useimmat vastaukset sijoittuvat jonnekin ”oikean” ja ”väärän” välille. Siksi arvioinnin tarve paljastaa syvemmän ongelman: ennen kuin voin päättää, mihin kohtaan ”oikean” ja ”väärän” välisellä asteikolla opiskelijoiden vastaukset sijoittuvat, on oltava olemassa objektiivinen ”oikea” ja ”väärä”. Muuten objektiiviset arvosanat ovat jo lähtökohtaisesti illuusio (puhumattakaan siitä ongelmasta, miten ne voitaisiin määrittää luotettavasti). Kaikki tieteellinen tietomme on kuitenkin alustavaa. Se voi muuttua tai jopa kumoutua, kun uutta, parempaa tietoa tulee saataville. Miten siis kukaan voi arvioida mitään tehtävää varmuudella? Onneksi kaikki tietomme ei ole samanarvoista. Yksi tieteellisen väittämän tärkeä tunnusmerkki on falsifioitavuus , käsite, jonka ehkä ensimmäisenä popularisoi tiedefilosofi Karl Popper kirjassaan Tieteellisen löytämisen logiikka . Mitä ovat esimerkkejä tieteellisesti falsifioitavista teorioista?

Turingin testi ja tenttivastaukset: Pystynkö paljastamaan tekoälyn?

Thu, 29 Dec 2022 00:00:00 +0000

Suomalaisessa päivälehdessä Helsingin Sanomat GPT-3 ja Jyväskylän yliopiston Laura Ketonen pohtivat, miten tekoäly vaikuttaa opiskelijoiden arviointiin ( Tekoäly ravistelee opiskelijoiden arviointia , englanniksi: Artificial intelligence shakes up student assessment). Yksi tekoälyn ilmeisistä ”sovelluksista” olisi tenttivilppi. Lauran mielipidekirjoitus herätti melko paljon reaktioita. Jotkut vastasivat, että tekoäly tuottaa sisältötöntä tekstiä . Toiset mainitsivat, ettei tekoälyllä ole rohkeutta ja aloitteellisuutta . Tuntuu siltä, että me ihmislajina joudumme pian kamppailemaan yleisen alemmuuskompleksin kanssa.Luonnontieteiden tenttitilanteessa kandidaatin tai maisterin tasolla aloite on opettajalla, ja opiskelijat ovat määritelmän mukaan reaktiivisia. Miten määritellään tyhjä teksti, kun pyydetään selittämään glykoinsinööritiedettä? Elämäntieteissä rohkeus ja aloitteellisuus ovat olennaisia piirteitä jokaiselle tulevaisuuden tiedemiehelle. Mutta ilman vankkaa tietopohjaa rohkeus ja aloitteellisuus johtavat harvoin vaikuttaviin uusiin kehityssuuntiin. Tällä hetkellä emme voi vielä ulkoistaa tätä perustaa tekoälylle. Siksi vaadimme opiskelijoilta vankkaa tietopohjaa, josta rohkeus ja aloitteellisuus voivat ammentaa kukoistakseen. Ehkä helpoimmat tulokset voidaan saavuttaa pelkästään rohkeudella ja aloitteellisuudella. Mutta nykypäivän ongelmien ratkaiseminen vaatii lisäksi vankkaa tietopohjaa (”seisominen jättiläisten hartioilla”). Arvioidessamme tekoälyä teemme todennäköisesti samat virheet kuin ihmiset tekevät kaikkien uusien teknologioiden kohdalla: yliarvioimme sen vaikutuksen lyhyellä aikavälillä, mutta aliarvioimme sen vaikutuksen pitkällä aikavälillä. (Kapea) tekoäly on kerta toisensa jälkeen onnistunut tunkeutumaan aloille, jotka aiemmin olivat varattuja ihmisille. Ei ole mitään syytä olettaa, ettei tämä kehitys jatkuisi. Voi hyvinkin olla, että tällä hetkellä hallitsevat tekoälyn lähestymistavat (syväoppiminen, koneoppiminen, neuroverkot, tilastolliset menetelmät) eivät johda tulevaisuudessa merkittäviin läpimurtoihin kohti ihmisen kaltaista yleistä tekoälyä, ehkä jopa itsetietoista tekoälyä. Emme edes tiedä, miten ihmisen tietoisuus syntyy. Toisaalta olen samaa mieltä Daniel Dennettin ajatuksesta, että tietoisuudessa ei ehkä olekaan vaikeaa ongelmaa: tietoisuus on se, mitä saat, kun olet ratkaissut kaikki helpot ongelmat. Joka tapauksessa, jos itsetietoisuudesta vailla oleva tekoäly muuttuu erottamattomaksi itsetietoisesta tekoälystä, mikä ero niillä on ja miten voisimme sen tietää? Olen varma, että jossain vaiheessa pystymme myös ulkoistamaan tietomme kokonaan. Googlen avulla olemme jo alkaneet ottaa pieniä askelia tähän suuntaan, mutta tarvitsemme paremman tietokone-aivo-rajapinnan, jotta voimme täysin omaksua tiedon ulkoistamisen konseptin. Deep Blue voitti kansainvälisen suurmestarin Garry Kasparovin vuonna 1997. En halunnut hyväksyä tätä ihmisen kärsimää tappiota ja julistin pelin epäreiluksi: Deep Blue kaatui ja sitä jouduttiin käynnistämään uudelleen kerran kuuden pelin turnauksen aikana, mikä oli mielestäni sama asia kuin jos ihminen olisi kuollut pelin aikana (tai ainakin herätetty henkiin elvytyksellä). Vuonna 2016 tietokoneet ohittivat ihmiset Go-pelissä, ja nykyään ne voittavat ihmisiä jopa pokerin kaltaisissa peleissä, joissa vaaditaan hienostuneita psykologisia temppuja, kuten bluffaamista. Testatakseen, miten tekoäly pärjää opiskelijoille tenttitilanteessa, Patrick lisäsi yhden tekoälyn tuottaman vastauksen opiskelijoiden vastauksiin äskettäin pidetyssä tentissä. Tämä idea toi arviointiin jännittävän käänteen! Luulen, että tiesin, mikä tekoälyn vastaus oli. Olin kuitenkin kokeillut GPT-3:a aiemmin ja tiesin, että – ilman hienosäätöä – tekoäly on liian tarkka ja järjestelmällinen kysymyksiin vastaamisessa. Esimerkiksi kolmiosaisessa kysymyksessä tekoäly vastaa yleensä järjestelmällisesti kaikkiin kolmeen osaan. Lisäksi tekoäly ei tuntenut luentojeni tarkkaa sisältöä, minkä vuoksi tekoälyn vastauksen tunnistaminen oli suhteellisen helppoa. Patrickin on vielä paljastettava, tunnistinko tekoälyn vastauksen oikein… Tekoäly (tai se, minkä tunnistin tekoälyksi) suoriutui huonommin kuin paras opiskelija, mutta kaiken kaikkiaan se pärjäsi todella hyvin. On selvää, että tulevissa tenttikysymyksissämme on keskityttävä entistä enemmän kriittiseen ajatteluun ja kuvitteellisiin esimerkkeihin, joita tekoäly ei voi tietää valtavasta koulutusaineistostaan. Mutta kun otetaan huomioon tekoälyn tulevaisuudessa käytettävissä olevan tiedon kasvava määrä, tekoäly voi tukeutua muiden ihmisten kriittiseen ajatteluun. Seuraavan sukupolven tekoäly (ChatGPT-4 ja Googlen LaMDA) odottaa jo julkista julkaisua… Pienillä hienosäätöillä Patrick olisi voinut helposti huijata minua. Ehkä hän on jo huijannutkin… Jos hän käski tekoälyä rikkomaan vastausmallia tahallaan ja jos hän koulutti GPT-3:a käyttäen luentokalvojani viitemateriaalina, en voi enää olla varma mistään. Kerron teille, onnistuinko tunnistamaan tekoälyn oikein, kun Patrick paljastaa, mitkä vastaukset olivat tekoälyn tuottamia. PÄIVITYS: Minä (samoin kuin muutkin opettajat) tunnistin tekoälyn vastaukset oikein. Yleinen mielipiteemme oli, että jos meitä ei olisi varoitettu siitä, että yksi vastauksista oli tekoälyn tuottama, emme olisi huomanneet sitä. Tekoälyn vastausten laatu riippui kysymyksen tyypistä. Näytti siltä, että (tällä hetkellä) suhteellisen helppo tapa hämätä tekoälyä on antaa kysymykseen vastaamiseen tarvittavat tiedot graafisessa muodossa. Mutta olen varma, että tekoäly oppii yhdistämään kuvia ja tekstiä hyvin pian.

Yliopistopedagogiikka (UP2.2, 2019): Oppimisen arviointi ja palautteen antaminen

Fri, 02 Oct 2020 00:00:00 +0000

Opettajaksi valmistuminen SuomessaYliopistopedagogiikan (UP) 60 op:n moduulin tutkintovaatimukset koostuvat 25 op:n perusopintoista ja 35 op:n syventävistä opinnoista. Vaikka UP keskittyy yliopisto-opetukseen, suoritettu moduuli antaa pätevyyden myös kouluopetukseen. Helsingin yliopiston pedagogiikkakeskus järjestää perusopintomoduulin (25 ECTS-opintopistettä) kurssit englanniksi. Jos kuitenkin haluat suorittaa koko moduulin, joudut suorittamaan kursseja, joita tarjotaan vain suomeksi tai ruotsiksi. Tämä tarkoittaa, että et voi tulla päteväksi opettajaksi ilman suomen tai ruotsin kielen taitoa. En tiedä, onko suomenkieleni tällä hetkellä riittävän hyvää siihen. Toistaiseksi pysyn englanninkielisissä kursseissa.**Yliopistopedagogiikka 2.2 (2019)**Syksyllä 2019 suoritin kurssin UP2.2 (ilman että olisin suorittanut ensin kurssia UP2.1). Meillä oli erittäin mukava opettaja (Jokke Häsä), mutta en vieläkään ymmärrä, miksi hän siirtyi matematiikan parista pedagogiikan opettamiseen. Se on varmasti pedagogiikan kannalta voitto, sillä hän ymmärtää tilastotiedettä, ja meillä oli mielenkiintoista keskustelua lukemamme Johnstonin ja Milesin artikkelin tilastoista. Artikkeli on liitetty myös tähän viestiin, ja siinä esitetty kuvaus heidän tilastollisista menetelmistään jättää paljon tulkinnanvaraa. Lähetin itse asiassa sähköpostia artikkelin ensimmäiselle kirjoittajalle, mutta hän oli juuri jäänyt eläkkeelle muutama kuukausi sitten. Vaikka en saanut toimitusvirheilmoitusta, hän ei ehkä enää kokenut tarpeelliseksi vastata.SokkolentoMinulle yksi suurimmista ongelmista oli se, että minulla ei ollut mitään vertailukohtaa, kun valmistelin tehtäviäni. Kun kirjoitan artikkeleita lehtiin, minulla on tuhansia esimerkkejä, joita voin tutkia ja joihin voin verrata omaa työtäni. Joten päätin kurssin aikana, että julkaisisin kaikki tehtäväni. Noloja hetkiä myöten. Mutta ehkä joillakin tulevilla UP2.2-kurssin osallistujilla on jotain, mihin verrata. Eräänlainen esimerkki. Ei täydellinen, mutta kelvollinen. Julkaisen vain omia tehtäviäni.**Kaikki tehtäväni ovat saatavilla CC0-lisenssillä (= ilman ehtoja)**Kaikki tämä materiaali on jaettu CC0 -lisenssillä: Käytä sitä miten haluat, minua ei tarvitse mainita. Ainoa puuttuva asia täällä on ryhmätehtävä, koska siihen tarvitsisin kaikkien suostumuksen, mitä ei tule tapahtumaan. Minun olisi pitänyt tehdä tämä 9 kuukautta sitten, mutta unohdin sen yksinkertaisesti. Muita asioita oli vain liikaa meneillään.Pärjäsin kurssilla ihan hyvin, mutta en vieläkään tiedä mitäänMinkä arvosanan sain? Ryhmätyömme sai arvosanan 5 (asteikolla 1–5, jossa 5 on paras arvosana) ja omat työni arvosanan 4. Kiitos kaikille Carbonara-tiimin mahtaville jäsenille! Kurssin kokonaisarvosanaksi tuli keskiarvona 5. Jostain oudosta syystä Moodle-kurssisivulla näkyy edelleen, että olen suorittanut vain 66 % kurssitehtävistä, mutta WebOodissa näkyy, että sain opintopisteet. Siinäpä se IT-järjestelmien ihmeellisyys…