Uusia työkaluja tekoälyn ja oppimistulosten ymmärtämiseen

Koulutus on yksi tekoälyn lupaavimmista osa-alueista. ChatGPT:n kaltaisten työkalujen avulla yksilöllinen oppimistuki voi olla saatavilla kaikille opiskelijoille missä ja milloin tahansa. 

Mutta koulutusala on vielä alkuvaiheessa sen ymmärtämisessä, miten tekoäly vaikuttaa oppimistuloksiin. Viime vuonna tiimimme ryhtyi tutkimaan opiskelutilan⁠ kaltaisten työkalujen käyttöä ja havaitsi lupaavia parannuksia opiskelijoiden suoriutumisessa. Mutta tutkimuksemme herätti myös tärkeän kysymyksen: Miten voimme arvioida, miten tekoäly vaikuttaa oppijan edistymiseen ajan myötä, ei pelkästään loppukokeessa?

Tämä on laajempi ekosysteemihaaste. Tähän mennessä useimmat tutkimusmenetelmät keskittyvät kapeisiin suorituskykysignaaleihin, kuten testituloksiin, ja niiltä puuttuu kyky arvioida, miten opiskelijat todellisuudessa oppivat tekoälyn avulla reaalimaailman tilanteissa ja miten tämä käyttö muokkaa tuloksia ajan myötä. 

Tämän puutteen korjaamiseksi kehitimme Learning Outcomes Measurement Suite -viitekehyksen, joka on luotu yhdessä Viron Tarton yliopiston ja Stanford Accelerator for Learningin SCALE-aloitteen kanssa tukemaan oppimistulosten pitkittäismittausta eri koulutusympäristöissä. 

Laajamittainen validointi on käynnissä satunnaistetun kontrolloidun tutkimuksen kautta, ja lisätutkimusta suunnitellaan perustajaorganisaatioiden kanssa Learning Labissa, OpenAI:n oppimisen tutkimusekosysteemissä – mukana on tutkijoita Arizona State Universitystä, UCL Knowledge Labista ja MIT Media Labista (perustuen aiempiin yhteistyötutkimuksiin⁠).

Tänään jaamme yleiskatsauksen siitä, miten mittausjärjestelmä toimii ja miksi se on tärkeä. Ajan myötä aiomme julkaista lisää tutkimusta ja tuoda mittaustyökalun julkiseksi resurssiksi kouluille, yliopistoille ja koulutusjärjestelmille maailmanlaajuisesti

• Nykyiset tekoälyn vaikutusta oppimiseen koskevat tutkimusmenetelmät osoittavat lupaavia merkkejä suoriutumisesta, mutta eivät anna täyttä kuvaa siitä, miten tekoäly vaikuttaa oppimistuloksiin ajan myötä.
• Learning Outcomes Measurement Suite tarjoaa ensimmäistä kertaa standardoidun viitekehyksen pitkittäistutkimuksille, jotka auttavat opettajia, tutkijoita ja oppilaitoksia ymmärtämään, miten tekoäly muokkaa oppimista ja oppimistuloksia eri konteksteissa.
• OpenAI:n Learning Lab on uusi tutkimusekosysteemi, joka keskittyy tällaisen työn edistämiseen. OpenAI julkaisee tuloksia useiden kumppaneiden kanssa alan kehittyessä edelleen.

Kun opiskelijat käyttävät tekoälytyökaluja opiskeluun ja oppimiseen, se voi tarkoittaa monia eri asioita – tekoälyn käyttämistä nopeiden vastausten saamiseksi tai ongelmien ratkaisemista askel askeleelta tutorin kaltaisen ohjauksen avulla. Kannustaakseen käyttäjiä käyttämään ChatGPT:tä tavoilla, jotka tukevat syvempää ymmärrystä ja taitojen kehittämistä, OpenAI esitteli viime vuonna opiskelutilan⁠.  Opiskelutilan taustalla toimivat mukautetut järjestelmäohjeet, jotka olemme laatineet yhteistyössä opettajien, tutkijoiden ja pedagogiikan asiantuntijoiden kanssa. Ohjeet heijastavat keskeisiä käyttäytymismalleja, jotka tukevat aitoa oppimista eivätkä pelkästään vastauksia – hyödyntämällä oppimisen tukirakenteita, ymmärryksen tarkistuksia ja ohjattua harjoittelua.

Jotta voisimme testata, johtaako tällainen pedagogisesti yhdenmukainen tekoälyn vuorovaikutustyyli parempiin oppimistuloksiin, toteutimme satunnaistetun tutkimuksen yli 300 korkeakouluopiskelijalle, jotka valmistautuivat neurotieteen ja mikrotaloustieteen kokeisiin. Vaikka analyysi on vielä kesken, alustavat tulokset antavat meille luottamusta siihen, että pedagogisesti yhdenmukainen tekoälyn vuorovaikutustyyli, jota kannustetaan esimerkiksi opiskelutilan kaltaisilla ominaisuuksilla, voi parantaa oppimistuloksia. Mutta tämä tutkimus nosti esiin myös tärkeän tosiasian: Olennaista on se, pysyvätkö hyödyt ja niihin liittyvät tuottavat toimintatavat kestävinä ajan myötä.

Tutkimusasetelma

Osallistujat jaettiin kolmeen ryhmään: Kontrolliryhmä käytti perinteisiä verkkoresursseja, kuten Google Searchia ja YouTubea, ilman tekoälyn luomia yleiskatsausominaisuuksia. Kahdelle muulle ryhmälle annettiin pääsy jompaankumpaan kahdesta opiskelutilan muunnelmasta, jotka oli suunniteltu ohjaamaan opiskelijoita oppimisprosessin läpi hieman eri tavoin. Lähtötilannekokeita ja perehdytyskyselyitä kerättiin etukäteen, jotta voitiin huomioida aiempien kurssien suorittamisen, opiskelutottumusten, akateemisen itseluottamuksen ja tekoälytyökalujen tuntemuksen erot. Opiskelijat suorittivat aikarajoitettuja opiskelutilan istuntoja ennen kutakin koetta, ja kaksi opiskelutilan muunnelmaa tasapainotettiin koehenkilöiden välillä.

Tämä järjestely suunniteltiin vastaamaan todellisia opiskeluolosuhteita tiukasti kontrolloidun laboratorioympäristön sijaan. Osallistuminen ei ollut sidoksissa koesuoritukseen, eivätkä kaikki opiskelijat käyttäneet opiskelutilaa samassa määrin nimellisten 40 minuutin istuntojen aikana. Näin pystyimme mittaamaan ja raportoimaan intention-to-treat (ITT) -vaikutuksia eli työkalun saatavuuden vaikutusta realistisissa käyttöönotto-olosuhteissa – toisin sanoen opiskelutilan tarjoamisen syy-seuraussuhdetta ottaen huomioon, että sitoutuminen voi vaihdella käytännössä.

Löydökset

Mittasimme suoriutumista kussakin kokeessa erikseen. Satunnaistetussa tutkimuksessamme parannukset eivät olleet yhdenmukaisia kaikkien koehenkilöiden kesken, ja opiskelutilaan sitoutumisen tasot vaihtelivat osallistujien välillä. 

• Neurotiede (ensisijainen ITT): Havaitsimme suunnaltaan myönteisiä eroja opiskelutilan hyväksi kontrolliryhmään verrattuna, mutta tulokset eivät eronneet perinteisten verkkoresurssien avulla opiskelevien opiskelijoiden tuloksista. Jotkin perehdytys- ja tekniset ongelmat vaikuttivat opiskelutilaa käyttäneiden opiskelijoiden opiskeluaikaan. 
• Mikrotaloustiede (ensisijainen ITT): Havaitsimme merkittäviä parannuksia koesuorituksissa opiskelijoilla, joille annettiin pääsy opiskelutilaan, verrattuna verrokkiryhmään, joka ei käyttänyt tekoälyä – suhteessa noin 15 % korkeampi pistemäärä.

Vaikka tämä heijastaa reaalimaailman vaihtelua, se toi esiin syvemmän rajoitteen siinä, miten oppimistuloksia tyypillisesti mitataan.

Useimmat olemassa olevat arviointimenetelmät perustuvat kiinteisiin interventioihin, joita arvioidaan lyhyiden aikavälien aikana käyttäen ensisijaisina signaaleina tuloksia, kuten testituloksia tai loppuesseitä. Näitä menetelmiä ei ole suunniteltu kuvaamaan tekoälyn käytännön oppimiseen vaikuttavaa ydinmekanismia: jatkuvia yksilöllisiä vuorovaikutuksia, jotka kehittyvät oppijan omien strategioiden, mieltymysten ja opiskelutottumusten rinnalla. Eivätkä ne tuo esiin sitä, voivatko yhden kyvyn, kuten lyhytaikaisen muistin, parannukset tapahtua muiden, kuten sinnikkyyden, autonomisen motivaation tai luovan ongelmanratkaisun, kustannuksella. Tämän seurauksena heiltä jäävät huomaamatta pitkittäiset kognitiiviset vaikutukset, jotka lopulta määrittävät, parantaako tekoäly oppimista merkityksellisesti. 

Koska oppimisympäristöt vaihtelevat suuresti maiden, opetussuunnitelmien ja institutionaalisten tavoitteiden välillä, kertaluonteisten tutkimusten tuloksia voidaan harvoin yleistää eri järjestelmien välillä. Mittausmenetelmien on siksi oltava riittävän joustavia, jotta eri koulutusjärjestelmät voivat määritellä, miltä menestys näyttää niiden omassa kontekstissa, arvioida tekoälyä omien standardiensa perusteella ja tehdä tarvittavia muutoksia sen mukaisesti.

Paremman mittausjärjestelmän kehittäminen 

OpenAI:n opiskelutilan tutkimuksesta saatujen oppien pohjalta olemme kehittäneet strukturoidun mittausjärjestelmän, jolla mitataan tekoälyn vaikutusta oppijoihin laajassa mittakaavassa ja luodaan mekanismi mallien parantamiseksi näiden tulosten perusteella. Se perustuu kolmeen signaaliin: mallin käyttäytymiseen, oppijoiden reaktioihin ja mitattavissa oleviin kognitiivisiin tuloksiin ajan myötä. Tämä sisältää: 

• Järjestelmäohjeet mallin toiminnan tarkentamiseksi: luonnollisen kielen käyttö mallin oletustoiminnan muuttamiseksi vastaamaan paremmin tiettyjä pedagogisia lähestymistapoja.
• Oppimisvuorovaikutuksen luokittelijat: nämä tunnistavat automaattisesti "oppimishetket" todellisissa, anonymisoiduissa oppijan ja mallin välisissä vuorovaikutuksissa ja merkitsevät keskeisiä ominaisuuksia, kuten sitoutumisen ja virheiden korjauksen.
• Oppimisen laadun arvioijat: nämä arvioivat ja pisteyttävät kunkin oppimishetkin sen perusteella, saavuttiko oppija tavoitteensa ja missä määrin vuorovaikutus noudatti vahvoja pedagogisia periaatteita, mukaan lukien epäonnistumisten tunnistaminen.
• Pitkittäisoppimisen arvioijat: nämä seuraavat muutoksia saman oppijan vuorovaikutuksessa mallin kanssa ajan myötä – mukaan lukien sitoutuminen, sinnikkyys ja metakognitiiviset strategiat – yksilö- ja ikäryhmätasoilla.
• Standardoidut kognitiiviset ja metakognitiiviset mittarit: nämä ovat validoituja kolmansien osapuolten mittausvälineitä, jotka tarjotaan ChatGPT:n kautta ennen käyttöä, sen aikana ja sen jälkeen, jotta voidaan määrittää lähtötasot ja mitata muutoksia perustavanlaatuisissa kyvyissä, kuten kriittisessä ajattelussa, luovuudessa ja muistissa.

Yhdessä käytettynä kutsumme tätä mittausjärjestelmää nimellä Learning Outcomes Measurement Suite. 

Se tuottaa tärkeitä signaaleja, joita koulutusekosysteemi voi hyödyntää: strukturoituja näkymiä oppimishetkistä; koontinäyttöjä, jotka osoittavat, miten tulokset muuttuvat ajan myötä eri ikäryhmissä; indikaattoreita mallin suorituskyvystä opetus- ja ohjausmatriiseihin verrattuna; sekä tulosmittareita, jotka on yhdenmukaistettu standardoitujen arviointien ja lyhyiden oppijakyselylomakkeiden kanssa. Kun saatavilla, se voi sisältää kumppanin tarjoamia kenttätutkimustietoja, kuten koetuloksia, luokkahuonehavaintoja tai läsnäolotietoja.

Lisäksi se auttaa kumppaneitamme ymmärtämään tekoälyn käytön syvempiä kognitiivisia vaikutuksia oppimiseen ajan mittaan, koska pystymme tämän järjestelmän avulla seuraamaan myös vaikutusta kykyihin, kuten:

• Autonominen motivaatio: se, missä määrin oppijat muokkaavat omaa opiskeluaan verrattuna siihen, että malli ohjaa heitä 
• Tuottava osallistuminen: pedagogisten vuorovaikutusten tiheys, monipuolisuus ja laatu
• Tehtäväsitkeys: se, missä määrin oppija pysyy kognitiivisten haasteiden mukana ja ponnistelee niiden läpi
• Metakognitio: oppijan pyrkimysten tiheys ja laatu suunnitella, reflektoida ja seurata opiskelutapojaan
• Muistaminen: tarkkuus, jolla oppija muistaa aiempien vuorovaikutusten sisällön

Tämä heijastaa yleisiä pyrkimyksiämme olla keskittymättä pelkästään oppimistulosten kapeisiin määritelmiin (testitulosten paranemiseen), vaan oppimisen taustalla oleviin kokonaisvaltaisiin kykyihin. Se heijastaa myös uskomustamme siitä, ettei ole olemassa yhtä ainoaa ihmelääkettä sen suhteen, mitä tulisi optimoida: järjestelmille ja opettajille on annettava valmiudet ohjata kompromisseja pedagogisten parhaiden käytäntöjen ja lähestymistapojen mukaisesti.

Miten toimimme tästä eteenpäin

Validoimme Learning Outcomes Measurement Suitea laajamittaisten tutkimusten avulla ennen kuin tuomme sen laajemmin saataville. Tämä työ on käynnissä Tarton yliopiston ja Stanfordin SCALE Initiativen kanssa kansallisen tason kumppaneiden kuten Viron kanssa, jossa mittausjärjestelmää tutkitaan lähes 20 000:n 16–18-vuotiaan oppilaan kanssa useiden kuukausien ajan. Opiskelijoiden käyttö tapahtuu tiiviissä yhteistyössä paikallisten johtajien kanssa, jotta turvallisuus ja yhteensopivuus paikallisten opetussuunnitelmien kanssa voidaan varmistaa.

Tämä työ perustuu laajempaan käynnissä olevaan yhteistyötutkimuskokonaisuuteen. Learning Labin perustajakumppaneiden kautta toteutettavan tulostutkimuksen lisäksi OpenAI tukee oppimisen ja työelämän yhtymäkohtia käsitteleviä tutkimuksia tutkimalla, miten tekoäly muokkaa opiskelijoiden akateemisia polkuja, uravalintoja ja tapoja, joilla oppilaitokset voivat tukea vastuullista käyttöönottoa. Tätä tutkimusta tehdään muun muassa seuraavissa oppilaitoksissa: Bocconi University, Innova Schools ja Tuck School of Business (Dartmouth), San Diego State University ja Stony Brook University

Teemme pidempiaikaisia tutkimuksia siitä, miten opiskelijat oppivat parhaiten tekoälyn avulla, ja aiomme jakaa havaintoja sekä työskennellä yhdessä laajemman koulutusekosysteemin kanssa varmistaaksemme, että tekoäly hyödyttää oppijoita kaikkialla.

Ne, jotka ovat kiinnostuneita saamaan päivityksiä tästä työstä, voivat rekisteröityä täällä⁠.