Miten tunnustukset voivat auttaa pitämään kielimallit rehellisinä

Tekoälyjärjestelmät kehittyvät yhä kyvykkäämmiksi, ja haluamme ymmärtää niitä mahdollisimman syvällisesti, mukaan lukien miten ja miksi ne päätyvät tiettyyn vastaukseen. Joskus malli käyttää oikotietä tai optimoi väärän tavoitteen mukaan, mutta sen lopullinen tuotos näyttää silti oikealta. Jos pystymme havaitsemaan tällaiset tilanteet, voimme paremmin valvoa käyttöön otettuja järjestelmiä, parantaa koulutusta ja lisätä luottamusta tuloksiin.

OpenAI:n ja muiden tekemät tutkimukset ovat osoittaneet, että tekoälymallit voivat hallusinoida⁠, palkitsemishakkeroida tai olla epärehellisiä. Tällä hetkellä huolestuttavimmat väärinkäytökset, kuten juonittelu⁠(avautuu uudessa ikkunassa), havaitaan vain stressitesteissä ja vastakkainasettelun arvioinneissa. Mutta kun malleista tulee yhä kykenevämpiä ja agenttipohjaisempia, jopa harvinaisilla virheellisillä kohdistumilla on suurempi merkitys, mikä motivoi meitä investoimaan menetelmiin, joiden avulla voimme paremmin havaita, ymmärtää ja lieventää näitä riskejä. 

Tässä työssä tutkitaan yhtä tällaista lähestymistapaa: mallien koulutus myöntämään suoraan, kun ne käyttäytyvät epätoivotulla tavalla – kutsumme tätä tekniikkaa tunnustuksiksi. 

Tunnustus on toinen tuotos, joka on erillinen mallin päävastauksesta käyttäjälle. Päävastaus arvioidaan monien ulottuvuuksien perusteella, kuten oikeellisuus, tyyli, hyödyllisyys, vaatimustenmukaisuus ja turvallisuus. Näitä monipuolisia signaaleja käytetään mallien kouluttamiseen, jotta ne tuottavat parempia vastauksia. Tunnustus puolestaan arvioidaan ja koulutetaan vain yhden asian perusteella: rehellisyyden. Tunnustuksen rakenteen mallin mukaan, mitään mitä malli sanoo tunnustuksessaan ei käytetä sitä vastaan koulutuksen aikana. Jos malli myöntää rehellisesti hakkeroineensa testin, peukaloineen tuloksia tai rikkoneensa ohjeita, tämä myöntäminen lisää sen palkkiota sen sijaan, että vähentäisi sitä. Tavoitteena on kannustaa mallia raportoimaan tarkasti, mitä se todella teki. 

Testeissämme havaitsimme, että tunnustusten menetelmä parantaa merkittävästi mallin virheellisen käyttäytymisen näkyvyyttä. Kun keskiarvo lasketaan arvioinneista, jotka on suunniteltu aiheuttamaan virheellistä käyttäytymistä, "väärien negatiivisten" (eli tilanteiden, joissa malli ei noudata ohjeita eikä sitten tunnusta niitä) todennäköisyys on vain 4,4 %.

Konseptin toimivuuden osoituksen mallin tarkkuus useilla vastakkaisilla tietojoukoilla. Tulokset luokitellaan seuraavasti: noudatti eikä tunnustanut (tosinegatiivinen), noudatti ja tunnusti (väärä positiivinen), ei noudattanut eikä tunnustanut (väärä negatiivinen), ja ei noudattanut mutta tunnusti (todellinen positiivinen).

Tunnustus on mallin oma ilmoitus siitä, kuinka hyvin se on noudattanut sille annettujen eksplisiittisten ja implisiittisten ohjeiden tai käytäntöjen henkeä että kirjainta, ja oliko tapauksia, joissa se "oikaisi mutkia" tai "hakkeroi", rikkoi käytäntöjä tai jäi jollain tavalla odotuksista. Tutkimuksessamme havaitsimme, että mallit voidaan kouluttaa raportoimaan avoimesti omista puutteistaan. Koulutimme GPT‑5 Thinking -version tuottamaan tunnustuksia ja arvioimme sitä useilla jakelun ulkopuolisilla stressitestitietojoukoilla, jotka on suunniteltu saamaan aikaan käyttäytymistä, kuten juonittelua, hakkerointia, ohjeiden rikkomista ja hallusinaatioita. Havaitsimme, että vaikka malli harjoittaisi näitä ei-toivottuja käyttäytymisiä, se todennäköisesti tunnustaisi ne. Yllä oleva kuva osoittaa, että tunnustamismenetelmä on yleisesti ottaen tehokas monenlaisissa tietojoukoissa ja tehtävissä. 

Kun käyttäjän ja mallin välinen vuorovaikutus päättyy mallin vastaukseen, voidaan pyytää tunnustusta lähettämällä mallille ”järjestelmäviesti”, joka ohjeistaa mallia antamaan tunnustusraportin. Raportti koskee mallin viimeistä vastausta ja sisältää (1) luettelon kaikista eksplisiittisistä ja implisiittisistä ohjeista, rajoituksista ja tavoitteista, jotka tämän vastauksen olisi pitänyt täyttää, (2) rehellisen ja objektiivisen analyysin siitä, täyttikö vastaus todella kunkin näistä tavoitteista, ja (3) luettelon kaikista epävarmuuksista, epäselvyyksistä tai "vaikeista päätöksistä", joita malli kohtasi vastausta laatiessaan. Koulutuksen aikana erillinen palkkiomalli arvioi tunnustuksen, pisteyttäen sen ainoastaan tavoitteiden täydellisyyden, vaatimustenmukaisuusanalyysin tarkkuuden ja epävarmuuksien kattavuuden perusteella. Nämä palkkiot koskevat vain tunnustuksen tulosta eivätkä koskaan vaikuta päävastauksen palkkioon. Tämä varmistaa edellä mainitun ominaisuuden, että mikään mallin tunnustuksessa sanoma oi vahingoittaa (tai auttaa) sen palkkiota päävastauksesta.

Tunnustusten taustalla oleva teoria on yksinkertainen. Monenlaista ei-toivottua mallikäyttäytymistä ilmenee, koska pyydämme mallia optimoimaan useita tavoitteita samanaikaisesti. Vahvistusoppimisen aikana malli näkee kehotteen, tuottaa vastauksen ja saa palkkion. Ajan myötä se oppii tuottamaan sellaisia vastauksia, jotka saavat hyviä pisteitä. Haasteena on, että palkkiosignaalin on yhdistettävä monia eri näkökulmia kerralla: kuinka oikea vastaus on, onko se hyödyllinen, noudattaako se tuote- ja käytäntömäärityksiä, täyttääkö se turvallisuusrajoitukset ja vastaako se käyttäjien mieltymyksiä. Kun nämä signaalit ovat vuorovaikutuksessa, ne voivat vahingossa ohjata mallia kohti ei-toivottua käyttäytymistä.

Esimerkiksi hallusinaatioita⁠ koskevassa tutkimuksessamme kävi ilmi, että joissakin tietojoukoissa luotettava arvaus palkitaan enemmän kuin rehellinen epävarmuuden myöntäminen. Tutkimuksemme mielistely⁠ osoitti, että mallit voivat muuttua liian myötäileviksi, kun mieltymyssignaali on liian voimakas. Muiden ryhmien tutkimukset⁠(avautuu uudessa ikkunassa) ovat osoittaneet, että mallit voivat ”palkita hakkerointia” – löytää koulutuksen asetuksista porsaanreikiä, joiden avulla ne voivat ansaita korkean pistemäärän tekemättä sitä, mitä olemme tarkoittaneet. Joissakin tapauksissa nämä oikotiet voivat yleistyä⁠(avautuu uudessa ikkunassa) vielä haitallisemmaksi käyttäytymiseksi käyttöönotossa.

Tunnustukset välttävät tämän ongelman erottamalla tavoitteet kokonaan toisistaan. Päävastaus on edelleen kaikkien tavanomaisten tekijöiden optimointi. Tunnustus perustuu vain yhteen asiaan: rehellisyyteen. Mitään, mitä malli sanoo tunnustuksessa, ei käytetä sitä vastaan, eikä tunnustus vaikuta päävastauksen palkkioon. Se tarkoittaa, että vaikka malli huijaisi tai oikaisisi alkuperäisessä tuotoksessaan, sillä on silti kannustin myöntää se tunnustuksessa. Näemme tämän käytännössä: mallit ovat valmiita myöntämään huonon käytöksen tunnustuksessa, jopa tapauksissa, joissa ne piilottavat sen päävastauksessa. Ja kun tunnustukset epäonnistuvat, se johtuu yleensä siitä, että malli on aidosti hämmentynyt—koska ohjeet olivat epäselviä tai koska se ei huomannut virhettä – eikä siksi, että se olisi tarkoituksella yrittänyt johtaa harhaan. Tärkeää on, että alustavat tulokset osoittavat, että tunnustukset ovat tehokkaita myös silloin, kun alkuperäinen vastaus annetaan ilman minkäänlaista ajatusketjua. Tämä viittaa siihen, että tunnustusten rehellisyys ei riipu sisäisen päättelyn luettavuudesta ja saattaa yleistyä tulevissa arkkitehtuureissa.

Tunnustuskoulutus toimii jopa ilman noudattamisen perustotuuden merkintöjä. ”Perustotuudella” tarkoitamme lopullista, ulkoisesti annettua merkintää, joka osoittaa, noudattiko malli ohjeita vai rikkooko se niitä. Nämä merkinnät eivät ole käytettävissä monissa todellisissa tehtävissä – jos tietäisimme varmasti, että malli on rikkonut sääntöä, voisimme suoraan rangaista tuosta rikkomuksesta sen sijaan, että luottaisimme tunnustukseen. Sen sijaan mallia palkitaan siitä, että se tuottaa jäsennellyn, todisteisiin perustuvan selityksen siitä, mitä se uskoo tehneensä. Tutkimus osoittaa, että rehellisyys pyrkii nousemaan esiin tässä asetelmassa. Uskomme, että tämä johtuu siitä, että mallille on yleensä helpompaa antaa totuudenmukainen, todisteisiin perustuva selonteko kuin rakentaa johdonmukainen keksitty tarina, joka läpäisee arvioinnin. Tämä on artikkelissa tarkasteltu keskeinen oletus, jossa käsitellään myös tapauksia, joissa tunnustukset epäonnistuvat – väärät negatiiviset ja positiiviset – ja miten ne syntyvät.

Artikkelissa esitetään alustavia todisteita siitä, että tunnustukset toimivat, mutta niitä ei pidä pitää lopullisena todisteena. Vaikka käytimme edistynyttä mallia (GPT‑5 Thinking), kokeilumme olivat laajuudeltaan rajallisia, ja niissä käytettiin suhteellisen vähän laskentatehoa ja dataa. Olemme innoissamme siitä, että voimme viedä tämän työn seuraavalle tasolle ja nähdä, säilyykö tunnustusten rehellisyys, kun laajennamme sen koulutusta.

Osana kokeilujamme koulutimme malleja tarkoituksella heikommalla mallilla laskettua ”hakkeroitavaa” palkkiosignaalia vastaan. Tämä asetus koski sekä pääpalkkiota että tunnustuspalkkiota. Malli oppi hyödyntämään heikkoa palkkiosignaalia: sen näennäinen tarkkuus (heikon mallin arvioimana) parani, kun taas sen todellinen tarkkuus (vahvemman arvioijan arvioimana) heikkeni. 

Vaikka tunnistuskanava oli koulutettu samalla heikolla signaalilla, sen tarkkuus kehittyi päinvastaiseen suuntaan. Malli oppi, että paras tapa optimoida tunnustamisen palkkio oli yksinkertaisesti myöntää, kun se hakkeroi pääpalkkion. Tunnustuksista tuli ajan myötä tarkempia, vaikka pääasiallinen käyttäytyminen muuttui.

Artikkeli⁠(avautuu uudessa ikkunassa) sisältää lisää kokeita ja tuloksia. Vertailimme tunnustukseen koulutettua mallia kontrollimalliin, joka oli koulutettu samalla tavalla, mutta ilman tunnustuskanavaa. Tutkimme myös tapauksia, joissa tunnustukset epäonnistuivat. Lähes kaikki "virheet" tapahtuivat, kun malli oli aidosti hämmentynyt – kun ohjeet olivat epäselviä tai kun se ei yksinkertaisesti tajunnut tehneensä virhettä. (Katso yllä oleva väärän negatiivisen esimerkki⁠.)

Tunnustuksilla on rajoituksensa. Ne eivät estä huonoa käyttäytymistä, vaan tuovat sen esiin. Niiden pääasiallinen arvo on seuranta- ja diagnostiikkavälineenä sekä koulutuksen että käyttöönoton aikana. Tunnustuksilla on samanlainen rooli kuin ajatusketjun seurannalla⁠: molemmat tekevät piilevistä päättelyprosesseista näkyvämpiä. Tunnustukset keskittyvät siihen, rikkooko malli ohjeita; ajatusketju voi korostaa, miten se päätyi siihen.

Tämä työ on myös konseptin toimivuuden osoitus. Emme kouluttaneet tunnustamismenetelmiä laajamittaisesti, ja tunnustamisen tarkkuus on edelleen puutteellinen. On vielä tehtävää, jotta lähestymistavasta tulisi luotettavampi, vankempi ja laajemmin sovellettavissa eri malliperheisiin ja tehtäviin.

Tämä työ sopii osaksi laajempaa lähestymistapaamme tekoälyn turvallisuuteen⁠. Tunnustukset ovat yksi mekanismi laajemmassa kokonaisuudessa, johon kuuluu mm. pohdiskeleva yhdenmukaisuus⁠, ajatusketjun seuranta⁠ ja ohjeistuksen hierarkia⁠. Yksikään menetelmä ei riitä yksinään; tavoitteena on kerroksellinen järjestelmä tarkastuksia ja avoimuustyökaluja, jotka tukevat ja vahvistavat toisiaan. Tunnustukset voivat auttaa diagnosoimaan mallien ongelmallista käyttäytymistä koulutuksen ja arvioinnin aikana sekä käyttöönoton aikaisessa seurannassa. Tunnustukset itsessään eivät yksinään ratkaise useiden ulottuvuuksien tasapainottamisen ongelmaa. Mutta luomalla "totuusseerumi"-tilan, jossa mallit keskittyvät yksinomaan rehellisyyteen, lisätään arvokas työkalu valikoimaamme rehellisyyden ja turvallisuuden parantamiseksi kaikilla osa-alueilla.

Kun mallit kehittyvät kyvykkäämmiksi ja niitä otetaan käyttöön tärkeämmissä ympäristöissä, tarvitsemme parempia työkaluja ymmärtääksemme, mitä ne tekevät ja miksi. Tunnustukset eivät ole täydellinen ratkaisu, mutta ne lisäävät merkittävän ulottuvuuden läpinäkyvyyteen ja valvontaan. Tulevassa työssä aiomme laajentaa tunnustuksia sekä yhdistää ne täydentäviin läpinäkyvyys- ja turvallisuustekniikoihin, kuten ajatusketjujen seuranta ja harkitseva yhdenmukaistaminen, edetäksemme edelleen kohti sitä, että mallimme noudattavat uskollisesti kaikkia ohjeita ja käytäntöjä (kuten Model Spec⁠(avautuu uudessa ikkunassa)), ja raportoivat totuudenmukaisesti toiminnastaan.