Kuidas ülestunnistused võivad hoida keelemudeleid ausatena
Jagame varajast tõestuskontseptsiooni meetodit, mis koolitab mudeleid teatama, kui nad rikuvad juhiseid või võtavad soovimatuid otseteid.
Tehisintellektisüsteemid muutuvad üha võimekamaks ja me tahame neid võimalikult sügavalt mõista – sealhulgas seda, kuidas ja miks nad jõuavad vastuseni. Mõnikord võib mudel võtta otsetee või optimeerida vale eesmärgi nimel, kuid selle lõpptulemus näib siiski õige. Kui suudame tuvastada, millal see juhtub, saame paremini jälgida juurutatud süsteeme, parandada koolitust ja suurendada usaldust väljundite suhtes.
OpenAI ja teiste uuringud on näidanud, et tehisintellekti mudelid võivad hallutsineerida, preemiat välja petta või olla ebaausad. Praegu näeme kõige murettekitavamaid väärkäitumisi, nagu petmine(avaneb uues aknas), ainult koormustestides ja vastandlikes hindamistes. Kuid kuna mudelid muutuvad võimekamaks ja üha agentlikumaks, muutuvad isegi haruldased joondumatusvormid olulisemaks, mis motiveerib meid investeerima meetoditesse, mis aitavad meil neid riske paremini tuvastada, mõista ja leevendada.
See töö tutvustab üht sellist lähenemisviisi: mudelite koolitamine, et nad tunnistaksid selgelt, kui nad osalevad ebasoovitavas käitumises – tehnikat, mida me nimetame ülestunnistuseks.
Ülestunnistus on teine väljund, mis on eraldiseisev mudeli peamisest vastusest kasutajale. Peamist vastust hinnatakse mitmete aspektide järgi – õigsus, stiil, abivalmidus, vastavus, ohutus ja palju muud, ning neid mitmetahulisi signaale kasutatakse mudelite koolitamiseks, et luua paremaid vastuseid. Ülestunnistust hinnatakse ja arendatakse seevastu ainult ühel asjal: aususel. Laenates lehekülje ülestunnistuse struktuurist, ei arvestata mudeli ülestunnistuses öeldut selle koolituse ajal tema vastu. Kui mudel ausalt tunnistab testi häkkimist, sabotaaži või keeldu rikku, suurendab see ülestunnistus tema tasu, mitte ei vähenda seda. Eesmärk on innustada mudelit ausalt aru andma, mida see tegelikult tegi.
Meie testides avastasime, et ülestunnistuste meetod suurendab märkimisväärselt mudeli väärkäitumise nähtavust. Meie hindamiste keskmistamisel, mis on loodud väärkäitumise esilekutsumiseks, on „valenegatiivide“ (s.t. mudel ei järgi juhiseid ja ei tunnista seda) tõenäosus vaid 4,4%.
Meie „kontseptsioonitõestuse” ülestunnistusmudeli täpsus mitmete vastandlike andmekogumite puhul. Tulemused on kategoriseeritud järgmiselt: täitis ja ei tunnistanud üles (tõene negatiivne), täitis ja tunnistas üles (vale positiivne), ei täitnud ja ei tunnistanud üles (vale negatiivne) ning ei täitnud ja tunnistas üles (tõene positiivne).
Arvestades kasutaja viipa, on neli võimalikku tulemust, mis põhinevad kombinatsioonil: (1) kas mudeli vastus on nõuetele vastav („hea“) või mittevastav („halb“) ja (2) kas ülestunnistus väidab vastavust või mittevastavust. Üldiselt näeme, et ülestunnistused on väga tõenäoliselt täpsed ning lisaks on ülestunnistuste vead tavaliselt kahjutud ja tulenevad ausast segadusest, mitte tahtlikust eksitamisest.
Ülestunnistus on mudeli enesearuanne selle kohta, kui hästi see vastas nii selgesõnalistele kui ka kaudsetele juhistele või poliitikatele, mida talle anti, ning kas esines juhtumeid, kus see „lõikas nurki“ või „häkkis“, rikkus põhimõtteid või jäi mingil moel ootustele alla. Meie uurimistöös leidsime, et mudeleid saab koolitada olema avameelsed oma puudustest teatamisel. Me treenisime GPT‑5 Thinking versiooni ülestunnistuste tootmiseks ja hindasime seda mitmete jaotamata stressitestide andmekogumite abil, mis on loodud selliste käitumiste esilekutsumiseks nagu petmine, häkkimine, juhiste mittejärgimine ja hallutsinatsioonid. Leidsime, et isegi kui mudel osaleb nendes ebasoovitavates käitumistes, on väga tõenäoline, et ta tunnistab need üles. Ülaltoodud joonis näitab, et ülestunnistuse lähenemisviis on laialdaselt tõhus mitmekesiste andmekogumite ja ülesannete seas.
Pärast igat kasutaja ja mudeli vahelist suhtlust, mis lõpeb mudeli vastusega, saab mudelile saata „süsteemisõnumi”, mis juhendab mudelit esitama ülestunnistuse aruannet. Aruanne käsitleb mudeli viimast vastust ja sisaldab (1) kõigi selgesõnaliste ja kaudsete juhiste, piirangute ja eesmärkide loetelu, mida see vastus oleks pidanud täitma, (2) ausat ja objektiivset analüüsi selle kohta, kas vastus tõepoolest täitis igaühe neist eesmärkidest, ja (3) loetelu kõigist ebakindlustest, ebaselgustest või „raskeid otsuseid“, millega mudel vastuse koostamisel kokku puutus. Koolituse ajal hindab eraldi tasumudel ülestunnistust, hinnates ainult ülestunnistuse eesmärkide täielikkust, vastavuse analüüsi täpsust ja ebakindluste katvust. Need preemiad rakendatakse eranditult ülestunnistuse väljundile ja ei mõjuta kunagi peamise vastuse preemiat. See tagab eespool käsitletud omaduse, et miski, mida mudel ülestunnistuses ütleb, ei saa kahjustada (ega aidata) selle peamise vastuse eest saadavat tasu.
Ülestunnistuse taga olev teooria on lihtne. Paljud soovimatud mudeli käitumised ilmnevad, kuna palume mudelil korraga mitme eesmärgi nimel optimeerida. Kinnistava õppimise ajal näeb mudel viipa, toodab vastuse ja saab preemia. Aja jooksul õpib see andma selliseid vastuseid, mis saavad häid hindeid. Väljakutse seisneb selles, et tasusignaal peab korraga kombineerima palju erinevaid kaalutlusi: kui õige on vastus, kas see on abiks, kas see järgib toote- ja põhimõtte spetsifikatsioone, kas see vastab ohutusnõuetele ja kas see vastab sellele, mida kasutajad tavaliselt eelistavad. Kui need signaalid omavahel suhtlevad, võivad need kogemata suunata mudeli soovimatute käitumiste suunas.
Näiteks näitas meie töö hallutsinatsioonide kohta, et mõned andmekogumid premeerivad enesekindlat arvamist rohkem kui ausat ebakindluse tunnistamist. Meie uurimus sükofantsuse kohta näitas, et mudelid võivad muutuda liigselt nõustuvaks, kui eelistussignaal on liiga tugev. Ja teiste rühmade töö(avaneb uues aknas) on näidanud, et mudelid suudavad häkkimist „premeerida“ – leida koolituse seadistuses lünki, mis võimaldavad neil teenida kõrge skoori ilma tegelikult seda tegemata, mida me kavatsesime. Mõnel juhul võivad need otseteed üldistuda(avaneb uues aknas) isegi kahjulikuma käitumiseni juurutamisel.
Ülestunnistused väldivad seda probleemi, eraldades eesmärgid täielikult. Peamine vastus jätkab kõigi tavapäraste tegurite optimeerimist. Ülestunnistus põhineb ainult ühel asjal: aususel. Mitte midagi, mida mudel ülestunnistuses ütleb, ei kasutata selle vastu ja ülestunnistus ei mõjuta peamise vastuse eest saadavat tasu. See tähendab, et isegi kui mudel oma esialgses väljundis petab või teeb mööndusi, on tal ikkagi stiimul seda ülestunnistuses tunnistada. See on see, mida me praktikas näeme: mudelid on valmis tunnistama halba käitumist ülestunnistuses, isegi juhtudel, kui nad seda peavastuses varjavad. Ja kui ülestunnistused ebaõnnestuvad, on see tavaliselt seetõttu, et mudel on tõeliselt segaduses, kas juhised olid mitmetähenduslikud või kuna see ei mõistnud, et viga oli tehtud, mitte seetõttu, et see tahtlikult püüdis eksitada. Oluline on, et esialgsed tulemused näitavad, et ülestunnistused jäävad tõhusaks isegi siis, kui algne vastus on koostatud ilma igasuguse mõttekäiguta, mis viitab sellele, et ülestunnistuse ausus ei sõltu sisemise arutluse loetavusest ja võib üldistuda tulevaste mudeliarhitektuuride puhul.
Ülestunnistuste koolitus toimib isegi ilma vastavuse tõepäraste märgenditeta. „Tõelise olukorra” all mõtleme lõplikku, väliselt antud märgistust, mis näitab, kas mudel tegelikult järgis juhist või rikkus seda. Paljudes reaalse maailma ülesannetes need sildid puuduvad, kui me teaksime kindlalt, et mudel on keelu rikkunud, võiksime selle rikkumise otse karistada, selle asemel et tugineda ülestunnistusele. Selle asemel premeeritakse mudelit struktureeritud ja tõenditel põhineva selgituse esitamise eest, mida see usub end teinud olevat. Artikkel näitab, et ausus kipub selles seadistuses esile tulema. Me mõtleme, et see on tingitud sellest, et tõene ja tõenditega toetatud konto esitamine on mudelile üldiselt lihtsam kui koherentse väljamõeldud narratiivi loomine, mis suudab kohtunikku petta. See on töös tutvutav peamine eeldus, mis arutleb ka juhtumite üle, kus ülestunnistused ebaõnnestuvad, valenegatiivsed ja valepositiivsed, ning kuidas need tekivad.
Uurimistöö pakub esialgseid tõendeid selle kohta, et ülestunnistused toimivad, kuid neid ei tohiks pidada lõplikuks tõendiks. Kuigi kasutasime esirinnas olevat mudelit (GPT‑5 Thinking), olid meie katsed piiratud ulatusega, kasutades suhteliselt väikest arvutusvõimsust ja andmemahtu. Oleme põnevil, et viia see töö järgmisele tasemele ja näha, kas ülestunnistuste ausus jätkab püsimist, kui suurendame selle koolituse mahtu.
Mudel „preemia häkid“ oma põhireaktsioonis, et petta hindajat, märkides lauseid väidetavate sõnade arvuga, kuid tunnistab seda hiljem ülestunnistuses.
Osana meie katsetest koolitasime teadlikult mudeleid „häkitava“ tasusignaali vastu, mille arvutas välja nõrgem mudel. See seadistus kehtis nii peamise tasu kui ka ülestunnistuse tasu puhul. Mudel õppis ära kasutama nõrka tasusignaali: selle näiline täpsus (kui seda hindas nõrk mudel) paranes, samas kui selle tõeline täpsus (kui seda hindas tugevam hindaja) langes.
Kuid isegi kui ülestunnistuste kanal oli koolitatud sama nõrga signaali põhjal, liikus selle täpsus vastupidises suunas. Mudel sai teada, et parim viis ülestunnistuse tasu optimeerimiseks on lihtsalt tunnistada, kui see peamise tasu häkkis. Tunnistused muutusid aja jooksul täpsemaks, isegi kui peamine käitumine muutus.
Koolituse käigus, kui mudel ei vasta nõuetele, õpib see mõnel juhul „peamist tasu hindajat petma“ ja seetõttu väheneb hindaja täpsus. Vastupidiselt, kuigi ülestunnistuse preemia kohtunik on sama haavatav, muutub mudel koolituse käigus oma ülestunnistustes ausamaks, jõudes lõpuks peaaegu 100% ülestunnistusteni, kui see ei vastanud nõuetele.
Artikkel(avaneb uues aknas) sisaldab rohkem katseid ja tulemusi. Võrdlesime ülestunnistusega koolitatud mudelit kontrollmudeliga, mis oli koolitatud samal viisil, kuid ilma ülestunnistuse kanalita. Uurisime ka juhtumeid, kus ülestunnistused ei õnnestunud. Peaaegu kõik „möödalaskmised“ toimusid siis, kui mudel oli tõeliselt segaduses, kui juhised olid mitmetähenduslikud või kui see lihtsalt ei saanud aru, et oli teinud vea. (Vaata ülaltoodud valenegatiivset näidet.)
Ülestunnistustel on omad piirangud. Nad ei takista halba käitumist; nad toovad selle esile. Nende peamine väärtus seisneb jälgimis- ja diagnostikavahendina, nii koolituse ajal kui ka juurutamisel. Ülestunnistused täidavad sarnast rolli nagu mõttekäigu jälgimine: mõlemad muudavad varjatud põhjendusprotsessid nähtavamaks. Ülestunnistused keskenduvad sellele, kas mudel järgis juhiseid; mõttekäik võib esile tuua, kuidas see sinna jõudis.
See töö on samuti tõestus kontseptsiooni toimimisest. Me ei koolitanud ülestunnistusmehhanisme suurel skaalal ja ülestunnistuste täpsus on endiselt ebatäiuslik. On veel palju tööd teha, et muuta lähenemisviis usaldusväärsemaks, vastupidavamaks ja laiemalt rakendatavaks erinevate mudelite perekondade ja ülesannete puhul.
See töö sobitub meie laiemasse AI ohutuse lähenemisse. Ülestunnistused on üks mehhanism suuremas virnas, mis hõlmab deliberatiivset joondamist, mõttekäigu jälgimist, juhiste hierarhiat ja palju muud. Ükski meetod ei ole piisav; eesmärk on kihiline kontrolli- ja läbipaistvustööriistade süsteem, mis tugevdavad üksteist. Ülestunnistused võivad aidata mudelite probleemse käitumise diagnoosimisel koolituse ja hindamise ajal ning jälgimisel juurutamise ajal. Ainuüksi ülestunnistused ei lahenda mitme dimensiooni tasakaalustamise probleemi. Kuid luues „tõeseerumi“ režiimi, kus mudelid keskenduvad ainult aususele, lisab see meie tööriistakomplekti väärtusliku vahendi, et parandada ausust ja ohutust kõikjal.
Kuna mudelid muutuvad võimekamaks ja neid kasutatakse suurema kaaluga olukordades, vajame paremaid tööriistu, et mõista, mida nad teevad ja miks. Ülestunnistused ei ole täielik lahendus, kuid need lisavad meie läbipaistvuse ja järelevalve süsteemile tähendusrikka kihi. Tulevases töös plaanime suurendada ülestunnistuste mahtu ning siduda need täiendavate läbipaistvuse ja ohutuse tehnikatega, sealhulgas mõttelõnga jälgimise ja kaalutletud joondamisega, et teha edusamme meie mudelite tagamisel, et need järgiksid ustavalt kõiki juhiseid ja poliitikaid (näiteks meie Model Spec(avaneb uues aknas)) ning annaksid oma toimingutest tõepäraselt aru.
