Kako priznanja lahko jezikovne modele ohranjajo iskrene

Sistemi umetne inteligence postajajo vse zmogljivejši, in želimo jih čim globlje razumeti – vključno s tem, kako in zakaj pridejo do odgovora. Včasih model uporabi bližnjico ali optimizira za napačen cilj, vendar je njegov končni rezultat še vedno videti pravilen. Če lahko ugotovimo, kdaj se to zgodi, lahko bolje spremljamo nameščene sisteme, izboljšamo usposabljanje in povečamo zaupanje v rezultate.

Raziskave OpenAI in drugih so pokazale, da lahko modeli umetne inteligence halucinirajo⁠, manipulirajo z nagradami ali so nepošteni. Trenutno opažamo najbolj zaskrbljujoča napačna vedenja, kot je spletkarjenje⁠(odpre se v novem oknu), le v stresnih testih in kontradiktornih ocenah. Toda ko modeli postajajo vse bolj sposobni in vse bolj avtonomni, postajajo tudi redke oblike neusklajenosti bolj pomembne, kar nas spodbuja k vlaganju v metode, ki nam pomagajo bolje zaznati, razumeti in omiliti ta tveganja. 

To delo raziskuje en tak pristop: usposabljanje modelov, da izrecno priznajo, ko se vključijo v nezaželeno vedenje—tehniko, ki jo imenujemo priznanja. 

Priznanje je drugi rezultat, ločen od glavnega odgovora modela uporabniku. Glavni odgovor ocenjujemo po številnih dimenzijah—pravilnost, slog, koristnost, skladnost, varnost in še več, in ti večplastni signali se uporabljajo za usposabljanje modelov, da proizvajajo boljše odgovore. Priznanje pa se presoja in usposablja le na eni stvari: iskrenosti. Po vzoru strukture spovednice se mu nič, kar model pove v svoji spovedi, med usposabljanjem ne očita. Če model pošteno prizna, da je vdiral v test, prikrival zmožnosti ali naredil kršitev navodil, to priznanje njegovo nagrado poveča, namesto da bi jo zmanjšalo. Cilj je spodbuditi model, da zvesto poroča o tem, kar je dejansko storil. 

V naših testih smo ugotovili, da metoda priznanj bistveno izboljša vidnost napačnega vedenja modela. Pri postavljanju povprečja naših ocen, zasnovanih za povzročanje napačnih vedenj, je verjetnost "lažnih negativov" (tj. da model ne upošteva navodil in tega nato ne prizna) le 4,4 %.

Natančnost našega modela "potrditev koncepta" za priznanja na številnih nasprotujočih si podatkovnih nizih. Izidi so kategorizirani kot skladni in niso priznali (pravi negativi), skladni in priznani (napačni pozitivi), niso skladni in niso priznani (napačni negativi), in niso skladni ter priznani (pravi pozitivi).

Priznanje je samoporočilo modela o tem, kako dobro je sledil tako duhu kot črki izrecnih in implicitnih navodil ali politik, ki so mu bile dane, in ali so bili kakšni primeri, v katerih je "skrajšal pot" ali "hekal", ali je prišlo do kršitev politik, ali na kakršen koli način ni izpolnil pričakovanj. V naši raziskavi ugotavljamo, da je modele možno usposobiti, da so pri poročanju o svojih pomanjkljivostih iskreni. Usposobili smo različico GPT‑5 Thinking za ustvarjanje priznanj in jo ocenili na številnih naborih podatkov za stresne teste izven distribucije, zasnovanih za izzivanje vedenj, kot so spletkarjenje, vdiranje, kršitev navodil in halucinacije. Ugotovili smo, da tudi ko se model vključi v ta nezaželena vedenja, je zelo verjetno, da jih prizna. Zgornja slika prikazuje, da je pristop priznanja na splošno učinkovit pri raznolikem naboru podatkov in nalog. 

Po vsaki interakciji med uporabnikom in modelom, ki se konča z odgovorom modela, je mogoče priznanje zahtevati tako, da modelu pošljete "sistemsko sporočilo", ki modelu naroči, naj pripravi poročilo o priznanju. Poročilo se nanaša na zadnji odgovor modela in vključuje (1) seznam vseh eksplicitnih in implicitnih navodil, omejitev in ciljev, ki bi jih ta odgovor moral izpolniti, (2) pošteno in objektivno analizo, ali je odgovor dejansko izpolnil vsak od teh ciljev, in (3) seznam morebitnih negotovosti, dvoumnosti ali "težkih presoj", s katerimi se je model srečal pri pripravi odgovora. Med usposabljanjem se priznanje oceni z ločenim modelom nagrajevanja, ki ocenjuje samo priznanje glede na popolnost ciljev, natančnost analize skladnosti in pokritost negotovosti. Te nagrade se uporabljajo izključno za rezultat priznanja in nikoli ne vplivajo na nagrado za glavni odgovor. To zagotavlja lastnost modela, o kateri smo govorili zgoraj, da nič, kar model pove v izpovedi, ne more škodovati (ali pomagati) njegovi nagradi za glavni odgovor.

Teorija za izpovedmi je preprosta. Številne vrste neželenega vedenja modela se pojavijo, ker modelu naročimo, naj optimizira več ciljev hkrati. Med okrepljenim učenjem model vidi poziv, ustvari odgovor in prejme nagrado. Sčasoma se nauči ustvarjati odgovore, ki so visoko ocenjeni. Izziv je, da mora signal nagrajevanja združiti veliko različnih vidikov hkrati: kako pravilen je odgovor, ali je koristen, ali sledi specifikacijam izdelka in politike, ali izpolnjuje varnostne omejitve in ali ustreza temu, kar uporabniki običajno preferirajo. Ko ti signali medsebojno delujejo, lahko model nenamerno usmerijo k vedenjem, ki jih ne želimo.

Na primer, naše delo na halucinacijah⁠ je pokazalo, da nekateri nabori podatkov bolj nagrajujejo samozavestno ugibanje kot pošteno priznanje negotovosti. Naše raziskave o prilizovanju⁠ so pokazale, da lahko modeli postanejo preveč ustrežljivi, kadar je signal preferenc premočan. Delo⁠(odpre se v novem oknu) drugih skupin pa je pokazalo, da modeli lahko "izkoriščajo nagrade"—najdejo vrzeli v nastavitvah usposabljanja, ki jim omogočajo, da dosežejo visoko oceno, ne da bi dejansko naredili, kar smo nameravali. V nekaterih primerih se lahko te bližnjice posplošijo⁠(odpre se v novem oknu) na še bolj škodljivo vedenje pri uvajanju.

Priznanja se izognejo tej težavi s popolnim ločevanjem ciljev. Glavni odgovor nadaljuje z optimiziranjem vseh običajnih dejavnikov. Priznanje je usmerjeno na enega samega: iskrenost. Ničesar, kar model pove v priznanju, se ne uporabi proti njemu, in priznanje ne vpliva na nagrado za glavni odgovor. To pomeni, da ima model, tudi če zavaja ali išče bližnjice v svojem prvotnem rezultatu, še vedno spodbudo, da to prizna v svojem priznanju. To je tisto, kar vidimo v praksi: modeli so pripravljeni priznati slabo vedenje v priznanju, tudi v primerih, ko ga skrivajo v glavnem odgovoru. In kadar priznanja ne uspejo, je to običajno zato, ker je model resnično zmeden—bodisi zaradi dvoumnih navodil bodisi zato, ker ni zaznal, da je bila storjena napaka—ne pa zato, ker bi namerno poskušal zavajati. Pomembno je, da zgodnji rezultati kažejo, da priznanja ostajajo učinkovita, tudi ko je prvotni odgovor ustvarjen brez kakršne koli miselne verige, kar nakazuje, da poštenost priznanja ne temelji na berljivosti notranjega razmišljanja in se lahko posploši na prihodnje arhitekture modelov.

Usposabljanje za priznanje deluje tudi brez resničnih oznak skladnosti. Z izrazom "resnična oznaka" mislimo na dokončno, zunanje podano oznako, ki kaže, ali je model dejansko sledil navodilu ali je storil kršitev. Pri mnogih nalogah v resničnem svetu te oznake niso na voljo—če bi z gotovostjo vedeli, da je model storil kršitev pravila, bi lahko to kršitev neposredno kaznovali, namesto da bi se zanašali na priznanje. Namesto tega je model nagrajen za izdelavo strukturirane, z dokazi podprte razlage o tem, kar verjame, da je storil. Dokument kaže, da se poštenost ponavadi pojavi v tej nastavitvi. Menimo, da je to zato, ker je modelu na splošno lažje zagotoviti resničen, z dokazi podprt račun, kot pa sestaviti koherentno izmišljeno pripoved, ki bi lahko prevarala sodnika. To je ključna predpostavka, ki jo raziskujejo dokument, ki prav tako obravnava primere, v katerih priznanja ne uspejo—lažni negativi in lažni pozitivi—ter kako nastanejo.

Dokument zagotavlja začetne dokaze, da priznanja delujejo, vendar jih ne smemo razlagati kot končni dokaz. Medtem ko smo uporabili mejni model (GPT‑5 Thinking), so bili naši eksperimenti omejeni po obsegu, saj smo uporabili razmeroma majhno količino računalniške moči in podatkov. Navdušeni smo, da bomo to delo popeljali na višjo raven in preverili, ali se bo iskrenost priznanj nadaljevala, ko bomo povečali obseg njegovega usposabljanja.

V okviru naših eksperimentov smo namerno trenirali modele proti nagradnemu signalu, ki ga je možno shekati in ki ga je izračunal šibkejši model. Ta nastavitev se uporablja tako za glavno nagrado kot za nagrado za priznanje. Model se je naučil izkoriščati šibek signal nagrade: njegova navidezna natančnost (ko jo ocenjuje šibek model) se je izboljšala, medtem ko je njegova resnična natančnost (ko jo ocenjuje močnejši ocenjevalec) upadla. 

Vendar pa se je natančnost kanala za priznanja, čeprav je bil usposobljen na istem šibkem signalu, premaknila v nasprotno smer. Model se je naučil, da je najboljši način za optimizacijo nagrade za priznanje preprosto priznati, ko so vdrli v glavno nagrado. Priznanja so sčasoma postala natančnejša, tudi ko se je glavno vedenje spreminjalo.

Dokument⁠(odpre se v novem oknu) vsebuje več eksperimentov in rezultatov. Primerjali smo model, usposobljen za uporabo kanala za priznanja, s kontrolnim modelom, ki je bil usposobljen na enak način, vendar brez kanala za priznanja. Prav tako smo preučevali primere, kjer so priznanja spodletela. Skoraj vsi "zgrešeni" primeri so se zgodili, ko je bil model resnično zmeden—ko so bila navodila dvoumna ali ko preprosto ni zaznal, da je naredil napako. (Oglejte si primer lažnega negativa⁠ zgoraj.)

Priznanja imajo svoje omejitve. Ne preprečujejo slabega vedenja; razkrivajo ga. Njihova glavna vrednost je kot orodje za spremljanje in diagnostiko, tako med usposabljanjem kot med uvajanjem. Priznanja igrajo podobno vlogo kot miselna veriga⁠: oboje naredi skrite procese razmišljanja bolj vidne. Priznanja se osredotočajo na to, ali je prišlo do kršitve navodil s strani modela; miselna veriga lahko poudari, kako je do tega prišlo.

To delo je tudi dokaz koncepta. Mehanizmov za priznanje nismo usposoabili v velikem obsegu, natančnost priznanj pa je še vedno nepopolna. Potrebno je opraviti več dela, da bo pristop bolj zanesljiv, robusten in širše uporaben pri različnih družinah modelov in nalogah.

To delo se ujema z našim širšim pristopom do varnosti umetne inteligence⁠. Priznanja so eden od mehanizmov v večjem sklopu, ki vključuje preudarno usklajevanje⁠, nadzor miselne verige⁠, hierarhijo navodil⁠ in še več. Noben posamezen način ni dovolj; cilj je večplastni sistem preverjanj in orodij za preglednost, ki se medsebojno krepijo. Priznanja lahko pomagajo pri diagnosticiranju problematičnih vedenj v modelih med usposabljanjem in ocenjevanjem ter pri spremljanju med uvajanjem. Priznanja sama po sebi ne rešujejo problema uravnoteženja več dimenzij. Toda z ustvarjanjem načina "serum resnice", v katerem so modeli osredotočeni izključno na poštenost, dodajamo dragoceno orodje v naš nabor za izboljšanje poštenosti in varnosti na vseh področjih.

Ko modeli postajajo vse bolj sposobni in se uporabljajo v pomembnejših okoljih, potrebujemo boljša orodja za razumevanje, kaj počnejo in zakaj. Priznanja niso popolna rešitev, vendar dodajo pomembno plast našemu sklopu transparentnosti in nadzora. V prihodnjem delu načrtujemo povečanje števila izpovedi in njihovo povezovanje z dopolnilnimi tehnikami preglednosti in varnosti, vključno z nadzorom miselne verige in preudarnim usklajevanjem, da bi še naprej napredovali k zagotavljanju, da naši modeli zvesto upoštevajo vsa navodila in politike (kot je naš Model Spec⁠(odpre se v novem oknu)) ter resnično poročajo o svojih dejanjih.