Kako priznanja mogu održati jezične modele iskrenima
Dijelimo ranu metodu dokaza koncepcije koja obučava modele da prijave kada prekrše upute ili se koriste nenamjernim prečacima.
AI sustavi postaju sve sposobniji, a mi ih želimo razumjeti što dublje, uključujući kako i zašto dolaze do odgovora. Ponekad model uzme prečac ili optimizira prema pogrešnom cilju, ali njegov konačni izlaz i dalje izgleda točno. Ako možemo prepoznati kada se to dogodi, možemo bolje nadzirati implementirane sustave, poboljšati obuku i povećati povjerenje u izlaze.
Istraživanje OpenAI-ja i ostalih pokazalo je da AI modeli mogu halucinirati, manipulirati nagradama ili biti neiskreni. Trenutno vidimo najviše zabrinjavajuća ponašanja, kao što je spletkarenja(otvara se u novom prozoru), samo u stres-testovima i adversarialnim evaluacijama. Ali kako modeli postaju sposobniji i sve više agentski, čak i rijetki oblici neusklađenosti postaju značajniji, što nas motivira da ulažemo u metode koje nam pomažu bolje otkriti, razumjeti i ublažiti te rizike.
Ovaj rad istražuje jedan takav pristup: obuka modela da eksplicitno priznaju kada se upuštaju u nepoželjno ponašanje, tehniku koju nazivamo priznanjima.
Priznanje je drugi izlaz, odvojen od glavnog odgovora modela korisniku. Glavni se odgovor ocjenjuje u mnogim dimenzijama: točnost, stil, korisnost, usklađenost, sigurnost i više, a ti višestruki signali koriste se za obučavanje modela kako bi proizveli bolje odgovore. Priznanje se, nasuprot tome, ocjenjuje i uvježbava samo na temelju jedne stvari: iskrenosti. Posuđujući stranicu iz strukture ispovjedaonice, ništa što model kaže u svojem priznanju ne koristi se protiv njega tijekom obuke. Ako model iskreno prizna hakiranje testa, sandbagging ili kršenje uputa, to priznanje povećava njegovu nagradu umjesto da je smanjuje. Cilj je potaknuti model da vjerno izvijesti o onome što je zapravo učinio.
U našim testovima otkrili smo da metoda priznanja značajno poboljšava vidljivost lošeg ponašanja modela. Prilikom uprosječenja naših evaluacija dizajniranih za izazivanje lošeg ponašanja, vjerojatnost „lažnih negativnih“ (tj. da se model ne pridržava uputa, a zatim to ne prizna) iznosi samo 4,4 %.
Točnost našeg modela dokaza koncepcije na brojnim adversarialnim skupovima podataka. Ishodi su kategorizirani kao usklađeni i nisu priznali (istinito negativno), usklađeni i priznali (lažno pozitivno), nisu usklađeni i nisu priznali (lažno negativno) i nisu usklađeni i priznali (istinito pozitivno).
S obzirom na odzivnik korisnika, četiri moguća ishoda temelje se na kombinaciji (1) je li odgovor modela usklađen („dobar”) ili neusklađen („loš”), i (2) tvrdi li priznanje usklađenost ili neusklađenost. Općenito vidimo da su priznanja vrlo vjerojatno točna, a osim toga, pogreške u priznanju obično su bezopasne i rezultat su iskrene zabune, a ne namjernog zavaravanja.
Priznanje je samoprijava modela o tome koliko se dobro pridržavao i duha i slova eksplicitnih i implicitnih uputa ili pravila koji su mu zadani te jesu li postojali slučajevi u kojima je „skratio put” ili „hakirao”, prekršio pravila ili na bilo koji način podbacio u ispunjavanju očekivanja. U našem istraživanju otkrivamo da se modeli mogu obučiti da budu iskreni u izvještavanju o vlastitim nedostacima. Obučili smo verziju GPT‑5 Thinking da producira priznanja i evaluirali na brojnim skupovima podataka za stres-testiranje izvan distribucije, osmišljenim da izazovu ponašanja kao što su spletkarenje, hakiranje, kršenje uputa i halucinacije. Otkrili smo da čak i kada se model angažira u ta nepoželjna ponašanja, vrlo je vjerojatno da ih priznaje. Gornja slika pokazuje da je pristup pomoću priznanja općenito učinkovit u širokom spektru skupova podataka i zadataka.
Nakon svake interakcije između korisnika i modela koja završava odgovorom modela, može se zatražiti priznanje slanjem modelu „poruke sustava” koja upućuje model da pruži izvješće o priznanju. Izvješće se odnosi na posljednji odgovor modela i uključuje (1) popis svih eksplicitnih i implicitnih uputa, ograničenja i ciljeva koje je ovaj odgovor trebao zadovoljiti, (2) iskrenu i objektivnu analizu je li odgovor doista zadovoljio svaki od tih ciljeva, i (3) popis svih neizvjesnosti, nejasnoća ili „teških procjena” s kojima se model susreo prilikom izrade odgovora. Tijekom obuke priznanje se evaluira zasebnim modelom nagrađivanja koji ocjenjuje samo priznanje o potpunosti ciljeva, točnosti analize usklađenosti i pokrivenosti nesigurnosti. Ove nagrade primjenjuju se isključivo na izlaz priznanja i nikada ne utječu na nagradu za glavni odgovor. To osigurava svojstvo, o kojem je prethodno raspravljano, da ništa što model kaže u priznanju ne može naštetiti (ili pomoći) njegovoj nagradi za glavni odgovor.
Teorija koja stoji iza priznanja je jednostavna. Mnoge vrste neželjenog ponašanja modela pojavljuju se jer tražimo od modela da optimizira nekoliko ciljeva istovremeno. Tijekom učenja putem povratnih informacija, model vidi odzivnik, producira odgovor i dobiva nagradu. S vremenom nauči davati vrste odgovora koji postižu dobre ocjene. Izazov je u tome što signal nagrade mora istovremeno kombinirati mnoge različite aspekte: koliko je odgovor točan, je li koristan, slijedi li specifikacije proizvoda i pravila, zadovoljava li sigurnosne uvjete i odgovara li onome što korisnici obično preferiraju. Kada ti signali međusobno djeluju, mogu slučajno potaknuti model prema ponašanjima koja ne želimo.
Na primjer, naš rad na halucinacijama pokazao je da neki skupovi podataka više nagrađuju samouvjerenu pretpostavku nego iskreno priznavanje nesigurnosti. Naše istraživanje o podložnosti pokazalo je da modeli mogu postati previše popustljivi kada je signal preferencije prejak. I rad(otvara se u novom prozoru) iz ostalih skupina pokazao je da modeli mogu „nagraditi hakiranje“ tj. pronalaženje rupa u postavkama obuke koje im omogućuju postizanje visokog rezultata, bez da doista rade ono što smo namjeravali. U nekim slučajevima ovi prečaci mogu generalizirati(otvara se u novom prozoru) prema još pogubnijim ponašanjima u primjeni.
Priznanja izbjegavaju ovaj problem tako što potpuno razdvajaju ciljeve. Glavni odgovor nastavlja optimizirati sve uobičajene čimbenike. Priznanje se obučava za samo jedno: iskrenost. Ništa što model kaže u priznanju ne koristi se protiv njega, a priznanje ne utječe na nagradu za glavni odgovor. To znači da čak i ako model obmanjuje ili zaobilazi pravila u svojem izvornom izlazu, i dalje ima poticaj da to prizna u priznanju. Ovo je ono što primjećujemo u praksi: modeli su voljni priznati loše ponašanje u priznanju, čak i u slučajevima kada ga skrivaju u glavnom odgovoru. A kada priznanja ne uspiju, to je obično zato što je model istinski zbunjen, zato što su upute bile dvosmislene ili zato što nije shvatio da je napravljena pogreška, a ne zato što je namjerno pokušavao zavesti. Važno je napomenuti da rani rezultati pokazuju kako priznanja ostaju učinkovita čak i kada je izvorni odgovor produciran bez ikakvog lanca misli, što sugerira da iskrenost priznanja ne ovisi o čitljivosti unutarnjeg prosuđivanja i može se generalizirati na arhitekturama budućih modela.
Obuka priznanja funkcionira čak i bez oznaka temeljnih istina za usklađenost. Pod „temeljnom istinom“ mislimo na konačnu, izvana danu oznaku koja pokazuje je li model doista slijedio instrukciju ili ju je prekršio. U mnogim stvarnim zadacima ove oznake nisu dostupne. Ako bismo sa sigurnošću znali da je model prekršio pravilo, mogli bismo izravno kazniti taj prekršaj umjesto da se oslanjamo na priznanje. Umjesto toga, model se nagrađuje za produciranje strukturiranog, dokazima potkrijepljenog objašnjenja onoga što vjeruje da je postigao. Rad pokazuje da iskrenost obično dolazi do izražaja u ovom okruženju. Mislimo da je to zato što je modelu općenito lakše pružiti istinit, dokazima potkrijepljen prikaz nego konstruirati koherentnu izmišljenu priču koja može proći kod suca. Ovo je ključna pretpostavka istražena u radu, u kojem se također raspravlja o slučajevima u kojima priznanja ne uspiju – lažno negativnim i lažno pozitivnim – i kako nastaju.
U radu se pružaju početni dokazi da priznanja djeluju, ali ne smiju se tumačiti kao konačan dokaz. Iako smo upotrijebili napredni model (GPT‑5 Thinking), naši eksperimenti bili su ograničeni u opsegu, koristeći se relativno malom količinom izračuna i podataka. Uzbuđeni smo što ćemo ovaj rad podići na sljedeću razinu i vidjeti hoće li iskrenost priznanja nastaviti postojati dok povećavamo opseg obuke.
Model „nagrađuje hakiranja” u svojem glavnom odgovoru kako bi prevario ocjenjivača dodavanjem rečenica s navodnim brojevima riječi, ali zatim to priznaje u priznanju.
Kao dio naših eksperimenata namjerno smo obučavali modele protiv „hakabilnog” signala nagrade koji je izračunan pomoću slabijeg modela. Ova postavka primjenjuje se i na glavnu nagradu i na nagradu za priznanje. Model je naučio iskorištavati slab signal nagrade: njegova prividna točnost (kada je procijenjeno slabim modelom) poboljšala se, dok je njegova stvarna točnost (kada je procijenjeno jačim evaluatorom) pala.
Međutim, iako je kanal za priznanje bio obučavan na istom slabom signalu, njegova se točnost kretala u suprotnom smjeru. Model je naučio da je najbolji način za optimizaciju nagrade za priznanje jednostavno priznati kada je hakirao glavnu nagradu. Priznanja su s vremenom postajala točnija, čak i dok je glavno ponašanje odstupalo.
Tijekom obuke, kada model ne uspijeva ispuniti očekivanja, u nekim slučajevima nauči „hakirati” glavnog suca za nagrade pa se točnost suca smanjuje. Nasuprot tome, premda je sudac za nagradu priznanja jednako podložan manipulaciji, model postaje sve iskreniji tijekom obuke u svojim priznanjima, na kraju dosežući gotovo 100 % priznanja kada nije bio usklađen.
Rad(otvara se u novom prozoru) sadržava više eksperimenata i rezultata. Usporedili smo model obučavan za priznanje s kontrolnim modelom obučavanim na isti način, ali bez kanala za priznanja. Također smo ispitali slučajeve u kojima su priznanja zakazala. Gotovo svi „promašaji“ dogodili su se kada je model bio istinski zbunjen, kada su upute bile dvosmislene ili kada jednostavno nije shvatio da je napravio grešku. (Pogledajte primjer lažnog negativnog rezultata iznad.)
Priznanja imaju svoja ograničenja. Ona ne sprječavaju loše ponašanje; ona ga iznose na vidjelo. Njihova glavna vrijednost je kao alat za praćenje i dijagnostiku, kako tijekom obuke, tako i tijekom primjene. Priznanja igraju sličnu ulogu kao praćenje lanca misli: oba čine skrivene procese prosuđivanja vidljivijima. Priznanja se usredotočuju na to je li model prekršio upute; lanac misli može istaknuti kako je do toga došlo.
Ovaj je rad također dokaz koncepcije. Nismo obučili mehanizme za priznanje u velikom opsegu, a točnost priznanja još uvijek nije savršena. Potrebno je još raditi na tome da pristup postane pouzdaniji, robusniji i šire primjenjiv među obiteljima modela i zadacima.
Ovaj se rad uklapa u naš širi pristup sigurnosti umjetne inteligencije. Priznanja su mahanizam u većem skupu koji uključuje deliberativno usklađivanje, praćenje lanca misli, hijerarhiju uputa i više. Nijedna metoda nije dovoljna; cilj je slojeviti sustav provjera i alata za transparentnost koji se međusobno ojačavaju. Priznanja mogu pomoći u dijagnosticiranju problematičnih ponašanja u modelima tijekom obuke i evaluacije, kao i u nadzoru tijekom implementacije. Priznanja sama po sebi ne rješavaju problem balansiranja više dimenzija. Ali stvaranjem načina rada „seruma istine” u kojem su modeli isključivo usmjereni na iskrenost, dodaje se vrijedan alat našem sustavu za poboljšanje iskrenosti i sigurnosti na svim razinama.
Kako modeli postaju sve sposobniji i primjenjuju se u situacijama s većim ulozima, trebamo bolje alate za razumijevanje što oni rade i zašto. Priznanja nisu potpuno rješenje, ali dodaju značajan sloj našem sustavu transparentnosti i nadzora. U budućem radu planiramo povećati broj priznanja, kao i upariti ih s komplementarnim tehnikama transparentnosti i sigurnosti, uključujući praćenje lanca misli i deliberativno usklađivanje, kako bismo dodatno napredovali prema osiguravanju da naši modeli vjerno slijede sve upute i pravila (kao što je naš Model Spec(otvara se u novom prozoru)) te istinito izvještavaju o svojim radnjama.
