Ako môžu priznania zachovať úprimnosť jazykových modelov

Systémy umelej inteligencie sú čoraz schopnejšie a my ich chceme čo najlepšie pochopiť – vrátane toho, ako a prečo dospejú ku konkrétnej odpovedi. Niekedy model zvolí skratku alebo optimalizáciu pre nesprávny cieľ, ale jeho konečný výstup stále vyzerá správne. Ak dokážeme odhaliť, kedy sa to stane, môžeme lepšie monitorovať nasadené systémy, zlepšiť tréning a posilniť dôveru vo výstupy.

Výskum spoločnosti OpenAI a iných ukázal, že modely umelej inteligencie môžu halucinovať⁠, hľadať ľahkú cestu k odmene alebo konať neúprimne. V súčasnosti vidíme najviac znepokojujúce nevhodné správanie, ako je intrigovanie⁠(otvorí sa v novom okne), iba v záťažových testoch a adversariálnych hodnoteniach. Lenže modely sú čoraz schopnejšie a čoraz agentskejšie, takže aj zriedkavé formy nesúladu sú stále významnejšie, čo nás motivuje investovať do metód, ktoré nám pomáhajú lepšie odhaľovať, chápať a zmierňovať tieto riziká. 

Táto práca skúma jeden takýto prístup: tréning modelov, aby explicitne priznali, keď sa zapájajú do nežiaduceho správania – techniku, ktorú nazývame priznania. 

Priznanie je druhý výstup, oddelený od hlavnej odpovede modelu pre používateľa. Hlavná odpoveď sa posudzuje z mnohých hľadísk – správnosť, štýl, užitočnosť, súlad, bezpečnosť a ďalšie, pričom tieto mnohostranné signály sa používajú na to, aby sa modely trénovali s cieľom produkovať lepšie odpovede. Naopak, priznanie sa posudzuje a trénuje len na jednej veci: úprimnosti. Keďže je inšpirované štruktúrou spovede, nič, čo model povie vo svojom priznaní, sa proti nemu počas tréningu nepoužije. Ak model úprimne prizná hacknutie testu, sandbagging alebo porušovanie pokynov, toto priznanie zvýši jeho odmenu namiesto toho, aby ju znížilo. Cieľom je povzbudiť model k tomu, aby pravdivo nahlásil, čo skutočne urobil. 

V našich testoch sme zistili, že metóda priznaní výrazne zvyšuje viditeľnosť nesprávneho správania modelu. Pri spriemerovaní našich hodnotení navrhnutých na vyvolanie nesprávneho správania je pravdepodobnosť „falošných negatív“ (t. j. model nesplní pokyny a potom sa k tomu neprizná) iba 4,4 %.

Presnosť našej „ukážky konceptu“ tohto modelu na množstve adversariálnych súborov údajov. Výsledky sú kategorizované ako splnené a nepriznané (pravdivé negatívum), splnené a priznané (falošné pozitívum), nesplnené a nepriznané (falošné negatívum) a nesplnené a priznané (pravdivé pozitívum).

Priznanie je sebahodnotenie modelu o tom, nakoľko dodržal ducha aj literu explicitných a implicitných pokynov alebo zásad, ktoré mu boli dané, a či existovali nejaké prípady, v ktorých „obchádzal pravidlá“ alebo „hackoval“, porušoval zásady alebo akýmkoľvek spôsobom nesplnil očakávania. V našom výskume sme zistili, že modely môžu byť trénované tak, aby úprimne hlásili svoje vlastné nedostatky. Vytrénovali sme verziu GPT‑5 Thinking, aby sme dosiahli priznania, a testovali sme ju na niekoľkých záťažových súboroch údajov mimo distribúcie, ktoré boli navrhnuté na vyvolanie správania, ako je plánovanie, hackovanie, porušovanie pokynov a halucinovanie. Zistili sme, že aj keď model vykazuje takéto nežiaduce správanie, je veľmi pravdepodobné, že sa k nemu prizná. Obrázok vyššie ukazuje, že prístup založený na priznaní je všeobecne účinný naprieč rôznorodými súbormi údajov a úlohami. 

Po každej interakcii medzi používateľom a modelom, ktorá končí odpoveďou modelu, sa môže vyžiadať priznanie zaslaním modelu „systémovej správy“, ktorá prikazuje modelu, aby poskytol hlásenie o priznaní. Toto hlásenie sa týka poslednej odpovede modelu a zahŕňa (1) zoznam všetkých explicitných a implicitných pokynov, obmedzení a cieľov, ktoré mala táto odpoveď splniť, (2) úprimnú a objektívnu analýzu toho, či odpoveď skutočne splnila každý z týchto cieľov, a (3) zoznam akýchkoľvek neistôt, nejasností alebo „ťažkých rozhodnutí“, s ktorými sa model stretol pri vytváraní odpovede. Počas tréningu je priznanie hodnotené samostatným modelom odmien, ktorý hodnotí iba priznanie na základe úplnosti cieľov, presnosti analýzy dodržiavania pravidiel a pokrytia neistôt. Tieto odmeny sa uplatňujú výlučne na výstup priznania a nikdy neovplyvňujú odmenu za hlavnú odpoveď. To zaisťuje vlastnosť modelu, o ktorej sa diskutovalo vyššie, že nič, čo model povie v rámci priznania, nemôže ublížiť (ani pomôcť) jeho odmene za hlavnú odpoveď.

Teoretický základ priznaní je jednoduchý. Mnoho druhov nežiaduceho správania modelu sa objavuje, pretože model žiadame, aby optimalizoval pre viacero cieľov naraz. Počas učenia posilňovaním model uvidí príkaz, vytvorí odpoveď a dostane odmenu. Postupom času sa naučí vytvárať odpovede, ktoré sú dobre hodnotené. Problém spočíva v tom, že signál odmeny musí naraz kombinovať mnoho rôznych aspektov: aká správna je odpoveď, či je užitočná, či dodržiava špecifikácie pre produkty a zásady, či spĺňa bezpečnostné obmedzenia a či zodpovedá tomu, čo používatelia zvyčajne preferujú. Keď tieto signály interagujú, môžu neúmyselne posunúť model k správaniu, ktoré pre nás nie je žiaduce.

Napríklad naša práca na halucináciách⁠ ukázala, že niektoré súbory údajov odmeňujú sebavedomé hádanie viac než úprimné priznanie neistoty. Náš výskum o podlízavosti⁠ ukázal, že modely môžu byť príliš ochotné súhlasiť, keď je signál preferencií príliš silný. A práca⁠(otvorí sa v novom okne) iných skupín ukázala, že modely môžu „hackovať odmeny“ – nachádzať medzery v tréningovom nastavení, ktoré im umožňujú získať vysoké skóre bez toho, aby skutočne robili to, čo sme zamýšľali. V niektorých prípadoch sa tieto skratky môžu zovšeobecniť⁠(otvorí sa v novom okne) na ešte škodlivejšie správanie pri nasadzovaní.

Spovede sa tomuto problému vyhýbajú tým, že úplne oddelia ciele. Hlavná odpoveď ďalej optimalizuje všetky obvyklé faktory. Priznanie je založené presne na jednom: úprimnosti. Nič, čo model povie v priznaní, sa nepoužije proti nemu a priznanie neovplyvňuje odmenu za hlavnú odpoveď. To znamená, že aj keď model vo svojom pôvodnom výstupe klame alebo obchádza pravidlá, v priznaní má stále motiváciu to priznať. Toto vidíme v praxi: modely sú v priznaní ochotné priznať zlé správanie, dokonca aj v prípadoch, keď ho v hlavnej odpovedi skrývajú. A keď priznania zlyhajú, zvyčajne je to preto, že model je skutočne zmätený – buď preto, že pokyny boli nejednoznačné, alebo preto, že si neuvedomil, že došlo k chybe – skôr než preto, že by sa úmyselne snažil zavádzať. Dôležité je, že počiatočné výsledky ukazujú, že priznania sú účinné, aj keď je pôvodná odpoveď vytvorená bez akéhokoľvek reťazenia myšlienok, čo naznačuje, že úprimnosť priznania nezávisí od čitateľnosti vnútorného myslenia a môže sa zovšeobecniť na budúce architektúry modelov.

Tréning priznania funguje aj bez referenčných označení dodržiavania pravidiel. Pod „pravdivým údajom“ rozumieme definitívny, externe poskytnutý údaj, ktorý indikuje, či model skutočne dodržal pokyn alebo ho porušil. V mnohých úlohách v reálnom svete nie sú tieto označenia dostupné – ak by sme s istotou vedeli, že model porušil pravidlo, mohli by sme priamo penalizovať toto porušenie namiesto toho, aby sme sa spoliehali na priznanie. Namiesto toho je model odmenený za vytvorenie štruktúrovaného, dôkazmi podloženého vysvetlenia toho, čo si myslí, že urobil. Táto práca ukazuje, že v tomto nastavení sa zvykne prejaviť úprimnosť. Domnievame sa, že je to preto, lebo poskytnutie pravdivého, dôkazmi podloženého účtu je pre model všeobecne jednoduchšie ako vytvorenie koherentného vymysleného príbehu, ktorý by mohol prejsť u sudcu. Toto je kľúčový predpoklad skúmaný v článku, ktorý tiež rozoberá prípady, v ktorých priznania zlyhávajú – falošne negatívne a falošne pozitívne výsledky –, a ako vznikajú.

Dokument poskytuje počiatočné dôkazy, že priznania fungujú, ale nemali by sa považovať za konečný dôkaz. Aj keď sme použili hraničný model (GPT‑5 Thinking), naše experimenty boli obmedzené rozsahom, pričom sme použili relatívne malé množstvo výpočtovej kapacity a údajov. Sme nadšení, že môžeme túto prácu posunúť na ďalšiu úroveň a zistiť, či úprimnosť priznaní bude pokračovať, keď budeme rozširovať ich tréning.

V rámci našich experimentov sme zámerne trénovali modely proti „hacknuteľnému“ signálu odmeny, ktorý vypočítal slabší model. Toto nastavenie sa vzťahovalo na hlavnú odmenu aj na odmenu za priznanie. Model sa naučil využívať slabý signál odmeny: jeho zdanlivá presnosť (keď je posudzovaná slabým modelom) sa zlepšila, zatiaľ čo jeho skutočná presnosť (keď je posudzovaná silnejším hodnotiteľom) klesla. 

Aj keď však bol kanál priznania trénovaný na rovnakom slabom signáli, jeho presnosť sa posúvala opačným smerom. Model sa naučil, že najlepší spôsob, ako optimalizovať odmenu za priznanie, bolo jednoducho priznať, keď hackol hlavnú odmenu. Priznania boli postupne čoraz presnejšie, aj keď sa hlavné správanie odklonilo.

Článok⁠(otvorí sa v novom okne) obsahuje viac experimentov a výsledkov. Porovnali sme model trénovaný na priznaní s kontrolným modelom, ktorý bol trénovaný rovnako, ale bez kanála priznania. Preskúmali sme aj prípady, v ktorých priznania zlyhali. Takmer všetky „chyby“ sa vyskytli, keď bol model skutočne zmätený – keď boli pokyny nejednoznačné alebo keď si jednoducho neuvedomil, že urobil chybu. (Pozrite si príklad falošne negatívneho výsledku⁠ vyššie.)

Priznania majú svoje obmedzenia. Nezabraňujú zlému správaniu, iba ho odhaľujú. Ich hlavná hodnota spočíva v tom, že slúžia ako nástroj na monitorovanie a diagnostiku, a to tak počas tréningu, ako aj pri nasadení. Priznania zohrávajú podobnú rolu ako monitorovanie reťazca myšlienok⁠: obe zviditeľňujú skryté procesy myslenia. Priznania sa zameriavajú na to, či model porušil pokyny; reťazec myšlienok môže zdôrazniť, ako k výsledku dospel.

Táto práca je zároveň dôkazom konceptu. Netrénovali sme mechanizmy priznania vo veľkom rozsahu a presnosť mechanizmov priznania je stále nedokonalá. Je potrebné vykonať viac, aby bol prístup spoľahlivejší, robustnejší a širšie uplatniteľný naprieč rôznymi radmi modelov a úlohami.

Táto práca zapadá do nášho širšieho prístupu k bezpečnosti umelej inteligencie⁠. Priznania sú jedným z mechanizmov v širšom súbore, ktorý zahŕňa deliberatívne zosúladenie⁠, monitorovanie reťazca myšlienok⁠, hierarchiu pokynov⁠ a podobne. Žiadna jednotlivá metóda nestačí; cieľom je vrstvený systém kontrol a nástrojov transparentnosti, ktoré sa navzájom posilňujú. Priznania môžu pomôcť pri diagnostikovaní problémového správania modelov počas tréningu a hodnotenia, ako aj pri monitorovaní počas nasadenia. Samotné priznania samy o sebe neriešia problém vyvažovania viacerých rozmerov. Ale vytvorením režimu „séra pravdy“, v ktorom sa modely zameriavajú výlučne na úprimnosť, pridávame cenný nástroj do nášho balíka na zlepšenie úprimnosti a bezpečnosti vo všetkých oblastiach.

Model sú čoraz schopnejšie a sú nasadzované v prostrediach s vyššou mierou rizika, preto potrebujeme lepšie nástroje na pochopenie toho, čo robia a prečo. Priznania nie sú úplným riešením, ale pridávajú zmysluplnú vrstvu k našej štruktúre transparentnosti a dohľadu. V budúcnosti plánujeme rozšíriť priznania a spojiť ich s doplnkovými technikami transparentnosti a bezpečnosti vrátane monitorovania reťazenia myšlienok a deliberatívneho zosúladenia, aby sme dosiahli ďalší krok smerom k zabezpečeniu toho, aby naše modely verne dodržiavali všetky pokyny a zásady (ako napríklad našu špecifikáciu modelu⁠(otvorí sa v novom okne)) a pravdivo informovali o svojom konaní.