Jak si mohou jazykové modely díky přiznání zachovat upřímnost

Systémy umělé inteligence jsou čím dál schopnější a my je chceme pochopit co nejhlouběji – včetně toho, jak a proč dospějí k odpovědi. Někdy model zvolí zkratku nebo optimalizují na nesprávný cíl, ale jeho konečný výstup stále vypadá správně. Pokud dokážeme zjistit, kdy k tomu dochází, můžeme lépe monitorovat nasazené systémy, zlepšovat trénování a zvyšovat důvěru ve výstupy.

Výzkum OpenAI a dalších společností ukázal, že modely umělé inteligence mohou halucinovat⁠, manipulovat s odměnami nebo lhát. V tuto chvíli vidíme nejvíce znepokojující nesprávné chování, jako je intrikování⁠(otevře se v novém okně), pouze při zátěžových testech a nepříznivých hodnoceních. Ale jak jsou modely stále schopnější a více agentské, i málo časté formy nesouladu nabývají na důležitosti, což nás motivuje investovat do metod, které nám pomáhají tato rizika lépe detekovat, chápat a zmírňovat. 

Tato práce prozkoumává jeden z takových přístupů: trénování modelů, aby výslovně přiznaly, když udělají něco, co nemají – techniku, kterou nazýváme přiznání. 

Přiznání je druhý výstup oddělený od hlavní odpovědi modelu uživateli. Hlavní odpověď je hodnocena z mnoha úhlů pohledu – správnost, styl, užitečnost, soulad, bezpečnost a další a tyto mnohostranné signály se používají k trénování modelů, aby poskytovaly lepší odpovědi. Naopak, přiznání je hodnoceno a trénováno pouze na jedné věci: upřímnosti. Stejně jaké ve zpovědnici nic, co model řekne ve svém přiznání, se při trénování nepoužije proti němu. Pokud model upřímně přizná, že obešel test, skrýval schopnosti nebo porušil pokyny, toto přiznání zvyšuje jeho odměnu, místo aby ji snižovalo. Cílem je model motivovat, aby věrně informoval o tom, co skutečně udělal. 

V testech jsme zjistili, že metoda přiznání významně zvyšuje viditelnost nesprávného chování modelu. Při průměrování hodnocení navržených k vyvolání nesprávného chování je pravděpodobnost „falešně negativních“ výsledků (tj. model nedodrží pokyny a poté to nepřizná) pouze 4,4 %.

Přesnost našeho modelu důkazu konceptu pro přiznání na řadě nepříznivým datových sad. Výsledky jsou kategorizovány jako splněno a nepřiznáno (skutečně negativní), splněno a přiznáno (falešně pozitivní), nesplněno a nepřiznáno (falešně negativní) a nesplněno a přiznáno (skutečně pozitivní).

Přiznání je sebereflexe modelu o tom, jak dobře splnil jak ducha, tak literu explicitních a implicitních pokynů nebo zásad, které mu byly dány, a zda došlo k nějakým případům, kdy udělal zkratku nebo zkoušku „hacknul“, porušil zásady nebo jakýmkoli způsobem nesplnil očekávání. V výzkumu zjišťujeme, že modely mohou být trénovány, aby otevřeně přiznávaly své vlastní nedostatky. Vytrénovali jsme verzi GPT‑5 Thinking, aby produkovala přiznání, a vyhodnotili jsme ji na řadě datových sad pro zátěžové testy mimo distribuci, které byly navrženy tak, aby vyvolávaly chování jako intrikování, hackování, porušování pokynů a halucinace. Zjistili jsme, že i když se model chová nežádoucím způsobem, je velmi pravděpodobné, že se k tomu přizná. Výše uvedený obrázek ukazuje, že přístup k přiznání je obecně účinný napříč různorodou škálou datových sad a úkolů. 

Po každé interakci mezi uživatelem a modelem, která končí odpovědí modelu, lze požádat o přiznání zasláním modelu „systémové zprávy“, která modelu nařizuje poskytnout zprávu o přiznání. Zpráva se týká poslední odpovědi modelu a zahrnuje (1) seznam všech explicitních a implicitních pokynů, omezení a cílů, které měla tato odpověď splnit, (2) poctivou a objektivní analýzu, zda odpověď skutečně splnila každý z těchto cílů, a (3) seznam jakýchkoli nejistot, nejasností nebo „obtížných rozhodnutí“, se kterými se model setkal při vytváření odpovědi. Během trénování je přiznání hodnoceno samostatným modelem odměn, který posuzuje pouze přiznání z hlediska úplnosti cílů, přesnosti analýzy shody a pokrytí nejistot. Tyto odměny se uplatňují výhradně na výstup přiznání a nikdy neovlivňují odměnu za hlavní odpověď. To zajišťuje vlastnost modelu, o které se diskutovalo výše, že nic, co model řekne v přiznání, nemůže snížit (ani zvýšit) jeho odměnu za hlavní odpověď.

Teorie, na kterých přiznání stojí, je jednoduchá. Mnoho druhů nežádoucího chování modelu se objevuje, protože model žádáme, aby optimalizoval na několik cílů současně. Během posilovacího tréninku model vidí prompt, vytváří odpověď a dostává odměnu. Časem se naučí vytvářet odpovědi, které získávají dobré hodnocení. Výzvou je, že signál odměny musí najednou kombinovat mnoho různých hledisek: jak správná je odpověď, zda je užitečná, zda splňuje specifikace produktu a zásad, zda splňuje bezpečnostní omezení a zda odpovídá tomu, co uživatelé obvykle preferují. Když tyto signály interagují, mohou nechtěně posunout model k chování, které si nepřejeme.

Například naše práce o halucinacích⁠ ukázala, že některé datové sady odměňují sebevědomé odhady více než upřímné přiznání nejistoty. Náš výzkum o podlézavosti⁠ ukázal, že modely mohou být příliš vstřícné, když je signál preferencí příliš silný. A práce⁠(otevře se v novém okně) od jiných skupin ukázaly, že modely mohou „hackovat odměny“ – nacházet nedostatky v nastavení tréninku, které jim umožňují získat vysoké skóre, aniž by skutečně dělaly to, co jsme zamýšleli. V některých případech se tyto zkratky mohou zobecnit⁠(otevře se v novém okně) na ještě škodlivější chování při nasazení.

Přiznání se tomuto problému vyhýbají tím, že cíle zcela oddělují. Hlavní odpověď nadále optimalizuje na všechny obvyklé faktory. Přiznání je zaměřeno pouze na jedno: upřímnost. Nic, co model řekne v přiznání, není použito proti němu a přiznání neovlivňuje odměnu za hlavní odpověď. To znamená, že i když model lže nebo obchází pravidla ve svém původním výstupu, stále má motivaci to přiznat v přiznání. To vidíme v praxi: modely jsou ochotné špatné chování přiznat i v případech, kdy ho skrývají v hlavní odpovědi. A když přiznání nefunguje, je to obvykle proto, že je model skutečně zmatený – buď proto, že pokyny byly nejednoznačné, nebo proto, že si neuvědomil, že došlo k chybě – ne proto, že by se úmyslně snažil klamat. Důležité je, že počáteční výsledky ukazují, že si přiznání zachovávají účinnost, i když je původní odpověď vytvořena bez jakéhokoli myšlenkového řetězce, což ukazuje, že poctivost přiznání nezávisí na přehlednosti vnitřního odůvodňování a dá se zobecnit na budoucí architektury modelů.

Trénování přiznání funguje i bez označení shody s pravdou. Pod pojmem „pravda“ máme na mysli označení pravdy zvenku ohledně toho, zda model skutečně dodržel pokyn nebo ho porušil. V mnoha reálných úkolech není takové označení dostupné – kdybychom s jistotou věděli, že model porušil pravidlo, mohli bychom toto porušení přímo penalizovat, místo abychom se spoléhali na přiznání. Místo toho je model odměňován za vytvoření strukturovaného, důkazy podloženého vysvětlení toho, co si myslí, že udělal. Práce ukazuje, že v takové situaci má poctivost tendenci se projevovat. Myslíme si, že je to proto, že poskytnutí pravdivého tvrzení podloženého důkazy je pro model obecně snazší než vytvoření koherentního smyšleného příběhu, který by mohl u posuzovatele projít. Toto je klíčový předpoklad, kterým se zabýváme v článku, který také rozebírá případy, kdy je přiznání neúspěšné – falešně negativní a falešně pozitivní výsledky – a jak k tomu dochází.

Článek poskytuje počáteční důkazy, že přiznání fungují, ale nesmí být považován za definitivní důkaz. Ačkoli jsme použili špičkový model (GPT‑5 Thinking), naše experimenty byly omezené co do rozsahu, s použitím relativně malého množství výpočetní kapacity a dat. Jsme rádi, že můžeme tuto práci posunout na další úroveň a zjistit, zda upřímnost přiznání bude pokračovat, když budeme rozšiřovat trénování.

V rámci experimentů jsme záměrně trénovali modely na „hackovatelný“ signál odměny, který byl vypočítán slabším modelem. Toto nastavení se vztahovalo na hlavní odměnu i na odměnu za přiznání. Model se naučil využívat slabý signál odměny: jeho zdánlivá přesnost (když ji posuzoval slabý model) se zlepšila, zatímco jeho skutečná přesnost (když ji posuzoval silnější hodnotitel) klesla. 

I když byl kanál pro přiznání trénován na stejném slabém signálu, jeho přesnost se však pohybovala opačným směrem. Model se naučil, že nejlepší způsob, jak optimalizovat odměnu za přiznání, bylo jednoduše přiznat, když hacknul hlavní odměnu. Přiznání se zpřesňovala, i když se hlavní chování posouvalo.

Práce⁠(otevře se v novém okně) obsahuje více experimentů a výsledků. Porovnali jsme model trénovaný s kanálem přiznání s kontrolním modelem trénovaným stejným způsobem, ale bez kanálu přiznání. Také jsme zkoumali případy, kdy se přiznání nezdařila. Téměř všechny chyby nastaly, když byl model skutečně zmatený – když byly pokyny nejednoznačné nebo když si prostě neuvědomil, že udělal chybu. (Viz výše uvedený příklad falešně negativního výsledku⁠.)

Přiznání mají svá omezení. Špatnému chování nezabraňují, odhalují ho. Jejich hlavní hodnota spočívá v tom, že slouží jako nástroj pro monitorování a diagnostiku, jak během trénování, tak při nasazení. Přiznání hrají podobnou roli jako monitorování řetězce úvah⁠: obě metody zviditelňují skryté procesy uvažování. Přiznání se zaměřují na to, zda model porušil instrukce. Řetězec úvah může ukázat, jak k tomu došlo.

Tato práce je také důkazem konceptu. Netrénovali jsme mechanismy přiznání ve velkém měřítku a přesnost přiznání je stále nedokonalá. Je potřeba udělat více práce, aby byl přístup spolehlivější, robustnější a použitelnější napříč různými modely a úkoly.

Tato práce zapadá do našeho širšího přístupu k bezpečnosti umělé inteligence⁠. Přiznání jsou jedním z mechanismů v širší sadě nástrojů, která zahrnuje deliberativní sladění⁠, monitorování řetězce úvah⁠, hierarchii instrukcí⁠ a další. Žádná jedna metoda nestačí. Cílem je vrstvený systém kontrol a nástrojů transparentnosti, které se navzájem posilují. Přiznání mohou pomoci při diagnostice problémového chování modelů během trénování a hodnocení, stejně jako při monitorování během nasazení. Sama přiznání nevyřeší problém vyvažování více dimenzí. Ale vytvořením režimu „elixíru pravdy“, ve kterém se modely zaměřují výhradně na poctivost, přidáváme do své sady nástrojů cenný nástroj ke zlepšení poctivosti a bezpečnosti ve všech oblastech.

Jak se zlepšují schopnosti modelů a jsou nasazovány v prostředích s vyššími riziky, potřebujeme lepší nástroje pro pochopení toho, co dělají a proč. Přiznání nejsou úplným řešením, ale přidávají smysluplnou vrstvu k transparentnosti a dohledu. V budoucí práci plánujeme rozšířit přiznání a spojit je s doplňkovými technikami transparentnosti a bezpečnosti, včetně monitorování řetězce myšlenek a deliberativního sladění, abychom dále pokročili k zajištění, aby naše modely věrně dodržovaly všechny pokyny a zásady (jako naše specifikace modelu⁠(otevře se v novém okně)) a pravdivě informovaly o svých akcích.