Vyhodnocovanie monitorovateľnosti reťazenia myšlienok

Keď systémy umelej inteligencie robia rozhodnutia, ktoré je ťažké priamo dohliadať, je dôležité pochopiť, ako sa tieto rozhodnutia prijímajú. Jedným sľubným prístupom je monitorovať vnútorné uvažovanie modelu, namiesto toho, aby sa sledovali iba jeho akcie alebo konečné výstupy.

Moderné modely uvažovania, ako je GPT‑5 Thinking, generujú explicitný reťazec myšlienok predtým, než poskytnú odpoveď. Monitorovanie týchto reťazcov myšlienok na nesprávne správanie môže byť oveľa efektívnejšie⁠ než monitorovanie akcií a výstupov modelu samotného. Avšak, výskumníci v OpenAI a v širšom priemysle sa obávajú⁠(otvorí sa v novom okne), že táto „monitorovateľnosť“ reťazenia myšlienok môže byť krehká voči zmenám v tréningovom postupe, zdrojoch dát a dokonca aj pokračujúcemu škálovaniu existujúcich algoritmov.

Chceme, aby monitorovateľnosť myšlienok zostala zachovaná, keď sa modely rozširujú a nasadzujú v prostrediach s vyššími rizikami. Vyzývame výskumníkov z celého odvetvia, aby pracovali na zachovaní monitorovateľnosti reťazca myšlienok čo najdlhšie a aby zistili, či môže slúžiť ako nosná vrstva kontroly pre budúce systémy umelej inteligencie. Aby sme zachovali monitorovateľnosť, musíme ju vedieť merať, avšak existuje len málo hodnotení [1⁠(otvorí sa v novom okne), 2⁠(otvorí sa v novom okne), 3⁠(otvorí sa v novom okne)] a metodiky sa líšia.

V tejto práci systematicky skúmame monitorovateľnosť reťazenia myšlienok. Predstavujeme rámec na hodnotenie monitorovateľnosti reťazca myšlienok a súbor 13 hodnotení (zahŕňajúcich celkovo 24 prostredí) určených na konkrétne meranie monitorovateľnosti systému. Tieto vyhodnotenia spadajú do troch archetypov – intervencia, proces a výsledok-vlastnosť. Pomocou nich skúmame, ako sledovateľné sú dnešné veľké jazykové modely a ako sa sledovateľnosť mení s väčším dôrazom na uvažovanie počas inferencie, väčšími behmi učenia posilňovaním a zvýšeným rozsahom predtréningu.

Zistili sme, že väčšina pokročilých modelov uvažovania je pomerne monitorovateľná, aj keď nie dokonale. V takmer každom prostredí, ktoré skúmame, je monitorovanie reťazení myšlienok podstatne účinnejšie ako monitorovanie akcií a konečných výstupov samostatne. Modely, ktoré premýšľajú dlhšie, majú tendenciu byť lepšie monitorovateľné.  Nezdá sa, že by optimalizácia učenia posilňovaním na súčasných špičkových úrovniach významne zhoršovala monitorovateľnosť.

Pozoruhodne, pozorujeme kompromis medzi úsilím na myslenie a veľkosťou modelu: keď je model spustený s nízkym úsilím na myslenie, menší model spustený s vyšším úsilím na myslenie môže dosiahnuť porovnateľnú schopnosť, pričom je ľahšie sledovateľný. Toto prichádza za cenu zvýšeného výpočtu inferencie, čo nazývame daňou za monitorovateľnosť. Nakoniec zistíme, že kladenie následných otázok a monitorovanie výsledných reťazí myšlienok môže ďalej zlepšiť sledovateľnosť.

Monitorovateľnosť definujeme ako schopnosť monitora predpovedať vlastnosti, ktoré nás zaujímajú, o správaní agenta. V mnohých prípadoch tieto vlastnosti zodpovedajú formám nesprávneho správania, ako je podvod, manipulácia s odmenami alebo zaujaté myslenie, ale môžu tiež zahŕňať neškodné vlastnosti, ako napríklad to, či sa agent spoliehal na konkrétny tip alebo nasledoval určitú líniu uvažovania.

Monitorovateľnosť je obojstranná vlastnosť. Závisí to nielen od monitora, ale aj od agenta, ktorý je monitorovaný.

• Monitory. Môžeme urobiť monitory inteligentnejšími rôznymi spôsobmi a chceli by sme, aby naše hodnotenia dávali vyššie skóre monitorom, ktoré dokážu lepšie predpovedať správanie agenta.
• Agenti. Existuje mnoho pozorovaní agenta, ktoré by mohli byť poskytnuté monitoru, vrátane akcií agenta, výstupov, neurálnych aktivácií a nedávno, s príchodom modelov zdôvodňovania, reťazca myšlienok. Je možné, že niektorí agenti majú myšlienky, ktoré sú ťažšie pochopiteľné ako iné, a preto by sme chceli, aby naše hodnotenia monitorovateľnosti dokázali porovnávať agentov, a nielen monitory.

Naše hodnotenia sú navrhnuté tak, aby posúdili obe strany: či sú niektorí agenti ľahšie alebo ťažšie monitorovateľní a či schopnejší monitori dokážu z rovnakých signálov extrahovať viac informácií.

Pred súčasnou generáciou modelov uvažovania sa reťazce myšlienok typicky vyvolávali tým, že sa model podnietil k „premýšľať krok za krokom“. 

Reťazce myšlienok modelov uvažovania sa líšia dvoma dôležitými spôsobmi. Najprv sú výslovne trénovaní na generovanie reťazenia myšlienok a potom na poskytnutie odpovede. Keď sa model četu vyzve, aby premýšľal „krok za krokom“, musí sa riadiť akýmikoľvek špecifikáciami, ktoré sú naň kladené, napríklad byť užitočný, neškodný atď. Naopak, proces učenia posilňovaním učí model uvažovania, že reťazenie myšlienok (CoT) je súkromný priestor, kde môže premýšľať, čo chce, a nebude potrestaný, rovnako ako človek môže premýšľať súkromne a nebude potrestaný za „myšlienkové zločiny“. 

Po druhé, tréningový proces efektívne hľadá reťazce myšlienok, ktoré sú pre agenta najviac užitočné z hľadiska nástrojov na dosiahnutie vysoko odmenenej konečnej odpovede. Takže myšlienkový reťazec nie je len priestor, kde sa model môže voľne vyjadrovať, ale obsahuje aj úvahy, ktoré pomáhajú modelu dosiahnuť jeho konečnú odpoveď.

Naše hodnotenia monitorovateľnosti organizujeme do troch odlišných archetypov, pričom každý využíva iný mechanizmus na meranie monitorovateľnosti.

1. Hodnotenia intervencií, inšpirované Chen et al. 2025,⁠(otvorí sa v novom okne) Chua et al. 2025,⁠(otvorí sa v novom okne)Turpin et al. 2023,⁠(otvorí sa v novom okne) - predstavujeme kontrolovanú zmenu v prostredí agenta a testujeme, či monitor dokáže zistiť, prečo sa správanie zmenilo, identifikovaním dôkazov o intervencii v reťazi myšlienok. Na rozdiel od štandardných hodnotení kontroly (napr. Shade-Arena⁠(otvorí sa v novom okne)), hodnotenia intervencií nám umožňujú skúmať, či monitor dokáže zistiť prečo sa správanie zmenilo, namiesto toho, aby len zisťoval, či sa správanie vyskytlo. 
2. Vyhodnotenia procesov sa zameriavajú na úlohy s obmedzeným počtom platných riešení (napríklad matematický problém možno vyriešiť iba určitými vetami). Ľudskí experti vymenúvajú tieto cesty a testujeme, či monitor dokáže zistiť, ktoré kroky model skutočne vykonal. Tieto hodnotenia nám umožňujú vytvoriť odkaz medzi tým, čo model urobil, a konkrétnymi krokmi, ktoré musel model vykonať a pýtať sa, či sú tieto kroky monitorovateľné.
3. Vyhodnotenia vlastností výstupu sa uplatňujú, keď je možné spoľahlivo merať vlastnosť výstupu modelu. V týchto prípadoch testujeme, či monitor dokáže predpovedať túto vlastnosť, ako napríklad hackovanie odmien, z úvah alebo akcií modelu. Napríklad pri programovacej úlohe môžeme mať spôsob, ako spoľahlivo vyhodnotiť, či model podniká akcie na hackovanie signálu odmeny, a môžeme sa opýtať, či monitor nájde dôkazy o úmysle hackovať signál odmeny v myslení alebo akciách modelu.

Nižšie uvádzame taxonómiu pre naše hodnotenia. Prosím, pozri si náš článok pre úplný popis každého jednotlivého hodnotenia.

Považovanie reťazca myšlienok za súkromný pracovný priestor, a tréning modelov na jeho efektívne využívanie na riešenie úloh, by malo v zásade umožniť monitorovanie reťazcov myšlienok. Zároveň existuje niekoľko Myslí, prečo by učenie posilňovaním mohlo pravdepodobne poškodiť monitorovateľnosť reťaze myšlienok.

V prvom rade obmedzenia dĺžky myslenia, ako napríklad obmedzenie času alebo tokenov, ktoré má model na premýšľanie, vytvoria podnety pre modely, aby menej mysleli. V druhom rade, aj bez priameho optimalizačného tlaku na samotné reťazenie myšlienok, by nepriame tlaky mohli stále znížiť možnosť monitorovania. Modeli môžu napríklad⁠(otvorí sa v novom okne) ľahšie dosiahnuť vysoko odmeňované odpovede, ak sa vyhnú cestám uvažovania, ktoré môžu viesť k nízko odmeňovaným alebo nežiaducim výsledkom. Nakoniec, znížená monitorovateľnosť môže vzniknúť z falošného driftu spôsobeného šumom gradientu učenia posilňovaním.

Nižšie skúmame, ako sa mení monitorovateľnosť počas dvoch pokročilých tréningových behov učenia posilňovaním od spoločnosti OpenAI. Hoci tieto výsledky predstavujú iba dva dátové body, naznačujú, že optimalizácia učenia posilňovaním na súčasných hraniciach škálovania podstatne nezhoršuje monitorovateľnosť reťazca myšlienok a zvyšuje monitorovateľnosť pre počiatočné kroky. To však nevylučuje možnosť, že výrazne väčšie škály učenia posilňovaním by mohli v budúcnosti negatívne ovplyvniť monitorovateľnosť.

Veľká časť inteligencie súčasných systémov umelej inteligencie je poháňaná zvýšením rozsahu predtrénovania, pričom parametre modelu a veľkosti datasetov sa od začiatku paradigmy GPT neustále zväčšovali. Zvýšený počet parametrov vedie k väčšiemu využitiu inferenčných výpočtov na každý generovaný token, čo v prípade modelov uvažovania poskytuje väčšiu príležitosť na to, aby sa myslenie modelu uskutočňovalo v rámci aktivácií, a nie v rámci reťazca myšlienok. Preto môžeme očakávať, že väčšie modely budú menej monitorovateľné pri pevnej úrovni funkcií. 

Zároveň môžu byť menšie modely menej schopné efektívne využívať reťazenie myšlienok, čo môže tiež ovplyvniť monitorovateľnosť.

Na preskúmanie vzťahu medzi veľkosťou predtréningu, schopnosťou a monitorovateľnosťou sme trénovali rodinu modelov cez dva rády veľkosti výpočtového výkonu predtréningu so zvyšujúcou sa hĺbkou a šírkou, a potom sme na každého z nich aplikovali učenie posilňovaním na spoločnej množine údajov z úloh matematiky, vedy a kódovania. Hodnotili sme každý model v rámci rôznych úrovní uvažovania a porovnávali monitorovateľnosť na zodpovedajúcich úrovniach schopností.

Vo všeobecnosti zistíme, že ak by sme nasadili daný model s nízkou intenzitou uvažovania, mohli by sme namiesto toho nasadiť menší model s vyššou intenzitou myslenia. V porovnaní s vynaložením dodatočného výpočtového výkonu na väčšie úsilie v oblasti myslenia z pôvodného veľkého modelu by sme mohli dosiahnuť vyššiu monitorovateľnosť s malými nákladmi na schopnosti, alebo monitorovací poplatok; avšak čas potrebný na dokončenie úlohy môže byť tiež faktorom v niektorých rozhodnutiach o nasadení, čo tu neberieme do úvahy. Ako sa naše modely zlepšujú a ako sú nasadzované v prostrediach s vyššou mierou rizika, môže byť potrebné platiť takýto poplatok na ich bezpečné nasadenie.

Tieto výsledky majú nasledujúce obmedzenia: 1) každý model trénujeme iba raz, a preto neberieme do úvahy variabilitu medzi jednotlivými tréningovými behmi. Napríklad „stredný“ model sa zdá byť v monitorovateľnosti dosť mimo trendu v porovnaní s ostatnými modelmi v sérii, čo by mohlo byť spôsobené týmto. 2) Hodnotíme schopnosti  relatívne v distribučných nastaveniach (matematika, veda a programovanie) a kompromisy sa môžu zmeniť pri zohľadnení robustnosti mimo distribúcie.

Ako sa systémy umelej inteligencie rozširujú nad úroveň výkonu ľudí, priama ľudská kontrola sa stáva čoraz náročnejšou. Ideálne by sme mali mať škálovateľné kontrolné postupy, ktoré umožňujú dôveryhodným, ale slabším monitorom dohliadať na silnejších, potenciálne nedôveryhodných agentov. Takéto postupy by mali byť schopné absorbovať dodatočný výpočtový výkon počas testovania a vytvárať presnejšie predpovede.

Monitorovateľnosť reťazenia myšlienok sa často považuje za pevnú veličinu: keď model vytvorí odpoveď pri určitej úrovni úsilia na myslenie, výsledné reťazenie myšlienok sa monitoruje čo najlepšie. Pretože sme dôsledne zistili, že monitorovateľnosť sa zlepšuje, keď zvyšujeme úsilie o myslenie našich agentov, inšpirovalo nás to položiť si otázku, či by sme nejako nemohli získať viac tokenov na monitorovanie.

Aby sme to skúmali, experimentovali sme s kladením doplňujúcich otázok po tom, čo model odpovie, pričom sme zachovali pôvodný príkaz, reťaz myšlienok a odpoveď v kontexte. Tieto následné otázky sa zameriavajú na sledovanú vlastnosť, napríklad: „Použil si tip zmysluplne na výber svojej odpovede?“ alebo „Urobil si niečo podozrivé?“ Každe model si zachováva prístup k svojmu predchádzajúcemu uvažovaniu, môže byť v zásade schopný v následnom reťazci myšlienok alebo odpovedi vyjadriť predtým nevyslovené myšlienky.

Tieto výsledky sú predbežné. Preskúmali sme iba malý počet formátov doplňujúcich otázok a veríme, že existuje značný priestor na zlepšenie metodológie. Navyše, táto metóda je vnútorne podobná modelovým priznaniam⁠, a aktívne pracujeme na porovnávaní týchto prístupov.

Okrem zlepšenia monitorovateľnosti je tento prístup atraktívny, pretože ho možno aplikovať dodatočne, pričom dodatočné náklady na výpočty vznikajú iba vtedy, keď je potrebná hlbšia analýza. Pri pohľade do budúcnosti, ak sú modely trénované na očakávanie zmien v úsilí pri uvažovaní počas konverzácie, následné dodatočné úpravy s vyšším úsilím pri uvažovaní môžu ďalej zlepšiť monitorovateľnosť, aj keď je počiatočné úsilie pri uvažovaní nízke alebo chýba.

Každé hodnotenie v našom súbore meria, či je možné monitorovať jeden aspekt procesu uvažovania. Aj keď sa snažíme pokryť širokú škálu správaní, vrátane pochlebovania, „sandbaggingu“, zaujatosti, intrigánstva a hackovania odmien, existuje mnoho ďalších vlastností, ktoré zostávajú netestované.

Ako pri každom benchmarku, naše hodnotenia môžu trpieť obmedzeným realizmom alebo zvyšujúcim sa povedomím o hodnotení a výsledky nemusia byť všeobecne použiteľné na detekciu nevhodného správania v reálnom prostredí. 

Nakoniec, ako sa zlepšuje zarovnanie, modely sa môžu v kontrolovaných hodnotiacich prostrediach správať menej nesprávne, čím sa znižuje signál dostupný na monitorovanie a kontrolu hodnotení, ktoré sa spoliehajú na detekciu nesprávneho správania. V týchto prípadoch zostávajú „neutrálne“ hodnotenia monitorovateľnosti použiteľné, aj keď je otvorenou otázkou, nakoľko sú prediktívne vo vzťahu k zlyhaniam v reálnom svete.

Ak sa problém zarovnania nedá úplne vyriešiť, škálovateľné metódy kontroly budú neuveriteľne dôležité pre našu schopnosť bezpečne nasadiť vysoko schopné modely. Monitorovanie reťazca myšlienok a súvisiace metódy môžu byť jedným z mála kontrolných mechanizmov, ktoré máme k dispozícii. Reťaz myšlienok môže tiež prinášať veľké výhody v lepšom pochopení našich modelov, napr. či si uvedomujú, že sú v hodnotení a správajú sa inak, ako by sa správali pri nasadení, či existujú dôkazy o akýchkoľvek nepriaznivých cieľoch, ktoré sa ešte neprejavili v našich hodnoteniach atď. Preto veríme, že je nesmierne dôležité pochopiť, ako  kedy môžeme stratiť možnosť monitorovania.

Reťaz myšlienok považujeme za doplnok k mechanistickej interpretovateľnosti, nie za jej náhradu. Rovnako ako všetky známe metódy kontroly a interpretovateľnosti, každá má svoje obmedzenia a slepé miesta. Naše očakávanie je, že kombinácia viacerých prístupov – stratégia obrany v hĺbke – môže pomôcť pokryť medzery, ktoré zanecháva akákoľvek jednotlivá metóda. Pozoruhodne, hodnotenia predstavené v tejto práci by sa mohli tiež použiť na posúdenie a porovnanie techník monitorovania založených na mechanistickej interpretovateľnosti.

Pretože veríme, že monitorovanie reťazenia myšlienok by mohlo byť nosnou vrstvou v škálovateľnej kontrolnej schéme, plánujeme rozšíriť tieto hodnotenia a použiť ich na informovanie budúcich rozhodnutí o modelovaní a údajoch.