Modeli rezonovanja imaju poteškoća s kontrolom svojih lanaca razmišljanja, i to je dobro

Kako AI agenti postaju sposobni obavljati sve složenije i autonomnije zadatke, održavanje pouzdanog nadzora nad njihovim ponašanjem postaje sve važnije. U skladu s našim principom iterativne implementacije, proučavamo kako se sistemi ponašaju u stvarnim okruženjima i kontinuirano usavršavamo zaštitne mjere kako sposobnosti napreduju. Kako bismo to podržali, naš pristup bezbjednosti⁠ koristi odbranu u dubini, s više komplementarnih slojeva odbrane kao što su obuka o bezbjednosti⁠, testiranje ponašanja⁠, agentni pregled koda⁠(otvara se u novom prozoru) i  praćenje lanca razmišljanja (CoT)⁠. CoT praćenje analizira korake rezonovanja koje agenti generiraju dok izvršavaju zadatke. Ovi tragovi rezonovanja mogu pružiti vrijedne signale i tokom obuke i prilikom implementacije, pomažući sistemima za nadzor da identifikuju kada ponašanje agenta može biti nesigurno ili neusklađeno s korisnikovim namjeravanim ciljevima.

Danas otkrivamo da je rezonovanje modela općenito moguće interpretirati i lako za praćenje⁠. Međutim, u budućnosti, mogućnost nadzora može se narušiti iz različitih razloga⁠(otvara se u novom prozoru). Ovdje se fokusiramo na jedan takav put: ako agenti postanu sposobni namjerno preoblikovati ili prikriti svoje rezonovanje kada znaju da su pod nadzorom, evaluacije bi mogle precijeniti usklađenost ili sigurnost sistema, a sistemi nadzora bi mogli postati manje pouzdani. 

U ovom radu proučavamo da li su trenutni modeli rezonovanja sposobni kontrolisati svoj lanac razmišljanja na načine koji smanjuju mogućnost praćenja. Razumijevanje ove sposobnosti važno je kako bi se osiguralo da praćenje CoT-a ostane robustna zaštitna mjera dok AI sistemi postaju sposobniji. Otkrivamo da se trenutni modeli rezonovanja muče da kontrolišu svoje CoT-ove, čak i kada im se kaže da se nadziru. Iako je mogućnost kontrole veća kod većih modela, ona se smanjuje kada se od modela traži da rezonuje duže i kada prolaze kroz dodatnu obuku. Naši rezultati sugeriraju da je malo vjerovatno da će kontrolabilnost CoT-a trenutno predstavljati veliki rizik za mogućnost praćenja CoT-a, iako će kontinuirana evaluacija biti važna kako modeli napreduju.

Lanac razmišljanja odnosi se na međukorake rezonovanja koje AI agent generiše dok rješava zadatak. Ovi tragovi rezonovanja mogu pružiti korisne sigurnosne signale, pomažući sistemima za nadzor da procijene da li je ponašanje agenta sigurno ili usklađeno.

Upravljivost CoT-a je sposobnost modela rezonovanja da kontroliše svojstva svog CoT-a na načine koji smanjuju mogućnost praćenja. Mjerenje ove sposobnosti u punom obimu realističnih poticaja za izbjegavanje monitora koje možemo očekivati u praksi je izazovno. Umjesto toga, koristimo praktičan proxy: mjerimo sposobnost modela da slijedi korisničke instrukcije o njihovom CoT-u. Na primjer, testiramo da li model može slijediti upute koje utiču na njegovo unutrašnje rezonovanje—kao što je korištenje samo malih slova, izbjegavanje određenih ključnih riječi ili dodavanje specifičnih fraza—umjesto da samo mijenja svoj vidljivi izlaz.

Kako bismo to proučili, uvodimo CoT-Control, evaluacijski paket otvorenog koda za mjerenje CoT kontrolabilnosti modela rezonovanja. CoT-Control uključuje preko 13.000 zadataka izgrađenih na osnovu etabliranih benchmarkova:  GPQA, MMLU-Pro, HLE, BFCL i SWE-Bench Potvrđeno⁠. Svaki zadatak se kreira uparivanjem referentnog problema s jednom CoT instrukcijom, kao što je izbjegavanje određenih ključnih riječi relevantnih za problem u CoT-u, korištenje samo malih slova ili dodavanje zadane riječi na kraj svake rečenice.

Provodimo evaluacije na 13 modela rezonovanja i utvrđujemo da se svi oni muče da pouzdano kontrolišu svoje CoTs. Mjerimo kontrolabilnost kao udio tragova rezonovanja u kojima model uspješno postupa u skladu s našim CoT uputama. U svim graničnim modelima, CoT rezultati kontrolabilnosti su niski, u rasponu od 0.1% i ne prelaze 15.4% ni za jedan trenutni granični model koji smo testirali. 

Ova nemogućnost ne proizlazi iz nerazumijevanja zadatka: modeli često prepoznaju u svom CoT-u da ne uspijevaju da se pridržavaju CoT uputa koje su dobili i—čak i nakon ove spoznaje—i dalje nastavljaju da ne uspijevaju. Ova iznenađujuće niska izvedba je dobra vijest za mogućnost praćenja CoT-a: sugerira da bi modeli mogli slično nemati sposobnost da zamagle svoje rezonovanje kako bi izbjegli naše monitore.

Iako vidimo da se mogućnost kontrole povećava s veličinom modela, također otkrivamo da se ona brzo smanjuje s količinom računalne obrade nakon obuke i tokom testiranja. Posmatrajući dvije porodice modela s otvorenim težinama, veći modeli su bili donekle bolji u kontrolisanju svog lanca razmišljanja, iako se taj efekat smanjivao pri većim veličinama. Ali kada pustimo modele da razmišljaju duže, postali su manje sposobni da kontrolišu te lance razmišljanja. Uočili smo sličan trend za RL obuku OLMo-3-7B-RL-Zero-Math: njegov rezultat kontrolabilnosti pao je za više od deset puta tokom obuke.

Mogućnost kontrole raste s obimom u modelima s otvorenim težinama, ali se pogoršava s dužim rezonovanjem i više RL obuke.

Da bismo simulirali realistične poticaje za izbjegavanje monitora, mjerimo kontrolabilnost kada se modelima kaže da se nadziru ili evaluiraju. Ovo pomalo (ali primjetno) povećava mogućnost kontrole. Takođe koristimo automatiziranu optimizaciju upita kako bismo pronašli upite koji omogućavaju visoku kontrolabilnost. Iako optimizator može povećati kontrolabilnost na skupu za obuku, ovi dobici se slabo prenose na nove tipove instrukcija (kao što je zahtijevanje da nema razmaka između riječi).

Zadaci u CoT-Control su praktični proxyji: idealna evaluacija kontrolabilnosti CoT-a bi uključivala testiranje da li modeli koji prirodno slijede neusklađene ciljeve mogu kontrolisati svoje CoT-ove kako bi izbjegli nadzor. Umjesto toga, procjenjujemo sposobnost agenata da kontrolišu svoje CoT-ove mjerenjem njihove sposobnosti da slijede upute o svom CoT-u. Štaviše, modeli mogu bolje kontrolisati neke karakteristike svog CoT-a nego druge, a CoT-Control možda precjenjuje ili potcjenjuje mogućnost kontrole mjereći samo uzak skup tipova mogućnosti kontrole.

Niska mogućnost kontrole CoT-a je funkcionalnost, a ne greška. Niska kontrolabilnost trenutnih modela rezonovanja čini praćenje CoT-a pouzdanijim kao zaštitnu mjeru. Istovremeno, još uvijek ne razumijemo zašto je upravljivost trenutnih modela rezonovanja niska—ili da li će se ovo svojstvo zadržati kako modeli postaju sposobniji. Stoga, evaluacije kontrolabilnosti CoT-a mogu se posmatrati kao kanarinska evaluacija: rani znak upozorenja o tome da li modeli postaju bolji u oblikovanju ili skrivanju svog rezonovanja. 

Naši rezultati sugeriraju da kontrolabilnost CoT-a trenutno vjerovatno neće predstavljati veliki rizik za monitorabilnost CoT-a. Međutim, niska kontrolabilnost sama po sebi nije dovoljna da garantuje visoku monitorabilnost jer se monitorabilnost i dalje može pogoršati zbog drugih mehanizama, poput direktnog pritiska optimizacije na CoT-ove. 

Kako bismo pomogli u praćenju ove dinamike tokom vremena, počet ćemo izvještavati o CoT controllability zajedno s mogućnošću praćenja CoT-a⁠ u karticama sistema za buduće granične modele, počevši od GPT‑5.4 Razmišljanje, nadovezujući se na našu kontinuiranu posvećenost⁠ tome da ne primjenjujemo pritisak optimizacije direktno na CoT-ove graničnih modela rezonovanja.