Nahihirapan ang mga nangangatwirang modelo na kontrolin ang kanilang mga chain-of-thought, at mabuti iyon

Habang nagiging mas may kakayahan ang mga AI agent na magsagawa ng mas kumplikado at mas awtonomong mga gawain, nagiging mas mahalaga ang pagpapanatili ng maaasahang pagbabantay sa kanilang paggawi. Naaayon sa aming prinsipyo ng paulit-ulit na pag-deploy, pinag-aaralan namin kung paano kumikilos ang mga sistema sa mga totoong sitwasyon, at patuloy na pinapahusay ang mga pananggalang habang umuunlad ang mga kakayahan. Para suportahan ito, gumagamit ang aming pamamaraan sa kaligtasan⁠ ng malalim na depensa, na may maraming magkakatuwang na layer ng depensa, gaya ng pagsasanay sa kaligtasan⁠, pagsusuri sa pag-uugali⁠, agentic na pagsusuri ng code⁠(magbubukas sa bagong window), at pagsubaybay sa chain-of-thought (CoT)⁠. Sinusuri ng CoT monitoring ang mga hakbang sa pangangatwiran na ginagawa ng mga ahente habang isinasagawa ang mga gawain. “Puwedeng magbigay ang mga reasoning trace na ito ng mahahalagang signal habang nasa training at deployment, na tumutulong sa mga monitoring system na makita kung kailan posibleng hindi ligtas ang gawi ng agent o hindi ito naaayon sa layunin ng user.

Sa ngayon, natuklasan namin na ang pangangatwiran ng mga modelo ay karaniwang madaling bigyang-kahulugan at madaling masubaybayan⁠. Gayunpaman, sa hinaharap, puwedeng masira ang kakayahang masubaybayan para sa iba’t ibang dahilan⁠(magbubukas sa bagong window). Dito, tututuon tayo sa ganoong landas: kung ang mga ahente ay magiging may kakayahang sadyang baguhin o palalimin ang kanilang pangangatwiran kapag alam nilang sinusubaybayan sila, maaaring magpasobra ang mga pagsusuri sa pagtatasa ng pagkakahanay o kaligtasan ng system, at maaaring maging hindi gaanong maaasahan ang mga system ng pagsubaybay. 

Sa pag-aaral na ito, sinusuri namin kung kaya ng mga kasalukuyang reasoning model na kontrolin ang kanilang chain of thought sa paraang nagpapababa sa kakayahang mamonitor ang kanilang proseso. Mahalagang maunawaan ang kakayahang ito upang matiyak na mananatiling matibay na pananggalang ang CoT monitoring habang lalo pang nagiging mas makapangyarihan ang mga AI system. Natuklasan namin na nahihirapan ang mga kasalukuyang modelo ng pangangatwiran na kontrolin ang kanilang mga CoT, kahit na sinabihan na sila na minomonitor sila. Bagaman mas mataas ang controllability para sa mas malalaking mga modelo, bumababa ito habang hinihiling sa mga modelo na magdahilan nang mas matagal at kapag isinasailalim ang mga ito sa karagdagang post-training. Ipinapakita ng aming mga resulta na malamang na hindi pa nagdudulot ng malaking panganib sa CoT monitorability ang CoT controllability sa ngayon, bagaman mahalaga pa ring ipagpatuloy ang pagsusuri habang patuloy na umuunlad ang mga modelo.

Ang chain of thought ay tumutukoy sa mga intermediate na hakbang ng pangangatwiran na ginagawa ng AI agent habang nilulutas ang gawain. Puwedeng magbigay ang mga reasoning trace na ito ng mga kapaki-pakinabang na signal para sa kaligtasan, na tumutulong sa mga monitoring system na matukoy kung ligtas o nakaayon ang paggawi ng agent.

Ang kakayahang makontrol ng CoT ang kakayahan ng nangangatwirang modelo na kontrolin ang mga katangian ng CoT nito sa mga paraang nagpapababa ng kakayahang masubaybayan. Mahirap sukatin ang kakayahang ito sa ilalim ng buong saklaw ng makatotohanang mga insentibo para iwasan ang mga monitor na puwede naming asahan sa praktika. Sa halip, gumagamit kami ng praktikal na proxy: sinusukat namin ang kakayahan ng modelo na sundin ang mga tagubilin ng user tungkol sa kanilang CoT. Halimbawa, sinusubok namin kung kaya ng modelo na sumunod sa mga tagubilin na nakaaapekto sa panloob nitong pangangatwiran—gaya ng paggamit lang ng maliliit na titik, pag-iwas sa ilang keyword, o pagdaragdag ng mga partikular na parirala—sa halip na basta baguhin lang ang nakikitang output nito.

Para pag-aralan ito, ipinapakilala namin ang CoT-Control, isang open-source na evaluation suite para sukatin ang CoT controllability ng mga nangangatwirang modelo. Kasama sa CoT-Control ang mahigit 13,000 gawain na binuo mula sa mga itinatag na benchmark:  GPQA, MMLU-Pro, HLE, BFCL at SWE-Bench Verified⁠. “Ginagawa ang bawat gawain sa pamamagitan ng pagtutugma ng benchmark problem at isang CoT instruction, gaya ng pag-iwas sa ilang keyword na may kaugnayan sa problema sa CoT, paggamit lang ng lowercase na mga titik, o pagdagdag ng isang ibinigay na salita sa bawat pangungusap.

Nagsasagawa kami ng mga pagsusuri sa 13 nangangatwirang modelo, at nalaman naming nahihirapan silang lahat na mapagkakatiwalaang kontrolin ang kanilang mga CoT. Sinusukat namin ang controllability bilang bahagi ng mga trace ng pangangatwiran kung saan matagumpay na sumusunod ang modelo sa aming mga tagubilin sa CoT. Sa mga frontier na modelo, mababa ang mga score ng CoT controllability, mula 0.1% at hindi lumalampas sa 15.4% para sa alinmang kasalukuyang frontier na modelo na sinuri namin. 

THindi ito dahil sa hindi nila naunawaan ang gawain: kadalasang kinikilala ng mga modelo sa kanilang CoT na hindi nila nasusunod ang mga ibinigay na CoT instruction, pero kahit na napagtanto na nila ito, —patuloy pa rin silang hindi nakakasunod. Ang nakakagulat na mababang performance na ito ay magandang balita para sa CoT monitorability: ipinahihiwatig nito na maaaring wala ring kakayahan ang mga modelo na itago o palabuin ang kanilang pangangatwiran para makaiwas sa aming mga monitoring system.

Bagaman nakikita namin na tumataas ang controllability habang lumalaki ang modelo, nalaman din namin na mabilis itong bumababa kasabay ng dami ng post-training at test-time compute. Sa pagtingin sa dalawang pamilya ng mga open weight na modelo, ang mas malalaking modelo ay medyo mas mahusay sa pagkontrol sa kanilang mga chain-of-thought, bagaman humina ang epekto sa mas malalaking laki. Pero kapag hinayaan nating mag-isip nang mas matagal ang mga modelo, nagiging mas hindi nila kayang kontrolin ang mga chain-of-thought na iyon. Nakakita kami ng katulad na trend para sa pagsasanay sa RL ng OLMo-3-7B-RL-Zero-Math: bumaba ang controllability score nito nang higit sa sampung beses sa kabuuan ng pagsasanay.

Tumataas ang kakayahang makontrol kasabay ng pag-scale sa mga open-weight na modelo pero bumababa ito kapag mas mahaba ang pangangatwiran at mas marami ang pagsasanay sa RL.

Para gayahin ang mga makatotohanang insentibo para iwasan ang mga monitor, sinusukat namin ang controllability kapag sinasabihan ang mga modelo na binabantayan o sinusuri sila. Bahagya (ngunit kapansin-pansin) nitong pinapataas ang pagiging kontrolado. Gumagamit din kami ng awtomatikong pag-optimize ng prompt para makahanap ng mga prompt na nagbubunsod ng mataas na controllability. Bagaman puwedeng pataasin ng optimizer ang kakayahang makontrol sa set ng pagsasanay, mahina ang paglipat ng mga benepisyong ito sa mga bagong uri ng tagubilin (gaya ng pag-aatas na walang espasyo sa pagitan ng mga salita).

Ang mga gawain sa CoT-Control ay mga praktikal na proxy: ang ideal na pagsusuri ng CoT controllability ay dapat sumubok kung kayang kontrolin ng mga modelong likas na sumusunod sa hindi naka-align na mga layunin ang kanilang CoT para makaiwas sa monitoring. Sa halip, tinatantiya namin ang kakayahan ng mga ahente na kontrolin ang kanilang mga CoT sa pamamagitan ng pagsukat sa kanilang kakayahang sumunod sa mga tagubilin tungkol sa kanilang CoT. Bukod dito, mas nakokontrol ng mga modelo ang ilang feature ng kanilang CoT kaysa sa iba, at puwedeng sobra o kulang ang pagtatantiya ng CoT-Control sa kakayahang makontrol sa pamamagitan ng pagsukat lang ng isang makitid na hanay ng mga uri ng kakayahang makontrol.

Feature ang mababang controllability ng CoT, hindi bug. Dahil mababa ang controllability ng mga kasalukuyang reasoning model, mas nagiging mapagkakatiwalaan ang CoT monitoring bilang isang pananggalang. Kasabay nito, hindi pa rin namin nauunawaan kung bakit mababa ang kakayahang makontrol ng kasalukuyang mga nangangatwirang modelo—o kung mananatili ang katangiang ito habang nagiging mas may kakayahan ang mga modelo. Kaya ang mga pagsusuri sa CoT controllability ay maaaring ituring na canary eval—isang maagang babala kung ang mga modelo ay nagiging mas mahusay sa paghubog o pagtatago ng kanilang pangangatwiran. 

Ipinapakita ng aming mga resulta na malamang na hindi pa nagdudulot ng malaking panganib sa CoT monitorability ang CoT controllability sa ngayon. Gayunman, hindi sapat ang mababang controllability lang para matiyak ang mataas na monitorability, dahil puwede pa rin itong humina dahil sa iba pang mekanismo tulad ng direktang optimization pressure sa mga CoT. 

Para makatulong na masubaybayan ang mga dinamikang ito sa paglipas ng panahon, magsisimula na kaming mag-ulat ng CoT controllability kasama ang CoT monitorability⁠ sa mga card ng system para sa mga frontier na modelo sa hinaharap, simula sa GPT‑5.4 Pag-iisip na nakabatay sa aming patuloy na pangako⁠ na huwag maglagay ng presyon sa pag-optimize nang direkta sa mga CoT ng mga frontier na nangangatwirang modelo.