Pagsusuri ng kakayahang masubaybayan ang chain-of-thought

Kapag ang mga AI system ay gumagawa ng mga desisyong mahirap bantayan nang direkta, nagiging mahalagang maintindihan kung paano ginagawa ang mga desisyong iyon. Isang maaasahang paraan ang pagmo-monitor sa panloob na pagdadahilan ng modelo, sa halip na sa mga aksyon o huling output lang nito.

Ang mga modernong reasoning model, tulad ng GPT‑5 Thinking, ay bumubuo muna ng malinaw na chain-of-thought bago maglabas ng sagot. Ang pagmo-monitor sa mga chain-of-thought na ito para matukoy ang maling kilos ay maaaring mas epektibo⁠ kaysa bantayan lang ang mga aksyon at output ng modelo. Pero ikinababahala ng mga mananaliksik sa OpenAI at sa mas malawak na industriya⁠(magbubukas sa bagong window) na maaaring maging marupok ang “kakayahang masubaybayan” ng chain-of-thought kapag may pagbabago sa pamamaraan ng pagsasanay, mga pinagkukunan ng data, at kahit sa patuloy na pag-scale ng mga kasalukuyang algorithm.

Gusto naming manatili ang kakayahang masubaybayan ang mga chain-of-thought habang lumalawak ang mga modelo at nailalapat sa mga setting na may mas mataas na antas ng peligro. Hinihikayat namin ang mga mananaliksik sa buong industriya na magtulungan para mapanatili ang kakayahang masubaybayan ang mga chain-of-thought hangga’t maaari at alamin kung maaari ba itong magsilbing mahalagang control layer para sa mga AI system sa hinaharap. Para mapanatili ang kakayahang masubaybayan, kailangan natin itong masukat, pero kakaunti lang ang mga pagsusuri [1⁠(magbubukas sa bagong window), 2⁠(magbubukas sa bagong window), 3⁠(magbubukas sa bagong window)] at iba-iba ang mga paraan.

Sa trabahong ito, sistematikong sinusuri namin kung paano masumasubaybayan ang chain-of-thought. Ipinapakilala namin ang framework para suriin ang kakayahang masubaybayan ng chain-of-thought at set ng 13 pagsusuri (na binubuo ng kabuuang 24 na kapaligiran) na ginawa para konkretong masukat ang kakayahang masubaybayan ng system. Nahahati ang mga pagsusuring ito sa tatlong archetype—interbensyon, proseso, at katangian ng resulta. Gamit ang mga ito, sinisiyasat namin kung gaano masumasubaybayan ang mga malaking language model ngayon, at kung paano nagbabago ang kakayahang masubaybayan kapag mas maraming pagdadahilan sa inference time, mas malalaking pagpapatibay ng pag-aaral, at mas mataas na antas ng pretraining.

Natuklasan namin na karamihan sa mga frontier reasoning model ay medyo madaling mamasubaybayan, kahit na hindi perpekto. Sa halos bawat setting na sinuri namin, mas epektibo ang pagsubaybay ng chains-of-thought kaysa sa pagsubaybay lang ng mga aksyon at huling output. Ang mga modelong nag-iisip nang mas matagal ay kadalasang mas madaling masubaybayan, at ang pag-opitimize ng pagpapatibay ng pag-aaral sa mga antas ng kasalukuyang frontier ay tila hindi makabuluhang nagpapababa sa kakayahang mamasubaybayan.

Kapansin-pansin, naobserbahan namin ang tradeoff sa pagitan ng pagsisikap sa pagdadahilan at laki ng modelo: kapag nagpapatakbo ng modelo na may mahinang pagsisikap sa pagdadahilan, ang mas maliit na modelo na tumatakbo sa mas matinding pagsisikap sa pagdadahilan ay maaaring umabot sa maihahambing na kakayahan habang mas madaling masubaybayan. Ito ay may kapalit na mas mataas na inference compute, na tinutukoy namin bilang monitorability tax. Sa huli, natuklasan namin na ang pagtatanong ng follow-up na mga tanong at pagsubaybay sa mga resulta nitong chains-of-thought ay maaaring higit pang mapabuti ang kakayahang masubaybayan.

Binibigyang-kahulugan namin ang kakayahang masubaybayan bilang ang kakayahan ng monitor na mahulaan ang mga katangiang interesante tungkol sa kilos ng agent. Sa maraming kaso, ang mga katangiang ito ay tumutukoy sa mga anyo ng maling pag-uugali—tulad ng panlilinlang, reward hacking, o biased reasoning—pero maaari ring kabilang dito ang mga walang masamang epekto na katangian, tulad ng kung ang agent ay umasa sa partikular na pahiwatig o sumunod sa tiyak na linya ng pagdadahilan.

Ang kakayahang masubaybayan ay isang katangiang may dalawang panig. Nakasalalay ito sa parehong monitor at sa agent na binabantayan.

• Mga monitor. Pwede nating gawing mas matalino ang mga monitor sa iba't ibang paraan, at gusto naming ang aming mga pagsusuri ay magbigay ng mas mataas na marka sa mga monitor na mas mahusay sa pag-predict ng pag-uugali ng isang ahente.
• Mga Agent. Maraming obserbasyon sa agent na maaaring ibigay sa monitor, kabilang ang mga aksyon, output, neural activation ng agent, at kamakailan lang sa pagdating ng mga reasoning model, ang chain-of-thought. Posible para sa ilang mga agent na magkaroon ng mga kaisipan na mas mahirap intindihin kaysa sa iba, kaya gusto naming ang aming mga pagsusuri sa kakayahang masubaybayan ay makapaghambing ng mga agent at hindi lang mga monitor.

Idinisenyo ang aming mga pagsusuri para tasahin ang parehong panig: kung ang ilang mga agent ay mas madali o mas mahirap masubaybayan, at kung ang mas may kakayahang mga tagasubaybay ay makaka-i-extract ng mas maraming impormasyon mula sa parehong mga senyales.

Bago ang kasalukuyang henerasyon ng mga reasoning model, karaniwang nakukuha ang chains-of-thought sa pamamagitan ng pag-prompt sa modelo na “mag-isip nang step by step." 

May dalawang mahalagang paraan kung paano naiiba ang chains-of-thought ng mga reasoning model. Una, sadyang sinasanay sila para bumuo ng chain-of-thought bago magbigay ng sagot. Kapag nagpo-prompt ang chat model na mag-isip ng “step by step,” kailangang sundin ng modelo ang anumang espesipikasyon na inilagay sa modelo, halimbawa, makakatulong, harmless, atbp. Sa kabilang banda, tinuturuan ng proseso ng pagsasanay sa pagpapatibay ng pag-aaral ang reasoning model na ang CoT ay pribadong espasyo kung saan puwede itong mag-isip ng kahit ano nang hindi pinaparusahan, katulad ng kung paano puwede mag-isip nang pribado ang isang tao at hindi pinaparusahan para sa “mga krimen sa pag-iisip." 

Pangalawa, epektibong hinahanap ng proseso sa pagsasanay ang mga chains-of-thought na pinakamabisang gamit para sa agent sa pagkuha ng mataas na reward na huling sagot. Kaya naman, hindi lang ang kadena ng pag-iisip ay isang espasyo kung saan malayang maipapahayag ng modelo ang sarili nito, naglalaman din ito ng pag-iisip na tumutulong sa modelo na maabot ang pangwakas na sagot nito.

Ino-organisa namin ang aming mga pagsusuri sa kakayahang masubaybayan sa tatlong magkakaibang archetype, na bawat isa ay gumagamit ng ibang mekanismo para sukatin ang kakayahang masubaybayan.

1. Mga pagsusuri ng interbensyon, na inspirasyon mula kina Chen et al. 2025,⁠(magbubukas sa bagong window) Chua et al. 2025,⁠(magbubukas sa bagong window) Turpin et al. 2023,⁠(magbubukas sa bagong window) ipinakikilala namin ang kontroladong pagbabago sa kapaligiran ng agent at sinusuri kung kaya ng monitor na matukoy kung bakit nagbago ang pag-uugali sa pamamagitan ng pagtukoy ng ebidensya ng intervention sa chain-of-thought. Hindi tulad ng karaniwang pagsusuri ng kontrol (hal., Shade-Arena⁠(magbubukas sa bagong window)), ang mga pagsusuri ng interbensyon ay nagbibigay-daan sa atin na alamin kung made-detect ng monitor kung bakit nagbago ang paggawi, sa halip na basta matukoy kung nangyari ang paggawi. 
2. Ang mga pagsusuri sa proseso ay nakatuon sa mga gawain na may limitadong bilang ng tamang paraan ng pagsagot (halimbawa, ang math problem ay malulutas lang gamit ang ilang tiyak na theorem). Itinatala ng mga ekspertong tao ang mga path na ito, at sinusuri namin kung kaya ng monitor na matukoy kung aling mga hakbang ang aktwal na ginawa ng modelo. Ang mga pagsusuring ito ay nagbibigay-daan sa atin na gamitin ang link kung ano ang ginawa ng modelo sa mga partikular na hakbang na dapat ginawa ng modelo at itanong kung masumasubaybayan ang mga hakbang na iyon.
3. Ang mga pagsusuri batay sa kinalabasan ay ia-apply kapag ang katangian ng output ng modelo ay maaaring masukat nang maaasahan. Sa mga ganitong kaso, sinusubok namin kung kayang hulaan ng monitor ang naturang katangian—gaya ng reward hacking—mula sa pagdadahilan o mga aksyon ng modelo. Halimbawa, sa coding task, maaaring mayroon tayong paraan para maaasahang suriin kung gumagawa ang modelo ng mga aksyon para i-hack ang reward signal, at maaari nating itanong kung nakakakita ang monitor ng ebidensya ng intensyon na reward hack sa pag-iisip o aksyon ng modelo.

Sa ibaba, nagbibigay kami ng taxonomy para sa aming mga pagsusuri. Paki tingnan ang aming papel para sa kumpletong paglalarawan ng bawat indibidwal na pagsusuri.

Kung ituturing ang chain-of-thought bilang pribadong workspace—at sanayin ang mga modelo na gamitin ito para epektibong masolusyonan ang mga gawain—sa prinsipyo, mas madaling masubaybayan ang mga chain-of-thought. Kasabay nito, may ilang mga dahilan kung bakit ang pagpapatibay ng pag-aaral ay maaaring makapinsala sa kakayahang masubaybayan ang chain-of-thought.

Una, ang mga limitasyon sa haba ng pangangatwiran, tulad ng paglilimita sa oras o mga token na kailangang mag-isip ng modelo, ay lumilikha ng mga insentibo para sa mga modelo na mangatwiran nang mas kaunti. Pangalawa, kahit na walang direktang pressure sa pag-optimize sa mismong chain-of-thought, ang mga hindi direktang pressure ay maaari pa ring makabawas sa kakayahang mamasubaybayan. Halimbawa⁠(magbubukas sa bagong window), mas madali para sa mga modelo na makamit ang mga sagot na may mataas na gantimpala kung iiwasan nila ang mga landas ng pangangatuwiran na maaaring magresulta sa mababang gantimpala o hindi kanais-nais na mga kinalabasan. Panghuli, ang nabawasang kakayahang masubaybayan ay maaaring magmula sa spurious drift na dulot sa ingay ng gradient ng pagpapatibay ng pag-aaral.

Sa ibaba, susuriin natin kung paano nagbabago ang pagiging masubaybayan sa dalawa sa mga pagsasanay sa frontier reinforcement learning ng OpenAI. Bagaman dalawang datapoint lang ang ipinapakita ng mga resulta, ipinapahiwatig nito na ang pag-optimize ng pagpapatibay ng pag-aaral sa kasalukuyang frontier scale ay hindi gaanong nakakaapekto sa kakayahang mamasubaybayan ng chain-of-thought, at pinapataas pa nga ang kakayahanang mamasubaybayan sa mga unang hakbang. Gayunpaman, hindi nito inaalis ang posibilidad na ang mas malalaking saklaw ng pagpapatibay ng pag-aaral ay maaaring negatibong makaapekto sa kakayahang masubaybayan sa hinaharap.

Malaking bahagi ng katalinuhan ng kasalukuyang mga AI system ay dulot ng pagtaas ng pretraining scale, kung saan pareho ang dami ng mga model parameter at laki ng dataset na patuloy na lumalaki mula pa sa simula ng GPT paradigm. Ang pagtaas ng bilang ng parameter ay nagreresulta sa mas maraming inference compute na nagagamit sa bawat token na na-generate, na sa kaso ng mga reasoning model, nagbibigay ng mas maraming pagkakataon na maganap ang pag-iisip ng modelo sa loob ng pag-activate kaysa sa loob ng chain-of-thought. Kaya, maaari nating asahan na ang mas malalaking modelo ay hindi gaanong masusubaybayan sa naka-fix na antas ng kakayahan. 

Kasabay nito, ang mas maliliit na modelo ay maaaring hindi rin gaanong epektibo—sa paggamit ng chain-of-thought, na puwede ring makaapekto sa kakayahang masubaybayan.

Para imbestigahan ang ugnayan ng laki ng pretraining, kakayahan, at kakayahang masubaybayan, nagsanay kami ng pamilya ng mga modelo sa loob ng dalawang order ng magnitude ng pretraining compute na may tumataas na depth at width, at pagkatapos ay ini-apply ang pagpapatibay ng pag-aaral sa bawat isa gamit ang pinag-isang dataset ng math, science, at mga gawain sa pagko-code. Sinuri namin ang bawat modelo sa iba't ibang pagsisikap sa pagdadahilan at ikinumpara ang kakayahang masubaybayan sa magkatugmang antas ng kakayahan.

Sa pangkalahatan, natuklasan namin na kung ilulunsad namin ang ibinigay na modelo sa mababang antas ng pagsisikap sa pagdadahilan, maaari naming ilunsad ang mas maliit na modelo sa mas mataas na antas ng pagsisikap sa pagdadahilan. Kung ikukumpara sa paggastos ng karagdagang compute para sa mas maraming reasoning effort mula sa orihinal na malaking modelo, maaari tayong makakuha ng mas mataas na kakayahang masubaybayan sa kaunting kapalit na kakayahan, o tinatawag na monitorability tax; gayunpaman, ang oras na kinakailangan para matapos ang completion ay puwede ring maging konsiderasyon sa ilang desisyon sa deployment, na hindi natin isinasaalang-alang dito. Habang ang ating mga modelo ay bumubuti at inilalagay sa mga sitwasyong may mas mataas na panganib, maaaring maging kinakailangan na magbayad ng ganitong buwis upang ligtas na maipakalat ang mga ito.

Ang mga resultang ito ay may mga sumusunod na limitasyon: (1) isinalalim lang namin ang bawat modelo sa pagsasanay nang isang beses, kaya hindi namin isinasaalang-alang ang pagkakaiba sa pagitan ng iba’t ibang training run. Halimbawa, ang “medium” na modelo ay tila medyo naiiba sa trend ng kakayahang mamonitor kumpara sa ibang modelo sa serye, na maaaring dulot nito. (2) Sinusuri namin ang kakayahan sa mga medyo in-distribution na mga setting (math, science, at coding), at maaaring magbago ang mga tradeoff kapag isinasaalang-alang ang katatagan sa labas ng karaniwang distribution.

Habang lumalawak ang mga system ng AI na lampas sa pagganap sa antas ng tao, ang direktang pangangasiwa ng tao ay nagiging lalong mahirap. Sa ideal na sitwasyon, magkakaroon tayo ng mga scalable control procedure na nagpapahintulot sa mga mapagkakatiwalaan pero mas mahihinang monitor na pangasiwaan ang mas malalakas at posibleng hindi mapagkakatiwalaang mga agent. Ang mga ganitong pamamaraan ay dapat ding makatanggap ng karagdagang kalkulasyon sa oras ng pagsubok at makagawa ng mas tumpak na mga hula.

Kadalasang itinuturing na naka-fix na dami ang kakayahang masubaybayan ng chain-of-thought: kapag nakabuo na ang modelo ng sagot sa partikular na antas ng pag-iisip, sinusubaybayan ang nagresultang chain-of-thought hangga’t maaari. Dahil palagi naming natutuklasan na ang kakayahang masubaybayan ay bumubuti habang pinapataas namin ang reasoning effort ng aming mga agent, naisip naming itanong kung maaari ba kaming makakuha ng mas maraming token na susubaybayan.

Para galugarin ito, nag-eksperimento kami sa pagtatanong ng mga follow-up na tanong pagkatapos sumagot ang modelo, habang pinapanatili ang orihinal na prompt, chain-of-thought, at sagot sa konteksto. Ang mga follow-up na ito ay nakatuon sa katangiang sinusubaybayan—halimbawa, “Ginamit mo ba ang hint sa makabuluhang paraan para piliin ang sagot mo?” o “Gumawa ka ba ng kahina-hinalang bagay?” Sa prinsipyo, dahil napapanatili ng modelo ang akses sa naunang pangangatwiran nito, maaari nitong maipakita ang mga kaisipang hindi pa nabibigkas noon sa kasunod na chain-of-thought o tugon.

Paunang resulta pa lang ang mga ito. Sinubukan lang namin ang iilang format ng follow-up na mga tanong at naniniwala kaming may malaking puwang para mapabuti ang metodolohiya. Bukod pa rito, ang pamamaraang ito ay kahawig ng mga model confession⁠, at aktibo kaming nagsusumikap sa paghahambing ng mga pamamaraan.

Bukod sa pagpapabuti ng kakayahang masubaybayan, kaakit-akit ang pamamaraang ito dahil maaari itong i-apply pagkatapos ng katotohanan, na nagdudulot ng karagdagang gastos sa compute lang kapag kailangan ng mas malalim na pagsusuri. Sa mga susunod na panahon, kung matutunan ng mga modelo na asahan ang pagbabago sa kanilang antas ng pag-iisip sa gitna ng pag-uusap, maaaring lalo pang mapabuti ng mga post-hoc follow-up na may mas mataas na reasoning effort ang kakayahang masubaybayan kahit mababa o wala ang initial reasoning effort.

Sinusukat ng bawat pagsusuri sa aming suite kung masusubaybayan ang aspeto ng proseso ng pangangatwiran. Bagama't nilalayon naming masaklaw ang malawak na hanay ng mga paggawi—kabilang ang sycophancy, sandbagging, bias, scheming, at reward hacking—marami pang karagdagang katangian ang nananatiling hindi nasusubukan.

Tulad ng sa anumang benchmark, maaaring limitado ang realism o tumataas ang kamalayan sa pagsusuri, at maaaring hindi magamit ang mga resulta sa pagtukoy ng maling kilos sa totoong sitwasyon. 

Panghuli, habang bumubuti ang pagkakahanay, maaaring mas madalang na magkamali ang mga modelo sa mga kontroladong setting ng pagsusuri, na binabawasan ang signal na available para sa kakayahang masubaybayan at mga pagsusuri sa kontrol na umaasa sa pagtukoy ng maling paggawi. Sa mga kasong iyon, ang mga "neutral" na pagsusuri sa kakayahang masubaybayan ay nananatiling naaangkop, bagaman bukas ang tanong kung gaano ka-predictive ang mga ito sa mga pagkabigo sa totoong mundo.

Kung hindi ganap na malulutas ang problema sa pag-align, magiging napakahalaga ang mga nasusukat na pamamaraan ng kontrol sa ating kakayahang ligtas na i-deploy ang mga napakahusay na modelo. Ang pag-monitor ng chain-of-thought at mga kaugnay na pamamaraan ay maaaring isa sa ilang mekanismo ng kontrol na magagamit natin. Ang Chain-of-thought ay maaari ring magbunga ng malalaking benepisyo sa pag-unawa nang higit pa tungkol sa ating mga modelo, hal. kung alam ba nila na nasa pagsusuri sila at kumikilos nang iba kaysa sa normal nilang gagawin sa deployment, kung may ebidensya ng anumang hindi kanais-nais na layunin na hindi pa lumalabas sa aming pagsusuri, atbp. Kaya naniniwala kami na napakahalaga na maunawaan kung paano at kailan natin maaaring mawalan ng kakayahang masubaybayan.

Tinitingnan namin ang pagsubaybay sa chain-of-thought bilang pandagdag sa mekanistikong interpretabilidad, hindi bilang kapalit nito. Tulad ng lahat ng kilalang pamamaraan ng pagkontrol at pagbibigay-kahulugan, bawat isa ay may mga limitasyon at mga hindi matukoy na bahagi. Inaasahan namin na ang pagsasama-sama ng iba't ibang pamamaraan—ang defense-in-depth na estratehiya—ay makakatulong para matakpan ang mga kakulangang iniiwan ng kahit anong pamamaraan na nakalantad. Kapansin-pansin, ang mga pagsusuring ipinakilala sa gawaing ito ay maaari ring i-apply para masuri at maihambing ang mga pamamaraan sa pagsubaybay batay sa mekanistikong interpretasyon.

Dahil naniniwala kami na ang pagsubaybay sa chain-of-thought ay maaaring maging isang i-load na layer sa isang scalable na control scheme, plan naming palawakin ang mga pagsusuring ito at gamitin ang mga ito upang ipaalam ang mga desisyon sa pagmomodelo at data sa hinaharap.