Mudelli tar-raġunament jitħabtu biex jikkontrollaw il-katini tal-ħsieb tagħhom, u dan tajjeb

Hekk kif l-aġenti tal-IA jsiru kapaċi jwettqu kompiti dejjem aktar kumplessi u awtonomi, isir aktar importanti li jinżamm superviżjoni affidabbli tal-imġiba tagħhom. B’mod konsistenti mal-prinċipju tagħna ta’ implimentazzjoni iterattiva, nistudjaw kif is-sistemi jġibu ruħhom f’ambjenti tad-dinja reali u nirfinaw kontinwament is-salvagwardji hekk kif javvanzaw il-kapaċitajiet. Biex nappoġġjaw dan, l-approċċ tagħna għas-sikurezza⁠ juża defense-in-depth, b’diversi saffi ta’ difiża komplementari bħal taħriġ tas-sikurezza⁠, ittestjar tal-imġiba⁠, reviżjoni aġentika tal-kodiċi⁠(jinfetaħ f’tieqa ġdida), u  monitoraġġ tal-katina tal-ħsieb (CoT)⁠. Il-monitoraġġ tal-CoT janalizza l-passi ta’ raġunament li l-aġenti jiġġeneraw waqt li jkunu qed isegwu kompiti. Dawn it-traċċi ta’ raġunament jistgħu jipprovdu sinjali siewja kemm waqt it-taħriġ kif ukoll waqt l-implimentazzjoni, u jgħinu lis-sistemi ta’ monitoraġġ jidentifikaw meta l-imġiba ta’ aġent tista’ tkun mhux sikura jew inkonsistenti mal-għanijiet maħsuba mill-utent.

Illum, insibu li r-raġunament tal-mudelli ġeneralment huwa interpretabbli u faċli biex jiġi mmonitorjat⁠. Madankollu, fil-futur, il-monitorabbiltà tista’ tfalli għal varjetà ta’ raġunijiet⁠(jinfetaħ f’tieqa ġdida). Hawnhekk, niffokaw fuq waħda minn dawn it-triqiet: jekk l-aġenti jsiru kapaċi jibdlu b’mod deliberat jew joskuraw ir-raġunament tagħhom meta jkunu jafu li qed jiġu mmonitorjati, l-evalwazzjonijiet jistgħu jistmaw iżżejjed l-allinjament jew is-sikurezza ta’ sistema, u s-sistemi ta’ monitoraġġ jistgħu jsiru inqas affidabbli. 

F’dan ix-xogħol, nistudjaw jekk il-mudelli tar-raġunament attwali humiex kapaċi jikkontrollaw il-katina tal-ħsieb tagħhom b’modi li jnaqqsu l-monitorabbiltà. Il-fehim ta’ din il-kapaċità huwa importanti biex jiġi żgurat li l-monitoraġġ tal-CoT jibqa’ salvagwardja robusta hekk kif is-sistemi tal-IA jsiru aktar kapaċi. Insibu li l-mudelli tar-raġunament attwali jitħabtu biex jikkontrollaw il-CoTs tagħhom, anke meta jingħadilhom li qed jiġu mmonitorjati. Filwaqt li l-kontrollabbiltà hija ogħla għal mudelli akbar, tonqos meta l-mudelli jintalbu jirraġunaw għal aktar ħin u meta jgħaddu minn post-training addizzjonali. Ir-riżultati tagħna jissuġġerixxu li l-kontrollabbiltà tal-CoT x’aktarx bħalissa ma toħloqx riskju kbir għall-monitorabbiltà tal-CoT, għalkemm valutazzjoni kontinwa se tibqa’ importanti hekk kif il-mudelli javvanzaw.

Il-katina tal-ħsieb tirreferi għall-passi intermedji ta’ raġunament li aġent tal-IA jiġġenera waqt li jkun qed isolvi kompitu. Dawn it-traċċi ta’ raġunament jistgħu jipprovdu sinjali utli għas-sikurezza, u jgħinu lis-sistemi ta’ monitoraġġ jivvalutaw jekk l-imġiba ta’ aġent hijiex sikura jew allinjata.

Il-kontrollabbiltà tal-CoT hija l-kapaċità ta’ mudell tar-raġunament li jikkontrolla proprjetajiet tal-CoT tiegħu b’modi li jnaqqsu l-monitorabbiltà. Il-kejl ta’ din il-kapaċità fil-firxa sħiħa ta’ inċentivi realistiċi biex jiġu evitati l-monitors li nistgħu nistennew fil-prattika huwa diffiċli. Minflok, nużaw proxy prattiku: inkejlu l-kapaċità tal-mudell li jsegwi istruzzjonijiet tal-utent dwar il-CoT tiegħu. Pereżempju, nittestjaw jekk mudell jistax isegwi istruzzjonijiet li jaffettwaw ir-raġunament intern tiegħu—bħal li juża biss ittri żgħar, jevita ċerti kliem ewlenin, jew iżid frażijiet speċifiċi—aktar milli sempliċement ibiddel l-output viżibbli tiegħu.

Biex nistudjaw dan, nintroduċu CoT-Control, suite ta’ evalwazzjoni open-source għall-kejl tal-kontrollabbiltà tal-CoT ta’ mudelli tar-raġunament. CoT-Control jinkludi aktar minn 13,000 kompitu mibni minn benchmarks stabbiliti:  GPQA, MMLU-Pro, HLE, BFCL u SWE-Bench Verified⁠. Kull kompitu jinħoloq billi problema ta’ benchmark titqabbad ma’ istruzzjoni waħda tal-CoT bħall-evitar ta’ ċerti kliem ewlenin rilevanti għall-problema fil-CoT, l-użu ta’ ittri żgħar biss, jew iż-żieda ta’ kelma partikolari ma’ kull sentenza.

Inwettqu evalwazzjonijiet fuq 13-il mudell tar-raġunament, u nsibu li kollha jitħabtu biex jikkontrollaw il-CoTs tagħhom b’mod affidabbli. Inkejlu l-kontrollabbiltà bħala frazzjoni ta’ traċċi ta’ raġunament fejn il-mudell jikkonforma b’suċċess mal-istruzzjonijiet tagħna tal-CoT. Fil-mudelli fruntiera, il-punteġġi tal-kontrollabbiltà tal-CoT huma baxxi, ivarjaw minn 0.1% u ma jaqbżux 15.4% għal ebda mudell fruntiera attwali li ttestjajna. 

Din l-inkapaċità ma tirriżultax minn nuqqas ta’ fehim tal-kompitu: il-mudelli spiss jagħrfu fil-CoT tagħhom li qed jonqsu milli jikkonformaw mal-istruzzjonijiet tal-CoT li ngħataw u—even after this realization—xorta jibqgħu jonqsu. Din il-prestazzjoni sorprendentement baxxa hija aħbar tajba għall-monitorabbiltà tal-CoT: tissuġġerixxi li l-mudelli jistgħu bl-istess mod ma jkollhomx il-kapaċità li joskuraw ir-raġunament tagħhom biex jevitaw il-monitors tagħna.

Filwaqt li naraw li l-kontrollabbiltà tiżdied mad-daqs tal-mudell, insibu wkoll li tonqos malajr bl-ammont ta’ post-training u compute fil-ħin tat-test. Meta nħarsu lejn żewġ familji ta’ mudelli open-weight, mudelli akbar kienu kemxejn aħjar biex jikkontrollaw il-katini tal-ħsieb tagħhom, għalkemm l-effett beda jonqos f’daqsijiet akbar. Iżda meta ħallejna lill-mudelli jaħsbu aktar fit-tul, saru inqas kapaċi jikkontrollaw dawk il-katini tal-ħsieb. Rajna xejra simili għat-taħriġ RL ta’ OLMo-3-7B-RL-Zero-Math: il-punteġġ tal-kontrollabbiltà tiegħu naqas b’aktar minn fattur ta’ għaxra matul it-taħriġ.

Il-kontrollabbiltà tiżdied bl-iskala fil-mudelli open-weight iżda tiddeterjora b’raġunament itwal u aktar taħriġ RL.

Biex nissimulaw inċentivi realistiċi biex jiġu evitati l-monitors, inkejlu l-kontrollabbiltà meta l-mudelli jingħadulhom li qed jiġu mmonitorjati jew evalwati. Dan iżid il-kontrollabbiltà ftit (iżda b’mod notevoli). Nużaw ukoll ottimizzazzjoni awtomatika tal-prompt biex insibu prompts li jqanqlu kontrollabbiltà għolja. Filwaqt li l-ottimizzatur jista’ jżid il-kontrollabbiltà fuq sett ta’ taħriġ, dawn il-qligħ jittrasferixxu ħażin għal tipi ġodda ta’ istruzzjoni (bħal li ma jkunx hemm spazji bejn il-kliem).

Il-kompiti f’CoT-Control huma proxies prattiċi: evalwazzjoni ideali tal-kontrollabbiltà tal-CoT tinvolvi ttestjar ta’ jekk mudelli li naturalment isegwu għanijiet mhux allinjati jistgħux jikkontrollaw il-CoT tagħhom biex jevadu l-monitoraġġ. Minflok, nistmaw il-kapaċità tal-aġenti li jikkontrollaw il-CoTs tagħhom billi nkejlu l-kapaċità tagħhom li jsegwu istruzzjonijiet dwar il-CoT tagħhom. Barra minn hekk, il-mudelli jistgħu jikkontrollaw xi karatteristiċi tal-CoT tagħhom aħjar minn oħrajn, u CoT-Control jista’ jkun qed jistma żżejjed jew anqas milli suppost il-kontrollabbiltà billi jkejjel biss sett dejjaq ta’ tipi ta’ kontrollabbiltà.

Il-kontrollabbiltà baxxa tal-CoT hija karatteristika, mhux bug. Il-kontrollabbiltà baxxa tal-mudelli tar-raġunament attwali tagħmel il-monitoraġġ tal-CoT aktar affidabbli bħala salvagwardja. Fl-istess ħin, għadna ma nifhmux għaliex il-kontrollabbiltà tal-mudelli tar-raġunament attwali hija baxxa—jew jekk din il-proprjetà hix se tippersisti hekk kif il-mudelli jsiru aktar kapaċi. Għalhekk, l-evalwazzjonijiet tal-kontrollabbiltà tal-CoT jistgħu jitqiesu bħala evalwazzjoni canary: sinjal bikri ta’ twissija dwar jekk il-mudelli humiex qed isiru aħjar biex jiffurmaw jew jaħbu r-raġunament tagħhom. 

Ir-riżultati tagħna jissuġġerixxu li l-kontrollabbiltà tal-CoT x’aktarx bħalissa ma toħloqx riskju kbir għall-monitorabbiltà tal-CoT. Madankollu, kontrollabbiltà baxxa waħedha mhix biżżejjed biex tiggarantixxi monitorabbiltà għolja għax il-monitorabbiltà xorta tista’ tiddeterjora minħabba mekkaniżmi oħra bħal pressjoni diretta ta’ ottimizzazzjoni fuq il-CoTs. 

Biex ngħinu nsegwu dawn id-dinamiċi maż-żmien, se nibdew nirrapportaw il-kontrollabbiltà tal-CoT flimkien ma’ il-monitorabbiltà tal-CoT⁠ fil-kards tas-sistema għal mudelli fruntiera futuri, billi nibdew b’GPT‑5.4 Thinking, nibnu fuq l-impenn kontinwu tagħna⁠ biex ma napplikawx pressjoni ta’ ottimizzazzjoni direttament fuq il-CoTs ta’ mudelli tar-raġunament fruntiera.