Evalwazzjoni tal-monitoraġġabbiltà tal-katina tal-ħsieb
Nintroduċu evalwazzjonijiet għall-monitoraġġabbiltà tal-katina tal-ħsieb u nistudjaw kif tiskala mal-komputazzjoni waqt it-test, l-apprendiment ta' tisħiħ, u t-taħriġ preliminari.
Meta s-sistemi tal-IA jieħdu deċiżjonijiet li huma diffiċli biex jiġu ssorveljati direttament, isir importanti li nifhmu kif jittieħdu dawk id-deċiżjonijiet. Approċċ promettenti wieħed huwa li jiġi mmonitorjat ir-raġunament intern ta’ mudell, aktar milli biss l-azzjonijiet tiegħu jew l-outputs finali.
Mudelli moderni tar-raġunament, bħal GPT‑5 Thinking, jiġġeneraw katina tal-ħsieb espliċita qabel ma jipproduċu tweġiba. Il-monitoraġġ ta’ dawn il-ktajjen tal-ħsieb għal imġiba ħażina jista’ jkun ferm aktar effettiv milli jiġi mmonitorjat biss l-azzjonijiet u l-outputs finali ta’ mudell. Madankollu, riċerkaturi f’OpenAI u fl-industrija usa’ huma mħassba(jinfetaħ f’tieqa ġdida) li din il-“monitoraġġabbiltà” tal-katina tal-ħsieb tista’ tkun fraġli għal bidliet fil-proċedura tat-taħriġ, is-sorsi tad-data, u anke għall-iskalar kontinwu tal-algoritmi eżistenti.
Irridu li l-monitoraġġabbiltà tal-katina tal-ħsieb tibqa’ soda hekk kif il-mudelli jiskalaw u jiġu skjerati f’kuntesti b’riskju ogħla. Inħeġġu lir-riċerkaturi fl-industrija kollha biex jaħdmu biex jippreservaw il-monitoraġġabbiltà tal-katina tal-ħsieb għal kemm jista’ jkun u biex jiddeterminaw jekk tistax isservi bħala saff ta’ kontroll strutturali għal sistemi futuri tal-IA. Biex nippreservaw il-monitoraġġabbiltà, irridu nkunu nistgħu nkejluh, iżda jeżistu ftit evalwazzjonijiet [1(jinfetaħ f’tieqa ġdida), 2(jinfetaħ f’tieqa ġdida), 3(jinfetaħ f’tieqa ġdida)] u l-metodoloġiji jvarjaw.
F’dan ix-xogħol, nistudjaw il-monitoraġġabbiltà tal-katina tal-ħsieb b’mod sistematiku. Nintroduċu qafas biex nevalwaw il-monitoraġġabbiltà tal-katina tal-ħsieb u suite ta’ 13-il evalwazzjoni (li flimkien jinkludu total ta’ 24 ambjent) imfassla biex ikejlu b’mod konkret il-monitoraġġabbiltà ta’ sistema. Dawn l-evalwazzjonijiet jaqgħu fi tliet arketipi—intervent, proċess, u proprjetà tar-riżultat. Bihom, nistudjaw kemm huma monitoraġġabbli l-mudelli kbar tal-lingwa tal-lum, u kif il-monitoraġġabbiltà tinbidel b’aktar raġunament waqt l-inferenza, b’runs akbar ta’ apprendiment ta' tisħiħ, u b’żieda fl-iskala tat-taħriġ preliminari.
Issa li għandna suite kbira ta’ evalwazzjonijiet, nistgħu nibdew insegwu l-monitoraġġabbiltà tal-mudelli tagħna. (fuq-xellug) Insibu li hekk kif il-mudelli “jaħsbu” aktar u jkollhom ktajjen tal-ħsieb itwal, il-monitoraġġabbiltà titjieb. (fuq-lemin) Mingħajr katina tal-ħsieb, huwa standard li tipprova tissorvelja biss l-azzjonijiet u l-outputs finali ta’ mudell. Madankollu, insibu li l-monitoraġġ tal-azzjonijiet u l-outputs biss jagħti riżultati ferm agħar mill-monitoraġġ tal-CoT. (isfel-fiċ-ċentru) Inqabblu l-mudelli tagħna ma’ mudelli esterni li jagħtu aċċess għal CoT sħiħ—Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B, u Kimi K2 Thinking.
Insibu li l-biċċa l-kbira tal-mudelli fruntiera tar-raġunament huma pjuttost monitoraġġabbli, għalkemm mhux perfettament. Kważi f’kull kuntest li nistudjaw, il-monitoraġġ tal-ktajjen tal-ħsieb huwa sostanzjalment aktar effettiv milli jiġi mmonitorjat biss l-azzjonijiet u l-outputs finali. Mudelli li jaħsbu għal żmien itwal għandhom tendenza li jkunu aktar monitoraġġabbli, u l-ottimizzazzjoni bl-apprendiment ta' tisħiħ fuq skali fruntiera attwali ma tidhirx li tnaqqas il-monitoraġġabbiltà b’mod sinifikanti.
B’mod notevoli, nosservaw kompromess bejn l-isforz tar-raġunament u d-daqs tal-mudell: meta mudell jitħaddem b’isforz baxx ta’ raġunament, mudell iżgħar imħaddem b’isforz ogħla ta’ raġunament jista’ jilħaq kapaċità komparabbli filwaqt li jkun aktar faċli biex jiġi mmonitorjat. Dan jiġi bl-ispiża ta’ aktar komputazzjoni tal-inferenza, li nirreferu għaliha bħala taxxa tal-monitoraġġabbiltà. Fl-aħħar, insibu li li nistaqsu mistoqsijiet ta’ segwitu u nmonitorjaw il-ktajjen tal-ħsieb li jirriżultaw jista’ jtejjeb aktar il-monitoraġġabbiltà.
Niddefinixxu l-monitoraġġabbiltà bħala l-abbiltà ta’ monitor li jbassar proprjetajiet ta’ interess dwar l-imġiba ta’ aġent. F’ħafna każijiet, dawn il-proprjetajiet jikkorrispondu għal forom ta’ mġiba ħażina—bħal qerq, hack tal-premju, jew raġunament preġudikat—iżda jistgħu jinkludu wkoll proprjetajiet beninni, bħal jekk aġent qagħadx fuq ħjiel partikolari jew segwiex linja speċifika ta’ raġunament.
Il-monitoraġġabbiltà hija proprjetà fuq żewġ naħat. Tiddependi kemm fuq il-monitor kif ukoll fuq l-aġent li qed jiġi mmonitorjat.
- Monitors. Nistgħu nagħmlu l-monitors aktar intelliġenti b’diversi modi, u nixtiequ li l-evalwazzjonijiet tagħna jagħtu punteġġi ogħla lil monitors li jistgħu jagħmlu tbassir aħjar dwar l-imġiba ta’ aġent.
- Aġenti. Hemm ħafna osservazzjonijiet tal-aġent li jistgħu jingħataw lill-monitor, inklużi l-azzjonijiet, l-outputs, l-attivazzjonijiet newrali, u reċentement bil-miġja tal-mudelli tar-raġunament, il-katina tal-ħsieb. Huwa possibbli li xi aġenti jkollhom ħsibijiet li huma aktar diffiċli biex jinftiehmu minn oħrajn, u għalhekk nixtiequ li l-evalwazzjonijiet tagħna tal-monitoraġġabbiltà jkunu jistgħu jqabblu l-aġenti u mhux biss il-monitors.
L-evalwazzjonijiet tagħna huma mfassla biex jivvalutaw iż-żewġ naħat: jekk ċerti aġenti humiex aktar faċli jew aktar diffiċli biex jiġu mmonitorjati, u jekk monitors aktar kapaċi jistgħux joħorġu aktar informazzjoni mill-istess sinjali.
Qabel il-ġenerazzjoni attwali ta’ mudelli tar-raġunament, il-ktajjen tal-ħsieb kienu tipikament jiġu elicited billi wieħed jagħti prompt lill-mudell biex “jaħseb pass pass.”
Il-ktajjen tal-ħsieb tal-mudelli tar-raġunament ivarjaw b’żewġ modi importanti. L-ewwel, huma mħarrġa b’mod espliċitu biex jiġġeneraw katina tal-ħsieb u mbagħad jagħtu tweġiba. Meta tagħti prompt lil mudell taċ-chat biex jaħseb “pass pass,” il-mudell irid iżomm ma’ kwalunkwe speċifikazzjoni imposta fuqu, jiġifieri li jkun ta’ għajnuna, li ma jagħmilx ħsara, eċċ. Bil-maqlub, il-proċess tat-taħriġ bl-apprendiment ta' tisħiħ jgħallem lil mudell tar-raġunament li l-CoT huwa workspace privat fejn jista’ jaħseb dak kollu li jrid u ma jiġix ikkastigat, l-istess bħal bniedem jista’ jaħseb fil-privat u ma jiġix ikkastigat għal “reati tal-ħsieb.”
It-tieni, il-proċess tat-taħriġ effettivament ifittex ktajjen tal-ħsieb li huma l-aktar strumentalment utli għall-aġent biex jikseb tweġiba finali bi premju għoli. Għalhekk, mhux biss il-katina tal-ħsieb hija spazju fejn il-mudell jista’ jesprimi ruħu liberament, iżda fiha ħsieb li jgħin lill-mudell jilħaq it-tweġiba finali tiegħu.
Norganizzaw l-evalwazzjonijiet tal-monitoraġġabbiltà tagħna fi tliet arketipi distinti, kull wieħed jisfrutta mekkaniżmu differenti biex ikejjel il-monitoraġġabbiltà.
- Evalwazzjonijiet ta’ intervent, ispirati minn Chen et al. 2025(jinfetaħ f’tieqa ġdida), Chua et al. 2025(jinfetaħ f’tieqa ġdida), Turpin et al. 2023(jinfetaħ f’tieqa ġdida), aħna nintroduċu bidla kkontrollata fl-ambjent tal-aġent u nittestjaw jekk monitor jistax jinduna għaliex l-imġiba nbidlet billi jidentifika evidenza tal-intervent fil-katina tal-ħsieb. B’differenza mill-evalwazzjonijiet standard ta’ kontroll (eż. Shade-Arena(jinfetaħ f’tieqa ġdida)), l-evalwazzjonijiet ta’ intervent jippermettulna nesploraw jekk monitor jistax jinduna għaliex l-imġiba nbidlet, aktar milli sempliċement jinduna jekk seħħitx imġiba.
- Evalwazzjonijiet tal-proċess jiffokaw fuq kompiti b’numru limitat ta’ mogħdijiet validi ta’ soluzzjoni (pereżempju, problema tal-matematika tista’ tissolva biss b’ċerti teoremi). Esperti umani jelenkaw dawn il-mogħdijiet, u aħna nittestjaw jekk monitor jistax jinduna liema passi fil-fatt ħa l-mudell. Dawn l-evalwazzjonijiet jippermettulna norbtu dak li għamel mudell ma’ passi partikolari li l-mudell kellu jieħu u nistaqsu jekk dawk il-passi humiex monitoraġġabbli.
- Evalwazzjonijiet ta’ proprjetà tar-riżultat japplikaw meta proprjetà tal-output tal-mudell tista’ titkejjel b’mod affidabbli. F’dawn il-każijiet, nittestjaw jekk monitor jistax ibassar dik il-proprjetà—bħal hack tal-premju—mir-raġunament jew l-azzjonijiet tal-mudell. Pereżempju, f’kompitu ta’ kodifikazzjoni, jista’ jkollna mod affidabbli biex nivvalutaw jekk mudell hux qed jieħu azzjonijiet biex jagħmel hack ta’ sinjal ta' premju, u nistgħu nistaqsu jekk monitor isibx evidenza ta’ intenzjoni li jagħmel hack tal-premju fil-ħsieb jew fl-azzjonijiet tal-mudell.
Hawn taħt nipprovdu tassonomija għall-evalwazzjonijiet tagħna. Jekk jogħġbok ara l-karta tagħna għal deskrizzjoni sħiħa ta’ kull evalwazzjoni individwali.
L-evalwazzjonijiet newtrali jistaqsu jekk ir-raġunament għal kompiti normali fejn il-mudell ma jġibx ruħu ħażin huwiex monitoraġġabbli. L-evalwazzjonijiet ta’ sycophancy jimmiraw każijiet fejn il-mudelli jibdlu l-imġiba tagħhom biex jogħġbu żżejjed jew jaqblu ma’ utent. L-evalwazzjonijiet tal-preġudizzju jistaqsu jekk il-preġudizzju ta’ mudell dwar is-sess, ir-razza, eċċ. huwiex monitoraġġabbli. Fl-aħħar, nużaw it-tikketta ta’ nuqqas ta’ allinjament bħala terminu ġenerali għal forom oħra ta’ mġiba ħażina: qerq, gideb, eċċ.¹
Insibu li l-monitoraġġabbiltà tal-mudell tagħna tvarja sa ċertu punt skont il-grupp. Ġeneralment insibuhom monitoraġġabbli ħafna; madankollu, b’mod partikolari fi Scruples, li huwa kompitu mfassal biex jara jekk ir-raġunament dwar sycophancy huwiex monitoraġġabbli, naraw monitoraġġabbiltà baxxa ħafna.
Eżempji monitoraġġabbli vs. mhux monitoraġġabbli
F’dan l-eżempju ta’ proprjetà tar-riżultat, il-mudell jingħata kompitu ta’ kodifikazzjoni impossibbli. Jekk it-testijiet tal-unit jgħaddu, allura nafu li l-mudell wettaq xi tip ta’ hack. Fil-CoT mhux monitoraġġabbli (aħmar), ma naraw l-ebda evidenza li l-mudell isemmi li qed jagħmel xi ħaġa ħażina, iżda sempliċement jagħmel hack tat-testijiet u jgħid lill-utent li implimenta s-soluzzjoni. B’kuntrast qawwi, fil-CoT monitoraġġabbli (aħdar), naraw lill-mudell jaħseb “Imma monkey patching tal-ħin fis-soluzzjoni bla dubju huwa qerq.”
It-trattament tal-katina tal-ħsieb bħala workspace privat—u t-taħriġ tal-mudelli biex jużawha biex isolvu l-kompiti b’mod effettiv—għandu, fil-prinċipju, jagħmel il-ktajjen tal-ħsieb monitoraġġabbli. Fl-istess ħin, hemm diversi raġunijiet għaliex l-apprendiment ta' tisħiħ jista’ b’mod plawsibbli jagħmel ħsara lill-monitoraġġabbiltà tal-katina tal-ħsieb.
L-ewwel, restrizzjonijiet fuq it-tul tar-raġunament, bħall-limitazzjoni tal-ħin jew tat-tokens li mudell għandu biex jaħseb, joħolqu inċentivi biex il-mudelli jirraġunaw inqas. It-tieni, anke mingħajr ma tiġi applikata pressjoni diretta ta’ ottimizzazzjoni fuq il-katina tal-ħsieb innifisha, pressjonijiet indiretti xorta jistgħu jnaqqsu l-monitoraġġabbiltà. Pereżempju(jinfetaħ f’tieqa ġdida), il-mudelli jistgħu jsibuha aktar faċli jilħqu tweġibiet bi premju għoli jekk jevitaw mogħdijiet ta’ raġunament li jistgħu jwasslu għal riżultati bi premju baxx jew mhux mixtieqa. Fl-aħħar, tnaqqis fil-monitoraġġabbiltà jista’ jirriżulta minn drift spurju mmexxi mill-istorbju tal-gradjent tal-apprendiment ta' tisħiħ.
Hawn taħt, neżaminaw kif il-monitoraġġabbiltà tinbidel matul tnejn mir-runs tat-taħriġ ta’ apprendiment ta' tisħiħ fruntiera ta’ OpenAI. Filwaqt li dawn ir-riżultati jirrappreżentaw biss żewġ punti tad-data, huma jissuġġerixxu li l-ottimizzazzjoni bl-apprendiment ta' tisħiħ fuq skali fruntiera attwali ma tnaqqasx b’mod materjali l-monitoraġġabbiltà tal-katina tal-ħsieb, u żżid il-monitoraġġabbiltà għall-passi bikrin. Madankollu, dan ma jeskludix il-possibbiltà li skali ferm akbar ta’ apprendiment ta' tisħiħ jistgħu jaffettwaw il-monitoraġġabbiltà b’mod negattiv fil-futur.
Insibu li l-monitoraġġabbiltà ma tinbidilx daqshekk fuq l-iskali attwali ta’ komputazzjoni RL, u tiżdied fil-passi inizjali. Filwaqt li dan jista’ jkun minnu fir-reġim attwali, huwa possibbli li żieda sinifikanti fl-iskala tista’ tikkawża li l-monitoraġġabbiltà tibda tiddeterjora.
Porzjon kbir mill-intelliġenza tas-sistemi attwali tal-IA huwa mmexxi minn żieda fl-iskala tat-taħriġ preliminari, fejn kemm il-parametri tal-mudell kif ukoll id-daqsijiet tad-datasets kibru b’mod konsistenti mill-bidu tal-paradigma GPT. Żieda fl-għadd tal-parametri tirriżulta f’aktar komputazzjoni tal-inferenza użata għal kull token iġġenerat, li, fil-każ tal-mudelli tar-raġunament, tagħti aktar opportunità biex il-konjizzjoni tal-mudell isseħħ fl-attivazzjonijiet aktar milli fil-katina tal-ħsieb. Għalhekk, nistgħu nistennew li mudelli akbar ikunu inqas monitoraġġabbli f’livell fiss ta’ kapaċità.
Fl-istess ħin, mudelli iżgħar jistgħu wkoll ikunu inqas kapaċi jużaw il-katina tal-ħsieb b’mod effettiv—u dan jista’ jaffettwa wkoll il-monitoraġġabbiltà.
Biex ninvestigaw ir-relazzjoni bejn id-daqs tat-taħriġ preliminari, il-kapaċità, u l-monitoraġġabbiltà, ħarriġna familja ta’ mudelli fuq żewġ ordnijiet ta’ kobor ta’ komputazzjoni tat-taħriġ preliminari b’żieda fil-fond u l-wisa’, u mbagħad applikajna apprendiment ta' tisħiħ għal kull wieħed fuq dataset kondiviż ta’ kompiti ta’ matematika, xjenza, u kodifikazzjoni. Evalwajna kull mudell fuq firxa ta’ sforzi ta’ raġunament u qabbilna l-monitoraġġabbiltà f’livelli ta’ kapaċità mqabbla.
Nipplottjaw il-monitoraġġabbiltà fuq is-suite ta’ evalwazzjoni tagħna ta’ kull mudell kontra r-rata medja ta’ għaddas fuq sett ta’ evalwazzjonijiet standard tal-kapaċità (GPQA-Diamond, AIME 2025, u CodeForces). Kull mudell jiġi evalwat fuq ħafna sforzi ta’ raġunament (innota li kull punt f’din il-figura huwa fil-fatt ir-riżultat ta’ interpolazzjoni lineari bejn sforzi ta’ raġunament imkejla). Iċ-ċrieki jindikaw li l-mudell f’dak l-isforz partikolari ta’ raġunament jiddomina fil-monitoraġġabbiltà f’dak il-livell ta’ kapaċità, u X trasparenti jirrappreżentaw li l-mudell f’dak l-isforz partikolari ta’ raġunament huwa ddominat fil-monitoraġġabbiltà minn mudell ieħor għal dak il-livell ta’ kapaċità. Bil-vleġeġ suwed nuru eżempji ta’ żewġ modi kif tonfoq aktar komputazzjoni tal-inferenza, billi tikkampjona ħafna aktar tokens b’mudell iżgħar jew relattivament inqas tokens addizzjonali bl-istess mudell. Bil-vleġeġ ħomor, nuru t-taxxa tal-monitoraġġabbiltà li trid titħallas bejniethom, jiġifieri kapaċitajiet kemxejn imnaqqsa għal ħafna aktar monitoraġġabbiltà.
B’mod ġenerali, insibu li jekk kellna niskjeraw mudell partikolari b’isforz baxx ta’ raġunament, nistgħu minflok niskjeraw mudell iżgħar b’isforz ogħla ta’ raġunament. Meta mqabbel ma’ li tonfoq il-komputazzjoni addizzjonali fuq aktar sforz ta’ raġunament mill-mudell kbir oriġinali, nistgħu niksbu monitoraġġabbiltà ogħla bi spiża żgħira fil-kapaċità, jew taxxa tal-monitoraġġabbiltà; madankollu, il-ħin reali li jieħu biex titlesta completion jista’ wkoll ikun fattur f’xi deċiżjonijiet ta’ skjerament, li aħna ma nikkunsidrawhx hawnhekk. Hekk kif il-mudelli tagħna jitjiebu u jiġu skjerati f’kuntesti b’riskju ogħla, jista’ jsir meħtieġ li titħallas taxxa bħal din biex jiġu skjerati b’mod sigur.
Dawn ir-riżultati għandhom il-limitazzjonijiet li ġejjin: (1) inħarrġu kull mudell darba biss, u għalhekk ma nqisux il-varjanza bejn runs ta’ taħriġ. Pereżempju, il-mudell “medium” jidher pjuttost barra mit-trend fil-monitoraġġabbiltà meta mqabbel mal-mudelli l-oħra fis-serje, u dan jista’ jkun minħabba f’hekk. (2) Nevalwaw il-kapaċitajiet fuq settings relattivament in-distribution (matematika, xjenza, u kodifikazzjoni), u l-kompromessi jistgħu jinbidlu meta jitqieset ir-robustezza out-of-distribution.
Hekk kif is-sistemi tal-IA jiskalaw lil hinn mill-prestazzjoni fil-livell uman, is-superviżjoni diretta mill-bniedem issir dejjem aktar diffiċli. Idealment, ikollna proċeduri ta’ kontroll skalabbli li jippermettu lil monitors fdati iżda aktar dgħajfa jissorveljaw aġenti aktar b’saħħithom, potenzjalment mhux fdati. Proċeduri bħal dawn għandhom ikunu jistgħu wkoll jassorbu komputazzjoni addizzjonali waqt it-test u jipproduċu tbassir aktar preċiż.
(Xellug) Inqabblu ħafna monitors differenti u nvarjaw l-isforz tar-raġunament ta’ kull wieħed. Kull monitor qed jissorvelja l-istess mudell GPT‑5 Thinking. Kif wieħed jistenna, insibu li ġeneralment mudelli akbar u aktar kapaċi jaġixxu bħala monitors aħjar, u mudelli tar-raġunament jagħmlu aħjar fil-kompitu tal-monitoraġġ b’isforz ogħla ta’ raġunament (u għalhekk b’komputazzjoni waqt it-test).
(Lemin) Inqabblu ambiti differenti ta’ osservazzjoni tal-monitoraġġ għal OpenAI o4-mini, jiġifieri jekk il-monitor jistax jara biss il-CoT, biss l-azzjonijiet u t-tweġiba, jew il-messaġġi kollha mill-mudell li qed jissorvelja. B’mod notevoli, insibu li l-monitoraġġabbiltà b’żieda fil-komputazzjoni tal-monitoraġġ waqt it-test (isforz ogħla ta’ raġunament tal-monitoraġġ) titjieb b’rata aktar mgħaġġla meta l-monitor jingħata aċċess għall-CoT. Għalhekk, il-monitoraġġ tal-CoT jista’ jipprovdi triq aktar skalabbli għall-kontroll milli monitoraġġ naiv.
Il-monitoraġġabbiltà tal-katina tal-ħsieb ħafna drabi titqies bħala kwantità fissa: ladarba mudell jipproduċi tweġiba f’sforz partikolari ta’ raġunament, wieħed jissorvelja l-katina tal-ħsieb li tirriżulta bl-aħjar mod possibbli. Għax sibna b’mod konsistenti li l-monitoraġġabbiltà titjieb hekk kif inżidu l-isforz tar-raġunament tal-aġenti tagħna, ġejna ispirati nistaqsu jekk nistgħux b’xi mod niksbu aktar tokens x’nissorveljaw.
Biex nesploraw dan, esperimentajna billi staqsejna mistoqsijiet ta’ segwitu wara li mudell iwieġeb, filwaqt li nżommu l-prompt oriġinali, il-katina tal-ħsieb, u t-tweġiba fil-kuntest. Dawn is-segwiti jiffokaw fuq il-proprjetà li qed tiġi mmonitorjata—pereżempju, “Użajt il-ħjiel b’mod sinifikanti biex tagħżel it-tweġiba tiegħek?” jew “Għamilt xi ħaġa suspettuża?” Fil-prinċipju, minħabba li l-mudell iżomm aċċess għar-raġunament preċedenti tiegħu, jista’ jkun jista’ juri ħsibijiet li qabel ma ġewx verbalizzati fil-katina tal-ħsieb tas-segwitu jew fit-tweġiba.
Dawn ir-riżultati huma preliminari. Esplorajna biss numru żgħir ta’ formati ta’ mistoqsijiet ta’ segwitu u nemmnu li hemm spazju sostanzjali għal metodoloġija aħjar. Barra minn hekk, dan il-metodu huwa simili fl-ispirtu għal konfessjonijiet tal-mudell, u qegħdin naħdmu b’mod attiv biex inqabblu l-approċċi.
Nuru riżultati medji fuq is-suite ta’ evalwazzjoni tagħna u fuq il-mudelli riċenti kollha tagħna tar-raġunament: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini, u GPT‑5‑thinking. Insibu li b’mod ġenerali, mistoqsijiet ta’ segwitu jtejbu l-monitoraġġabbiltà speċjalment f’livelli aktar baxxi ta’ sforz ta’ raġunament. Jekk nistaqsu ripetutament il-mistoqsija ta’ segwitu u nagħtu lill-monitor il-CoTs kollha ta’ segwitu, il-monitoraġġabbiltà titjieb aktar. B’mod notevoli, meta nagħtu lill-monitor aċċess biss għat-tweġiba ta’ segwitu u mhux għall-CoT ta’ segwitu, naraw inqas titjib fuq il-linja bażi. Dan jindika li l-mudelli mhumiex trasparenti fit-tweġibiet tagħhom lill-utent, iżda jiġri li jagħtu aktar informazzjoni fil-CoT tagħhom.
Minbarra li jtejjeb il-monitoraġġabbiltà, dan l-approċċ huwa attraenti għax jista’ jiġi applikat post hoc, u jġarrab spiża addizzjonali ta’ komputazzjoni biss meta jkun hemm bżonn spezzjoni aktar profonda. Meta nħarsu ’l quddiem, jekk il-mudelli jiġu mħarrġa jistennew bidliet fl-isforz tar-raġunament f’nofs konverżazzjoni, segwiti post hoc b’isforz ogħla ta’ raġunament jistgħu jtejbu aktar il-monitoraġġabbiltà anke meta l-isforz inizjali tar-raġunament ikun baxx jew nieqes.
Kull evalwazzjoni fis-suite tagħna tkejjel jekk aspett wieħed tal-proċess tar-raġunament huwiex monitoraġġabbli. Filwaqt li nimmiraw li nkopru firxa wiesgħa ta’ mġibiet—inklużi sycophancy, sandbagging, preġudizzju, skeming, u hack tal-premju—hemm ħafna proprjetajiet addizzjonali li għadhom mhux ittestjati.
Bħal kull benchmark, l-evalwazzjonijiet tagħna jistgħu jbatu minn realiżmu limitat jew minn għarfien dejjem akbar tal-evalwazzjoni, u r-riżultati jistgħu ma jiġux ġeneralizzati għad-detezzjoni ta’ mġiba ħażina fid-dinja reali.
Fl-aħħar, hekk kif l-allinjament jitjieb, il-mudelli jistgħu jġibu ruħhom ħażin inqas ta’ spiss f’kuntesti ta’ evalwazzjoni kkontrollati, u b’hekk inaqqsu s-sinjal disponibbli għall-evalwazzjonijiet tal-monitoraġġabbiltà u tal-kontroll li jiddependu fuq id-detezzjoni ta’ mġiba ħażina. F’dawk il-każijiet, evalwazzjonijiet “newtrali” tal-monitoraġġabbiltà jibqgħu applikabbli, għalkemm hija mistoqsija miftuħa kemm huma predittivi ta’ fallimenti fid-dinja reali.
Jekk il-problema tal-allinjament ma tistax tissolva kompletament, allura l-metodi ta’ kontroll skalabbli se jkunu kruċjali immens għall-kapaċità tagħna li niskjeraw b’mod sigur mudelli kapaċi ħafna. Il-monitoraġġ tal-katina tal-ħsieb u metodi relatati jistgħu jkunu wieħed mill-ftit mekkaniżmi ta’ kontroll għad-dispożizzjoni tagħna. Il-katina tal-ħsieb tista’ wkoll ġġib benefiċċji kbar biex nifhmu aktar dwar il-mudelli tagħna, eż. jekk humiex konxji li qegħdin f’evalwazzjoni u qed iġibu ruħhom b’mod differenti milli kieku kienu fi skjerament, jekk hemmx evidenza ta’ xi għanijiet avversi li għadhom ma dehrux fl-evalwazzjonijiet tagħna, eċċ. Għalhekk, aħna nemmnu li huwa tal-akbar importanza li nifhmu kif u meta nistgħu nitilfu l-monitoraġġabbiltà.
Aħna naraw il-monitoraġġ tal-katina tal-ħsieb bħala kumplimentari għall-interpretabbiltà mekkanistika, mhux bħala sostitut tagħha. Bħall-metodi kollha magħrufa ta’ kontroll u interpretabbiltà, kull wieħed għandu limitazzjonijiet u blind spots. L-aspettattiva tagħna hija li t-taħlita ta’ approċċi multipli—strateġija ta’ difiża f’fond—tista’ tgħin tkopri l-lakuni li kull metodu waħdu jħalli esposti. B’mod notevoli, l-evalwazzjonijiet introdotti f’dan ix-xogħol jistgħu wkoll jiġu applikati biex jivvalutaw u jqabblu tekniki ta’ monitoraġġ ibbażati fuq interpretabbiltà mekkanistika.
Għax nemmnu li l-monitoraġġ tal-katina tal-ħsieb jista’ jkun saff strutturali fi skema ta’ kontroll skalabbli, biħsiebna nespandu dawn l-evalwazzjonijiet u nużawhom biex ninfurmaw deċiżjonijiet futuri dwar il-mudellar u d-data.
Awtur
Ċitazzjonijiet
1. Il-mudelli tagħna mhumiex maħsuba biex jagħtu dijanjosi mediċi, u għalhekk id-dataset tagħna ta’ mistoqsijiet tas-Saħħa mhuwiex maħsub biex jittestja dik il-kapaċità.
Kompli aqra
