Evaluarea capacității de monitorizare a lanțului de gândire

Când sistemele de inteligență artificială iau decizii dificil de supravegheat în mod direct, devine important să înțelegem cum sunt luate aceste decizii. O abordare promițătoare este monitorizarea raționamentului intern al unui model, mai degrabă decât doar acțiunile sau rezultatele finale ale acestuia.

Modelele moderne de raționament, cum ar fi GPT‑5 Thinking, generează un lanț de gândire explicit înainte de a produce un răspuns. Monitorizarea acestor lanțuri de gândire pentru depistarea comportamentelor necorespunzătoare poate fi mult mai eficientă⁠ decât monitorizarea exclusivă a acțiunilor și rezultatelor unui model. Cu toate acestea, cercetătorii de la OpenAI și din întregul sector, în general, sunt îngrijorați⁠(se deschide într-o fereastră nouă) că această „capacitate de monitorizare” bazată pe lanțul de gândire ar putea fi vulnerabilă la modificările procedurilor de instruire, surselor de date și chiar la scalarea continuă a algoritmilor existenți.

Ne dorim o capacitate de monitorizare a lanțului de gândire care să reziste pe măsură ce modelele se extind și sunt implementate în contexte cu un grad mai ridicat de risc. Facem apel la cercetătorii din întregul sector să depună eforturi pentru a menține cât mai mult timp posibil capacitatea de monitorizare a lanțului de gândire și să determine dacă acesta poate servi drept strat de control de susținere pentru viitoarele sisteme de inteligență artificială. Pentru a menține capacitatea de monitorizare, trebuie să o putem măsura, însă există puține evaluări [1⁠(se deschide într-o fereastră nouă), 2⁠(se deschide într-o fereastră nouă), 3⁠(se deschide într-o fereastră nouă)] și metodologiile variază.

În lucrarea de față, studiem sistematic capacitatea de monitorizare a lanțului de gândire. Introducem un cadru pentru evaluarea capacității de monitorizare a lanțului de gândire și o suită de 13 evaluări (cuprinzând un total de 24 de medii) concepute pentru a măsura concret capacitatea de monitorizare a unui sistem. Aceste evaluări se încadrează în trei arhetipuri: intervenție, proces și proprietatea rezultatului. Pe baza acestora, studiem capacitatea de monitorizare a modelelor lingvistice mari actuale și modul în care aceasta se modifică odată cu creșterea capacității de raționament în timpul inferenței, a rulărilor de învățare prin consolidare și a scalării pre-instruirii.

Constatăm că majoritatea modelelor de raționament de frontieră sunt destul de ușor de monitorizat, deși nu în mod perfect. În aproape toate contextele pe care le-am studiat, monitorizarea lanțurilor de gândire este mult mai eficientă decât monitorizarea exclusivă a acțiunilor și a ieșirilor finale. Modelele care gândesc pe termen mai lung tind să fie mai ușor de monitorizat, iar optimizarea învățării prin consolidare la dimensiunile actuale ale frontierei nu pare să degradeze în mod semnificativ capacitatea de monitorizare.

În mod special, observăm un compromis între efortul de raționament și dimensiunea modelului: atunci când un model este rulat la un efort de raționament redus, un model mai mic rulat la un efort de raționament mai mare poate atinge o capacitate comparabilă, fiind în același timp mai ușor de monitorizat. Acest lucru presupune un calcul de inferență crescut, pe care îl numim taxa capacității de monitorizare. În cele din urmă, constatăm că adresarea de întrebări ulterioare și monitorizarea lanțurilor de gânduri rezultate pot îmbunătăți și mai mult capacitatea de monitorizare.

Definim capacitatea de monitorizare ca o abilitate a unui monitor de a prezice anumite proprietăți de interes legate de comportamentul unui agent. În multe cazuri, aceste proprietăți corespund unor comportamente necorespunzătoare, cum ar fi înșelăciunea, păcălirea sistemului de recompensare sau raționamentul părtinitor, dar pot include și proprietăți benigne, cum ar fi faptul că un agent s-a bazat pe un anumit indiciu sau a urmat o anumită linie de raționament.

Capacitatea de monitorizare este o proprietate bilaterală. Depinde atât de monitor, cât și de agentul monitorizat.

• Monitori. Am putea face monitorii mai inteligenți în diverse moduri și am prefera ca evaluările noastre să acorde scoruri mai mari monitorilor care pot emite previziuni mai bune privind comportamentul unui agent.
• Agenți. Există multe observații ale agentului care pot fi transmise monitorului, inclusiv acțiunile agentului, ieșirile, activările neuronale și, recent, odată cu apariția modelelor de raționament, lanțul de gândire. Este posibil ca unii agenți să aibă gânduri mai greu de înțeles decât alții, așa că ne dorim ca evaluările noastre de monitorizare să poată compara agenții și nu doar monitorii.

Evaluările noastre sunt concepute pentru a analiza ambele aspecte: dacă anumiți agenți sunt mai ușor sau mai greu de monitorizat și dacă monitorii mai capabili pot extrage mai multe informații din aceleași semnale.

Înainte de apariția generației actuale de modele de raționament, lanțurile de gândire erau de obicei generate prin solicitări adresate modelului de a „gândi pas cu pas”. 

Lanțurile de gândire ale modelelor de raționament diferă în două moduri importante. În primul rând, acestea sunt instruite în mod explicit să genereze un lanț de gândire și apoi să dea un răspuns. Când unui model de discuție i adresează solicitări de a gândi „pas cu pas”, modelul trebuie să respecte toate specificațiile impuse, adică să fie util, inofensiv etc. În schimb, procesul de învățare prin consolidare învață modelul de raționament că CoT este un spațiu privat în care poate gândi orice dorește fără a fi pedepsit, la fel cum un om poate gândi în privat fără a fi pedepsit pentru „infracțiuni ale gândirii”. 

În al doilea rând, procesul de instruire caută eficient lanțurile de gândire care-i sunt cele mai utile agentului pentru obținerea unui răspuns final cu recompensă ridicată. Astfel, lanțul de gândire nu este doar un spațiu în care modelul se poate exprima liber, ci conține gândirea care ajută modelul să ajungă la răspunsul final.

Ne organizăm evaluările capacității de monitorizare în trei arhetipuri distincte, fiecare valorificând un mecanism diferit pentru a măsura capacitatea de monitorizare.

1. Evaluările intervențiilor, inspirate de Chen et al. 2025,⁠(se deschide într-o fereastră nouă) Chua et al.⁠(se deschide într-o fereastră nouă) 2025, Turpin et al. 2023,⁠(se deschide într-o fereastră nouă) introducem o schimbare controlată în mediul agentului și testăm dacă un monitor poate detecta de ce s-a schimbat comportamentul prin identificarea dovezilor intervenției în lanțul de gândire. Spre deosebire de evaluările standard de control (de exemplu, Shade-Arena⁠(se deschide într-o fereastră nouă)), evaluările intervențiilor ne permit să investigăm dacă un monitor poate detecta de ce s-a schimbat comportamentul, mai degrabă decât să detecteze pur și simplu dacă a avut loc un comportament. 
2. Evaluările proceselor se concentrează pe sarcini cu un număr limitat de căi valide de soluționare (de exemplu, o problemă de matematică poate fi rezolvată doar cu anumite teoreme). Experții umani enumeră aceste căi, iar noi testăm dacă un monitor poate detecta pașii parcurși efectiv de către model. Aceste evaluări ne permit să corelăm acțiunile unui model cu anumiți pași pe care modelul trebuie să îi fi urmat și să întrebăm dacă acești pași pot fi monitorizați.
3. Evaluările proprietății rezultatului se aplică atunci când o proprietate a ieșirii modelului poate fi măsurată în mod fiabil. În aceste cazuri, testăm dacă un monitor poate prezice acea proprietate — cum ar fi păcălirea sistemului de recompensare — pe baza raționamentului sau acțiunilor modelului. De exemplu, într-o sarcină de programare, putem avea o modalitate de a evalua fiabil dacă un model ia măsuri pentru a păcăli un semnal de recompensare și putem întreba dacă un monitor găsește dovezi ale intenției de a păcăli sistemul de recompensare în gândirea sau acțiunile modelului.

Mai jos oferim o taxonomie pentru evaluările noastre. Consultă lucrarea noastră pentru o descriere completă a fiecărei evaluări individuale.

Tratarea lanțului de gândire ca pe un spațiu de lucru privat și instruirea modelelor în vederea utilizării sale pentru a rezolva sarcini în mod eficient ar trebui, în principiu, să permită monitorizarea lanțurilor de gândire. În același timp, există mai multe motive pentru care învățarea prin consolidare ar putea, în mod plauzibil, să afecteze capacitatea de monitorizare a lanțului de gândire.

În primul rând, constrângerile privind lungimea raționamentului, cum ar fi limitarea timpului sau a elementelor de care are nevoie un model pentru a gândi, creează stimulente pentru ca modelele să dezvolte un raționament mai rar. În al doilea rând, chiar și fără a aplica presiune directă de optimizare asupra lanțului de gândire în sine, presiunile indirecte ar putea reduce capacitatea de monitorizare. De exemplu⁠(se deschide într-o fereastră nouă), modelele pot găsi mai ușor răspunsuri cu recompense mari dacă evită căile de raționament care pot duce la recompense mici sau rezultate nedorite. În cele din urmă, o capacitate redusă de monitorizare ar putea rezulta din deviații false generate de bruiajul gradientului învățării prin consolidare.

Mai jos, examinăm modul în care se schimbă capacitatea de monitorizare pe parcursul a două rulări de instruire de învățare prin consolidare de frontieră ale OpenAI. Deși aceste rezultate reprezintă doar două puncte de date, ele sugerează că optimizarea învățării prin consolidare la scările actuale de frontieră nu degradează semnificativ capacitatea de monitorizare a lanțului de gândire și chiar crește capacitatea de monitorizare pentru pașii inițiali. Cu toate acestea, acest lucru nu exclude posibilitatea ca în viitor, o creștere semnificativă a scalei învățării prin consolidare să afecteze negativ capacitatea de monitorizare.

O mare parte din inteligența sistemelor actuale de inteligență artificială este determinată de creșterea scalei de pre-instruire, prin care atât parametrii modelului, cât și dimensiunile seturilor de date au crescut constant de la începutul paradigmei GPT. Creșterea numărului de parametri duce la utilizarea unui număr mai mare de calcule de inferență pentru fiecare token generat, ceea ce, în cazul modelelor de raționament, oferă mai multe oportunități pentru ca cogniția modelului să aibă loc în cadrul activărilor și nu în cadrul lanțului de gândire. Prin urmare, ne-am putea aștepta ca modelele mai mari să fie mai greu de monitorizat la un nivel fix de capacitate. 

Totodată, modelele mai mici pot fi mai puțin capabile să utilizeze în mod eficient lanțul de gândire, ceea ce le poate afecta și capacitatea de monitorizare.

Pentru a investiga relația dintre dimensiunea, capabilitatea și capacitatea de monitorizare a pre-instruirii, am instruit o familie de modele în două ordine de mărime ale calculului de pre-instruire, cu adâncime și lățime în creștere, apoi am aplicat învățarea prin consolidare fiecăruia dintre ele asupra unui set de date comun de sarcini de matematică, știință și programare. Am evaluat fiecare model printr-o serie de eforturi de raționament și am comparat capacitatea de monitorizare la niveluri de capabilitate similare.

În general, am constatat că, dacă am implementa un anumit model cu un efort de raționament redus, am putea în schimb să implementăm un model mai mic cu un efort de raționament mai ridicat. Comparativ cu cheltuirea unui efort suplimentar de calcul pentru mai mult raționament din modelul original mare, am putea obține o capacitate de monitorizare mai ridicată la un cost sau pentru o taxă a capacității de monitorizaremai redusă. Cu toate acestea, timpul necesar pentru finalizarea unei operațiuni poate fi, la rândul său, relevant pentru anumite decizii de implementare, aspect pe care nu l-am avut în vedere în acest caz. Pe măsură ce modelele noastre se îmbunătățesc și sunt implementate în contexte cu riscuri mai mari, poate deveni necesar să achităm o astfel de taxă pentru a le implementa în condiții de siguranță.

Aceste rezultate au următoarele limitări: (1) instruim fiecare model o singură dată și, prin urmare, nu luăm în considerare variațiile dintre rulările de instruire. De exemplu, modelul „mediu” pare destul de depășit în privința capacității de monitorizare în comparație cu celelalte modele din serie, ceea ce ar putea fi rezultatul acestui fapt. (2) Evaluăm capacitățile în condiții relativ normale (matematică, științe și programare), iar compromisurile pot varia atunci când se ține cont de gradul de robustețe în condiții anormale.

Pe măsură ce sistemele de inteligență artificială depășesc performanțele umane, supravegherea directă de către oameni devine din ce în ce mai dificilă. Ideal ar fi să avem proceduri de control scalabile care să le permită unor monitori fiabili, dar mai slabi, să supravegheze agenți mai puternici, susceptibili de a fi nefiabili. De asemenea, aceste proceduri ar trebui să poată absorbi timpul suplimentar necesar pentru calcul și să producă predicții mai precise.

Capacitatea de monitorizare a lanțului de gândire este adesea tratată ca o cantitate fixă: odată ce un model produce un răspuns la un efort de raționament dat, se monitorizează cât mai bine posibil lanțul de gândire rezultat. Deoarece am constatat în mod constant că această capacitate de monitorizare se îmbunătățește pe măsură ce sporim efortul de raționament al agenților, ne-am gândit să întrebăm dacă am putea obține cumva mai multe tokenuri de monitorizat.

Pentru a explora acest aspect, am experimentat cu adresarea de întrebări suplimentare după ce un model răspunde, păstrând în același timp solicitarea originală, lanțul de gânduri și răspunsul în context. Aceste urmăriri se concentrează pe proprietatea monitorizată—de exemplu, „Ai folosit indiciul într-un mod semnificativ pentru a-ți alege răspunsul?” sau „Ai făcut ceva dubios?” În principiu, deoarece modelul păstrează accesul la raționamentul său anterior, acesta poate fi capabil să dezvăluie gânduri neexprimate anterior în lanțul de gândire sau răspunsul ulterior.

Aceste rezultate sunt preliminare. Am explorat doar un număr redus de formate de întrebări ulterioare și considerăm că există un potențial substanțial de îmbunătățire a metodologiei. În plus, această metodă este similară din punct de vedere conceptual cu mărturisirile modelelor⁠ și ne străduim să comparăm cele două abordări.

Pe lângă îmbunătățirea capacității de monitorizare, această abordare este interesantă deoarece poate fi aplicată post-hoc, generând costuri suplimentare de calcul numai dacă este necesară o inspecție mai aprofundată. În viitor, dacă modelele vor fi instruite să anticipeze schimbări ale efortului de raționament în timpul conversației, urmăririle post-hoc la un efort de raționament mai ridicat ar putea îmbunătăți și mai mult capacitatea de monitorizare, chiar și atunci când efortul inițial de raționament este redus sau lipsește.

Fiecare evaluare din suita noastră măsoară dacă un singur aspect al procesului de raționament poate fi monitorizat. Deși ne propunem să acoperim o gamă largă de comportamente — inclusiv lingușirea, ascunderea capabilității reale, biasul, complotarea și păcălirea sistemului de recompensare — există multe alte proprietăți care rămân netestate.

Ca și în cazul oricărui test de performanță, evaluările noastre pot prezenta un realism limitat sau o conștientizare crescută a evaluării, iar rezultatele pot să nu fie generalizabile pentru detectarea comportamentelor necorespunzătoare în condiții reale. 

În cele din urmă, pe măsură ce alinierea se îmbunătățește, modelele pot prezenta mai rar comportamente necorespunzătoare în condiții de evaluare controlate, reducând semnalul disponibil pentru evaluările capacității de monitorizare și control care se bazează pe detectarea comportamentelor necorespunzătoare. În aceste cazuri, evaluările „neutre” ale capacității de monitorizare rămân aplicabile, deși nu este clar în ce măsură acestea pot prezice eșecurile apărute în condiții reale.

Dacă problema alinierii nu poate fi rezolvată complet, atunci metodele de control scalabile vor fi extrem de importante pentru capacitatea noastră de a implementa în siguranță modele extrem de performante. Monitorizarea lanțului de gândire și metodele conexe pot fi printre puținele mecanisme de control de care dispunem. De asemenea, lanțul de gândire poate oferi avantaje majore în înțelegerea mai aprofundată a modelelor noastre, de exemplu: dacă sunt conștiente că sunt evaluate și se comportă diferit față de cum s-ar comporta în timpul desfășurării operațiunilor, dacă există dovezi ale unor obiective adverse care nu s-au manifestat încă în evaluările noastre etc. Prin urmare, considerăm că este extrem de important să înțelegem cum și când putem pierde capacitatea de monitorizare.

În viziunea noastră, monitorizarea lanțului de gândire este complementară interpretabilității mecanistice, nu un substitut al acesteia. Ca toate metodele cunoscute de control și interpretabilitate, fiecare are limitări și puncte slabe. Ne așteptăm ca asocierea mai multor abordări — o strategie de apărare aprofundată — să permită remedierea deficiențelor pe care le-ar putea prezenta o singură metodă. În mod deosebit, evaluările prezentate în această lucrare ar putea fi aplicate și pentru evaluarea și compararea tehnicilor de monitorizare bazate pe interpretabilitatea mecanistică.

Deoarece considerăm că monitorizarea lanțului de gândire ar putea constitui un element fundamental al unui sistem de control scalabil, intenționăm să extindem aceste evaluări și să le utilizăm pentru a fundamenta viitoarele decizii privind modelarea și datele.