Ocenjevanje nadzorljivosti miselne verige

Ko sistemi umetne inteligence sprejemajo odločitve, ki jih je težko neposredno nadzorovati, postane pomembno razumeti, kako so te odločitve sprejete. Med obetavnimi pristopi je nadzorovanje notranjega razmišljanja modela namesto zgolj njegovih dejanj ali končnih rezultatov.

Sodobni razmišljajoči modeli, kakršen je GPT‑5 Thinking, ustvarijo jasno miselno verigo, preden podajo odgovor. Nadzorovanje teh miselnih verig z namenom prepoznavanja neustreznega vedenja je lahko mnogo učinkovitejše⁠ kot zgolj nadzorovanje dejanj in rezultatov modela. Vendar pa raziskovalce pri družbi OpenAI in širom panoge skrbi⁠(odpre se v novem oknu), da bi lahko bila ta »nadzorljivost« miselne verige občutljiva na spremembe v postopku usposabljanja, podatkovnih virih in celo nadaljnjem prilagajanju obsega obstoječih algoritmov.

Želimo si, da nadzorljivost miselne verige ostane učinkovita, tudi ko modeli povečujejo svoj obseg in se začnejo uporabljati v pomembnejših okoljih. Raziskovalce iz celotne panoge pozivamo, da si prizadevajo čim dlje ohranjati nadzorljivost miselne verige in da ugotovijo, ali lahko ta služi kot ključen nadzorni sloj za prihodnje sisteme umetne inteligence. Če želimo nadzorljivost ohraniti, jo moramo biti sposobni izmeriti, vendar obstaja le malo ocenjevanj [1⁠(odpre se v novem oknu), 2⁠(odpre se v novem oknu), 3⁠(odpre se v novem oknu)] in metodologije so različne.

V tej raziskavi sistematično proučujemo nadzorljivost miselne verige. Predstavljamo okvir za ocenjevanje nadzorljivosti miselne verige in nabor 13 ocen (ki skupaj obsegajo 24 okolij), zasnovanih za konkretno merjenje nadzorljivosti sistema. Ta ocenjevanja se delijo na tri osnovne tipe – intervencijo, proces in rezultatsko lastnost. Z njihovo pomočjo proučujemo, do kolikšne mere je mogoče spremljati današnje velike jezikovne modele in kako se možnost spremljanja spreminja z več razmišljanja v času sklepanja, z obsežnejšimi izvajanji okrepljenega učenja in s povečanjem obsega predhodnega usposabljanja.

Ugotavljamo, da je večina naprednih razmišljajočih modelov dokaj dobro nadzorljivih, vendar ne povsem. V skoraj vsakem okolju, ki ga proučujemo, je nadzorovanje miselnih verig bistveno učinkovitejše kot zgolj nadzorovanje dejanj in končnih rezultatov. Modeli, ki razmišljajo dalj časa, so ponavadi bolje nadzorljivi in ni videti, da bi optimizacija okrepljenega učenja pri trenutnih naprednih obsegih bistveno poslabšala nadzorljivost.

Opazen je kompromis med prizadevanjem pri razmišljanju in velikostjo modela: ko je model zagnan z nizkim prizadevanjem pri razmišljanju, lahko manjši model, zagnan z višjim prizadevanjem pri razmišljanju, doseže primerljivo zmogljivost in ga je hkrati lažje nadzorovati. To se zgodi na račun povečanih računskih zmogljivosti za sklepanje, kar imenujemo davek zaradi nadzorljivosti. Nazadnje ugotavljamo, da lahko postavljanje nadaljnjih vprašanj in nadzorovanje nastalih miselnih verig še dodatno izboljša nadzorljivost.

Nadzorljivost opredeljujemo kot sposobnost nadzorovalnika, da predvidi iskane lastnosti vedenja agenta. V mnogih primerih te lastnosti ustrezajo oblikam napačnega vedenja – kot so zavajanje, zloraba nagrajevalne funkcije ali pristransko sklepanje, vendar lahko vključujejo tudi neškodljive lastnosti, na primer ali se je agent zanašal na določen namig ali je sledil določeni liniji razmišljanja.

Nadzorljivost je dvostranska lastnost. Odvisno je tako od nadzorovalnika kot tudi od agenta, ki je nadzorovan.

• Nadzorovalniki. Nadzorovalnike bi lahko naredili pametnejše na različne načine in želimo, da bi naša ocenjevanja dajala višje ocene nadzorovalnikom, ki lahko bolje predvidevajo vedenje agenta.
• Agenti.Obstaja veliko opažanj pri agentu, ki bi jih lahko posredovali nadzorovalniku, vključno z dejanji agenta, izhodnimi rezultati, nevronskimi aktivacijami in nedavno, z razvojem razmišljajočih modelov, tudi z miselno verigo. Možno je, da imajo nekateri agenti misli, ki jih je težje razumeti kot druge, zato si želimo, da bi naša ocenjevanja nadzorljivosti omogočala primerjavo agentov in ne le nadzorovalnikov.

Naša ocenjevanja so zasnovana tako, da ocenijo obe strani: ali je določene agente lažje ali težje nadzorovati in ali lahko bolj sposobni nadzorovalniki izvlečejo več informacij iz istih signalov.

Pred trenutno generacijo razmišljajočih modelov so bile miselne verige običajno sprožene z napeljevanjem modela s pozivom, naj »premisli korak za korakom«. 

Miselne verige razmišljajočih modelov se razlikujejo v dveh pomembnih pogledih. Najprej so izrecno usposobljeni, da ustvarijo miselno verigo in nato podajo odgovor. Ko klepetalni model pozovete, da premisli »korak za korakom«, se mora model držati vseh specifikacij, ki so mu naložene, npr. da je v pomoč, neškodljiv itd. Nasprotno pa proces usposabljanja z okrepljenim učenjem uči razmišljajoči model, da je miselna veriga (CoT) zasebni prostor, kjer lahko razmišlja, kar želi, in ne bo kaznovan, tako kot človek lahko razmišlja sam pri sebi in ni kaznovan za »miselne zločine«. 

Drugič, proces usposabljanja učinkovito išče miselne verige, ki so agentu najbolj nepogrešljivo koristne pri pridobivanju končnega odgovora z visoko nagrado. Tako miselna veriga ni le prostor, kjer se model lahko svobodno izraža, ampak vsebuje tudi razmišljanje, ki modelu pomaga izoblikovati končni odgovor.

Naša ocenjevanja so razvrščena v tri različne osnovne tipe, pri čemer se pri vsakem uporablja drugačen mehanizem merjenja nadzorljivosti.

1. Intervencijska ocenjevanja, razvita na podlagi raziskav Chen et al. 2025⁠(odpre se v novem oknu), Chua et al. 2025⁠(odpre se v novem oknu), Turpin et al. 2023⁠(odpre se v novem oknu), uvajajo nadzorovano spremembo v okolju agenta in preverjajo, ali lahko nadzorovalnik zazna razlog za spremembo vedenja tako, da identificira dokaze o intervenciji v miselni verigi. Za razliko od standardnih kontrolnih ocenjevanj (npr. Shade-Arena⁠(odpre se v novem oknu)) nam intervencijska ocenjevanja omogočajo, da preverimo, ali lahko nadzorovalnik zazna, zakaj se je vedenje spremenilo, namesto da bi zgolj zaznal, ali se je vedenje zgodilo. 
2. Procesna ocenjevanja se osredotočajo na naloge z omejenim številom veljavnih poti do rešitve (matematični problem je na primer mogoče rešiti le z določenimi izreki). Človeški strokovnjaki naštejejo te poti, mi pa preizkusimo, ali lahko na nadzorovalnik zazna, katere korake je model dejansko izvedel. Ta ocenjevanja nam omogočajo, da to, kar je model storil, povežemo s konkretnimi koraki, ki jih je model moral izvesti, in vprašamo, ali je te korake mogoče nadzorovati.
3. Ocenjevanja rezultatskih lastnosti se uporabljajo, kadar je mogoče zanesljivo izmeriti lastnost izhodnega rezultata modela. V teh primerih preizkušamo, ali lahko nadzorovalnik na podlagi razmišljanja ali dejanj modela predvidi to lastnost, na primer zlorabo nagrajevalne funkcije. Pri programerski nalogi imamo lahko na primer način za zanesljivo ocenitev, ali model izvaja dejanja za zlorabo signala nagrajevalne funkcije, in lahko vprašamo, ali nadzorovalnik v modelovem razmišljanju ali dejanjih najde dokaze o nameri za zlorabo nagrajevalne funkcije.

Spodaj podajamo taksonomijo, uporabljeno pri naših ocenjevanjih. Za popoln opis posameznega ocenjevanja preberite naš strokovni članek.

Obravnavanje verige misli kot zasebnega delovnega prostora – in usposabljanje modelov za njeno učinkovito uporabo pri reševanju nalog – bi moralo načeloma omogočiti nadzorovanje miselnih verig. A hkrati obstaja več razlogov, zakaj bi lahko okrepljeno učenje verjetno škodovalo nadzorljivosti miselne verige.

Prvič, omejitve dolžine razmišljanja, kot je omejevanje časa ali števila tokenov, ki ga ima model za voljo za razmišljanje, ustvarjajo spodbude, da modeli manj razmišljajo. Drugič, tudi brez neposrednega optimizacijskega pritiska na samo miselno verigo bi lahko posredni pritiski še vedno zmanjšali nadzorljivost. Na primer⁠(odpre se v novem oknu) modeli morda lažje dosežejo odgovore z visoko nagrado, če se izognejo potem razmišljanja, ki lahko vodijo do rezultatov z nizko nagrado ali neželenih izidov. Nazadnje bi lahko zmanjšana nadzorljivost nastala zaradi zmotnega odklona, ki ga povzroča gradientni šum pri okrepljenem učenju.

Spodaj proučujemo, kako se nadzorljivost spreminja pri dveh usposabljanjih z naprednim okrepljenim učenjem družbe OpenAI. Čeprav ti rezultati predstavljajo le dve podatkovni točki, nakazujejo, da optimizacija okrepljenega učenja pri trenutnih naprednih obsegih bistveno ne poslabša nadzorljivosti miselne verige in poveča nadzorljivost zgodnjih korakov. Vendar to ne izključuje možnosti, da bi lahko bistveno večji obsegi okrepljenega učenja v prihodnosti negativno vplivali na nadzorljivost.

Velik del inteligence trenutnih sistemov umetne inteligence poganja večji obseg predhodnega usposabljanja, pri čemer se tako parametri modela kot velikosti naborov podatkov dosledno povečujejo že vse od začetka paradigme GPT. Povečano število parametrov povzroči, da se za vsak ustvarjeni token porabi več računskih sredstev za sklepanje, kar v primeru razmišljajočih modelov omogoča več priložnosti, da se kognicija modela odvija znotraj aktivacij namesto znotraj miselne verige. Tako bi lahko pričakovali, da bodo večji modeli pri stalni ravni zmogljivosti manj nadzorljivi. 

Hkrati so lahko manjši modeli manj sposobni učinkovito uporabljati miselno verigo, kar prav tako lahko vpliva na nadzorljivost.

Za proučitev razmerja med velikostjo predhodnega usposabljanja, zmogljivostjo in nadzorljivostjo smo družino modelov usposabljali preko dveh velikostnih redov računske moči za predhodno usposabljanje z naraščajočo globino in širino, nato pa smo na vsakem modelu uporabili okrepljeno učenje na skupnem podatkovnem naboru z nalogami iz matematike, znanosti in programiranja. Vsak model smo ocenili glede na različna prizadevanja pri razmišljanju in primerjali nadzorljivost na usklajenih ravneh zmogljivosti.

Na splošno ugotavljamo, da če bi morali uporabiti določen model z nizkim prizadevanjem pri razmišljanju, bi lahko namesto tega uporabili manjši model z višjim prizadevanjem pri razmišljanju. V primerjavi s porabo dodatne računske moči za večje prizadevanje pri razmišljanju prvotnega velikega modela bi lahko dosegli višjo stopnjo nadzorljivosti z majhnimi stroški zmogljivosti ali davkom zaradi nadzorljivost; vendar pa lahko čas, potreben za dokončanje naloge, igra vlogo pri nekaterih odločitvah o uvedbi, česar pa tukaj ne upoštevamo. Ko se naši modeli izboljšujejo in se uvajajo v pomembnejših okoljih, bo morda treba plačati takšen davek za njihovo varno uvedbo.

Ti rezultati imajo naslednje omejitve: (1) vsak model usposobimo le enkrat, zato ne upoštevamo variance med posameznimi usposabljanji. Videti je na primer, da je »srednji« model precej izven trenda glede nadzorljivosti v primerjavi z drugimi modeli v seriji, kar bi lahko bilo posledica tega. (2) Zmogljivosti ocenjujemo v razmeroma distribucijsko naravnanih okoljih (matematika, znanost in programiranje), pri čemer se lahko kompromisi spremenijo, kadar upoštevamo robustnost zunaj distribucije.

Ko obseg delovanja sistemov umetne inteligence presega zmogljivosti na človeški ravni, postaja neposredno človeško nadzorovanje čedalje težje. V idealnem primeru bi imeli po obsegu prilagodljive nadzorne postopke, ki bi omogočali, da zaupanja vredni, a šibkejši nadzorovalniki nadzorujejo močnejše agente, ki morda niso zaupanja vredni. Takšni postopki bi prav tako morali biti sposobni absorbirati dodatno računsko moč med preizkušanjem in ustvariti natančnejša predvidevanja.

Nadzorljivost miselne verige se pogosto obravnava kot fiksna količina: ko model z določenim prizadevanjem pri razmišljanju ustvari odgovor, se nastalo miselno verigo nadzoruje po najboljših močeh. Ker smo dosledno ugotavljali, da se nadzorljivost izboljša s povečanjem prizadevanja pri razmišljanju naših agentov, smo se vprašali, ali bi lahko nekako pridobili več tokenov za nadzorovanje.

Za proučitev tega smo eksperimentirali z zastavljanjem nadaljnjih vprašanj po tem, ko model že odgovori, pri čemer smo v kontekstu ohranili izvirni poziv, miselno verigo in odgovor. Ta nadaljnja vprašanja se osredotočajo na lastnost, ki jo spremljamo – na primer »Ali si namig uporabil na smiseln način, ko si izbral svoj odgovor?« ali »Si naredil kaj spornega?«. Ker model ohranja dostop do svojega prejšnjega razmišljanja, lahko načeloma v nadaljnji miselni verigi ali nadaljnjem odgovoru razkrije prej neizrečene misli.

Ti rezultati so predhodni. Raziskali smo le majhno število formatov nadaljnjih vprašanj in verjamemo, da obstaja veliko prostora za izboljšanje metodologije. Poleg tega je ta metoda v grobem podobna priznanjem modelov⁠ in aktivno delamo na primerjavi teh pristopov.

Poleg izboljšanja nadzorljivosti je ta pristop privlačen, ker ga je mogoče uporabiti naknadno, pri čemer nastanejo dodatni stroški računalniške obdelave le, kadar je potrebna globlja analiza. Poglejmo v prihodnost: če so modeli usposobljeni za pričakovanje spremembe v prizadevanju pri razmišljanju sredi pogovora, lahko naknadna vprašanja z večjim prizadevanjem pri razmišljanju še dodatno izboljšajo nadzorljivost, tudi če je začetno prizadevanje pri razmišljanju nizko ali odsotno.

Vsako ocenjevanje v našem naboru meri, ali je mogoče nadzorovati posamezen vidik procesa razmišljanja. Čeprav si prizadevamo zajeti širok spekter vedenj, vključno z dobrikanjem, prikrivanjem zmožnosti, pristranskostjo, spletkarskim vedenjem in zlorabo nagrajevalne funkcije, ostaja veliko dodatnih lastnosti, ki ostajajo nepreizkušene.

Kot pri vsaki primerjalni analizi lahko tudi pri naših ocenjevanjih pride do neželene omejene realističnosti ali naraščajočega zavedanja o ocenjevanju, rezultati pa morda ne bodo dovolj posplošeni za zaznavanje neprimernega vedenja v praksi. 

Nazadnje, ko se usklajenost izboljšuje, se modeli lahko manj pogosto neprimerno vedejo v nadzorovanih ocenjevalnih okoljih, kar zmanjšuje signal, ki je na voljo za nadzorljivost in kontrolna ocenjevanja, ki se zanašajo na zaznavanje neprimernega vedenja. V teh primerih ostajajo relevantna »nevtralna« ocenjevanja nadzorljivosti – kljub odprtemu vprašanju, kako dobro predvidevajo neuspehe v resničnem svetu.

Če problema usklajenosti ni mogoče v celoti rešiti, bodo razširljive metode nadzora izjemno pomembne za našo sposobnost varne uporabe visoko zmogljivih modelov. Nadzorovanje miselne verige in sorodne metode so morda med redkimi nadzornimi mehanizmi, ki so nam na voljo. Miselna veriga lahko prinese tudi velike koristi pri boljšem razumevanju naših modelov, npr. ali se zavedajo, da so ocenjevani, in se vedejo drugače, kot bi se med običajno uporabo, ali obstajajo dokazi o kakršnih koli škodljivih ciljih, ki še niso bili razkriti v naših ocenjevanjih itd. Zato verjamemo, da je izjemno pomembno razumeti, kako in kdaj lahko izgubimo možnost nadzorovanja.

Nadzorljivost miselne verige vidimo kot dopolnitev mehanicistični razložljivosti, ne kot njen nadomestek. Kot tudi vse znane metode nadzora in razložljivosti ima vsak pristop svoje omejitve in šibke točke. Po naših pričakovanjih lahko kombinacija več pristopov – strategija globinske obrambe – pomaga zapolniti vrzeli, ki jih povzroči katera koli posamezna metoda. Ocenjevanja, uvedena pri tem delu, bi se lahko uporabila tudi za presojanje in primerjavo tehnik nadzorovanja, ki temeljijo na mehanicistični razložljivosti.

Ker verjamemo, da bi lahko nadzorovanje miselne verige predstavljalo ključen »nosilni« sloj v razširljivem nadzornem sistemu, načrtujemo razširitev teh ocenjevanj in njihovo uporabo za pridobivanje informacij, potrebnih za prihodnje odločitve glede podatkov in oblikovanja modelov.