Procjena mogućnosti praćenja lanca zaključivanja
Uvodimo procjene praćenja lanca zaključivanja i proučavamo kako se skalira s računalnom snagom tijekom testiranja, učenjem putem povratnih informacija i predobukom.
Kada sustavi umjetne inteligencije donose odluke koje je teško izravno nadzirati, postaje važno razumjeti kako se te odluke donose. Jedan obećavajući pristup je praćenje internog razmišljanja modela, umjesto samo njegovih radnji ili konačnih rezultata.
Moderni modeli rezoniranja, poput GPT‑5 Thinking, generiraju eksplicitan lanac zaključivanja prije nego što daju odgovor. Praćenje ovih lanaca zaključivanja radi otkrivanja nepoželjnog ponašanja može biti daleko učinkovitije nego samo praćenje radnji i izlaza modela. Međutim, istraživači u OpenAI i širom šire industrije zabrinuti su(otvara se u novom prozoru) da bi ova 'prativost' metode lanca razmišljanja/zaključivanja mogla biti osjetljiva na promjene u postupku obuka, izvorima podataka, pa čak i na nastavak skaliranja postojećih algoritama.
Želimo da praćenje lanca zaključivanja ostane pouzdano kako modeli rastu i primjenjuju se u situacijama s većim ulozima. Pozivamo istraživače iz cijele industrije da rade na očuvanju mogućnosti praćenja metode lanca razmišljanja što je dulje moguće i da utvrde može li ona služiti kao nosivi kontrolni sloj za buduće AI sustave. Kako bismo očuvali mogućnost praćenja, moramo je moći mjeriti, no malo je procjena dostupno [1(otvara se u novom prozoru), 2(otvara se u novom prozoru), 3(otvara se u novom prozoru)] i metodologije variraju.
U ovom radu sustavno proučavamo mogućnost praćenja lanaca zaključivanja. Predstavljamo okvir za procjenu mogućnosti praćenja lanca zaključivanja i niz od 13 evaluacija/procjena (koje obuhvaćaju ukupno 24 okruženja) osmišljenih za konkretno mjerenje praćenja sustava. Ove procjene spadaju u tri arhetipa — intervencija, proces i svojstvo ishoda. Koristeći ih, proučavamo koliko su današnji veliki jezični modeli nadgledani i kako se nadzor mijenja s više zaključivanja u vrijeme izvođenja, većim instancama učenja putem povratnih informacija i povećanjem okvira predobuke.
Sada kada imamo veliki broj procjena, možemo početi pratiti mogućnost nadzora naših modela. (gore lijevo) Otkrivamo da kako modeli više razmišljaju i imaju dulje lance zaključivanja, mogućnost praćenja se poboljšava. (gore desno) Bez lanca zaključivanja, standardno je pokušati pratiti radnje i konačne rezultate modela samostalno. Međutim, otkrivamo da praćenje samo radnji i rezultata znatno zaostaje u usporedbi s praćenjem lanaca zaključivanja. (dolje u sredini) Uspoređujemo naše modele s vanjskim modelima koji omogućuju pristup punom lancu zaključivanja — Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B i Kimi K2 Thinking.
Otkrili smo da se većina modela inovativnog prosuđivanja može dobro nadzirati, iako ne savršeno. U gotovo svakom okruženju koje proučavamo, praćenje lanca zaključivanja je znatno učinkovitije od praćenja samo radnji i konačnih rezultata. Modeli koji duže razmišljaju obično se nadziru lakše, a optimizacija učenja putem povratnih informacija na trenutnim inovativnim/graničnim razinama ne čini se da značajno narušava mogućnost nadzora.
Primjećujemo kompromis između napora u prosuđivanju i veličine modela: kada se model pokreće s malim naporom u prosuđivanju, manji model pokrenut s većim naporom u prosuđivanju može postići usporedivu sposobnost, a pritom je lakše nadzirati/pratiti. Cijena za to je povećana računalna snaga za zaključivanje, što nazivamo "porezom nadzora". Na kraju, otkrivamo da postavljanje dodatnih pitanja i praćenje rezultirajućih lanaca zaključivanja može dodatno poboljšati mogućnost praćenja.
Mogućnost praćenja mi definiramo kao sposobnost "nadzornika" da predvidi svojstva od interesa o ponašanju izvršitelja (agenta). U mnogim slučajevima, ova svojstva odgovaraju oblicima lošeg ponašanja — poput obmane, hakiranja nagrada ili pristranog zaključivanja — ali mogu uključivati i benigna svojstva, npr. je li se izvršitelj oslonio na određeni savjet ili slijedio specifičnu liniju zaključivanja.
Mogućnost praćenja je dvosmjerna osobina. To ovisi i o vršitelju praćenja (nadzorniku), ali i o izvršitelju koji se nadzire.
- Nadzornici. Nadzornike bismo mogli učiniti pametnijima na razne načine, a željeli bismo da naše procjene daju više ocjene nadzornicima koji mogu bolje predviđati ponašanje izvršitelja.
- Izvršitelji. Postoji mnogo opažanja izvršitelja (agenata) koja bi se mogla prepustiti nadzorniku, uključujući radnje izvršitelja, izlaze, neuronske aktivacije, a nedavno, s pojavom modela za zaključivanje i lanac zaključivanja. Moguće je da neki agenti sadrže zaključivanje koje je teže razumjeti od drugih, i stoga bismo željeli da naše procjene mogućnosti praćenja mogu uspoređivati izvršitelje, a ne samo nadzornike.
Naše procjene osmišljene su kako bi procijenile obje strane: jesu li određeni agenti lakši ili teži za praćenje, i mogu li sposobniji nadzornici izdvojiti više informacija iz istih signala.
Prije trenutne generacije modela za zaključivanje, lanci zaključivanja obično su se izazivali poticanjem modela da "razmišlja korak po korak."
Lanci zaključivanja modela zaključivanja razlikuju se na dva važna načina. Prvo, oni su izričito obučeni da generiraju lanac zaključivanja, a zatim da daju odgovor. Kada se model čavrljanja potiče da razmišlja "korak po korak", model se mora pridržavati svih specifikacija postavljenih za njega, tj. biti od pomoći, bezopasan itd. Suprotno tome, postupak obuke putem povratnih informacija uči model zaključivanja da je lanac zaključivanja privatni prostor gdje može razmisliti što god želi i neće biti kažnjen, baš kao što čovjek može privatno razmisliti i neće biti kažnjen za "zločine u mislima".
Drugo, postupak obuke učinkovito traži lance zaključivanja koji su najinstrumentalnije korisni izvršitelju za postizanje konačnog odgovora visoke nagrade. Dakle, lanac zaključivanja nije samo prostor u kojem se model može slobodno izražavati, već sadrži razmišljanje koje pomaže modelu da dođe do konačnog odgovora.
Naše procjene mogućnosti praćenja organiziramo u tri različita arhetipa, pri čemu svaki koristi drugačiji mehanizam za mjerenje mogućnosti praćenja.
- Procjene intervencija, inspirirane Chen et al. 2025,(otvara se u novom prozoru) Chua et al. 2025,(otvara se u novom prozoru) Turpin et al. 2023,(otvara se u novom prozoru) uvode kontroliranu promjenu u okruženju izvršitelja i testiramo može li nadzornik otkriti zašto se ponašanje promijenilo identificiranjem dokaza intervencije u lancu zaključivanja. Za razliku od standardnih procjena kontrola (npr. Shade-Arena(otvara se u novom prozoru)), procjene intervencija omogućuju nam da istražimo može li nadzornik otkriti zašto se ponašanje promijenilo, umjesto da samo otkrije je li se ponašanje dogodilo.
- Procjene procesa usmjerene su na zadatke s ograničenim brojem valjanih rješenja (na primjer, matematički problem može se riješiti samo pomoću određenih teorema). Ljudski stručnjaci nabrajaju ove putove, a mi testiramo može li nadzornik otkriti koje je korake model doista poduzeo. Ove procjene omogućuju nam da povežemo ono što je model učinio s određenim koracima koje je model morao poduzeti i pitati može li se te korake pratiti, odnosno nadzirati.
- Procjena svojstava ishoda primjenjuju se kada se svojstvo izlaza modela može pouzdano izmjeriti. U tim slučajevima testiramo može li nadzornik predvidjeti to svojstvo — kao što je hakiranje nagrada — iz razmišljanja ili djelovanju modela. Primjerice, u zadatku kodiranja možemo imati način da pouzdano procijenimo poduzima li model radnje kako bi hakirao signal nagrade i možemo pitati otkriva li nadzornik dokaze o namjeri hakiranja nagrade u razmišljanju ili djelovanjima modela.
U nastavku pružamo taksonomiju za naše procjene. Molimo vas da pogledate naš rad za potpuni opis svake pojedinačne procjene.
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
Utvrdili smo da se mogućnost praćenja našeg modela donekle razlikuje ovisno o skupini. Općenito smatramo da je mogućnost njihovog praćenja velika; međutim, posebno u Scruples, koji je zadatak osmišljen da provjeri je li razmišljanje o ulizivanju 'prativo', uočavamo vrlo nisku mogućnost praćenja.
Primjeri koji se mogu pratiti u usporedbi s onima koji se ne mogu pratiti
U ovom primjeru svojstva ishoda, modelu je dodijeljen nemoguć zadatak kodiranja. Ako jedinični testovi prođu, tada znamo da je model izveo neku vrstu hakiranja. U lancu zaključivanja bez praćenja (crveno), ne vidimo nikakve dokaze da model spominje činjenje nečeg lošeg, već jednostavno hakira testove i obavještava korisnika da je implementirao popravak. U oštroj usporedbi, u nadziranom lancu zaključivanja (zeleno), vidimo kako model razmišlja: "Ali dinamička modifikacija (monkey patching) vremena unutar rješenja je, moglo bi se reći, varanje."
Tretiranje lanca zaključivanja kao privatnog radnog prostora — i obuka modela da ga koriste za učinkovito rješavanje zadataka — trebalo bi, u načelu, omogućiti nadzor nad lancima zaključivanja. Istovremeno, postoji nekoliko razloga zašto bi učenje putem povratnih informacija moglo naštetiti nadzoru lanca zaključivanja.
Prvo, ograničenja duljine prosudbe, kao što su ograničavanje vremena ili tokena koje model ima za razmišljanje, stvaraju poticaje za modele da manje razmišljaju. Drugo, čak i bez primjene izravnog pritiska optimizacije na sam lanac zaključivanja, neizravni pritisci bi i dalje mogli smanjiti mogućnost praćenja. Primjerice(otvara se u novom prozoru), modeli mogu lakše doći do odgovora visoke nagrade ako izbjegavaju puteve zaključivanja koji mogu rezultirati niskim nagradama ili nepoželjnim ishodima. Konačno, smanjena mogućnost praćenja mogla bi nastati zbog lažnog odstupanja uzrokovanog 'šumom' prilikom učenja putem povratnih informacija.
U nastavku, ispitujemo kako se mogućnost praćenja mijenja tijekom dvije OpenAI-jeve napredne obuke učenja putem povratnih informacija. Iako ovi rezultati predstavljaju samo dvije točke podataka, sugeriraju da optimizacija učenja putem povratnih informacija u trenutnim okvirima granica ne degradira značajno praćenje lanca zaključivanja te povećava mogućnost praćenja za rane korake. Međutim, to ne isključuje mogućnost da bi znatno veće razmjere učenja putem povratnih informacija mogle negativno utjecati na mogućnost praćenja u budućnosti.
Utvrđujemo da se mogućnost nadzora ne mijenja značajno na trenutnim razinama računalnih resursa za pojačano učenje (RL), ali se povećava u početnim koracima. Iako to može biti istina u trenutnom režimu rada, moguće je da bi značajno povećanje razmjera moglo uzrokovati pogoršanje mogućnosti praćenja.
Velik dio inteligencije trenutnih AI sustava pokreće povećani obujam predobuke, pri čemu su i parametri modela i veličine skupova podataka dosljedno rasli od početka GPT paradigme. Povećanje broja parametara rezultira većom računalnom snagom za zaključivanje koja se koristi po smišljenom tokenu, što, u slučaju modela za zaključivanje, daje više prilika da se razmišljanje modela odvija unutar aktivacija, a ne unutar lanca zaključivanja. Stoga bismo mogli očekivati da će veći modeli biti manje nadzirani na fiksnoj razini mogućnosti.
Istodobno, manji modeli također mogu biti manje sposobni učinkovito koristiti lanac zaključivanja — što također može utjecati na mogućnost praćenja.
Kako bismo istražili odnos između veličine predobuke, sposobnosti i mogućnosti praćenja, obučili smo obitelj modela kroz dva reda veličine računalne snage za predobuku s povećanjem dubine i širine, a zatim primijenili učenje putem povratnih informacija na svaki od njih na zajedničkom skupu podataka matematičkih, znanstvenih i zadataka kodiranja. Procijenili smo svaki model kroz niz napora u prosuđivanju i usporedili mogućnost praćenja na odgovarajućim razinama sposobnosti.
Prikazujemo mogućnost praćenja na našem evaluacijskom skupu za svaki model u odnosu na prosječnu prolaznost kroz skup standardnih procjena sposobnosti (GPQA-Diamond, AIME 2025 i CodeForces). Svaki model se procjenjuje kroz mnoge napore u prosuđivanju (napominjemo da je svaka točka na ovoj slici zapravo rezultat linearne interpolacije između izmjerenih napora u prosuđivanju). Krugovi označavaju da model pri tom određenom naporu u prosuđivanju dominira u nadzoru na toj razini sposobnosti, dok prozirni X-ovi znače da je model pri tom određenom naporu u prosuđivanju nadmašen u nadzoru od strane drugog modela za tu razinu sposobnosti. Crnim strelicama prikazujemo primjere dvaju načina kako potrošiti više računalnih resursa za zaključivanje: uzorkovanjem mnogo više tokena s manjim modelom ili uzorkovanjem relativno manje dodatnih tokena s istim modelom. Crvenim strelicama prikazujemo porez nadzora koji se mora platiti, tj. neznatno smanjene sposobnosti za znatno veću mogućnost nadzora.
Općenito, smatramo da ako bismo primijenili određeni model uz nizak intenzitet zaključivanja, mogli bismo umjesto toga primijeniti manji model uz veći intenzitet zaključivanja. U usporedbi s trošenjem dodatne računalne snage na više napora u prosuđivanju iz izvornog velikog modela, mogli bismo postići veću mogućnost praćenja uz manji trošak izvršenja (porez nadzora); međutim, vrijeme potrebno za završetak izvršenja također može biti faktor u nekim odlukama o implementaciji, što ovdje ne razmatramo. Kako naši modeli postaju bolji i primjenjuju se u situacijama s većim ulozima, može postati potrebno platiti takav trošak kako bi se oni mogli sigurno primijeniti.
Ovi rezultati imaju sljedeća ograničenja: (1) Svaki model obučavamo samo jednom i stoga ne uzimamo u obzir varijacije između različitih obuka. Primjerice, "srednji" model čini se prilično izvan trenda u pogledu praćenja u usporedbi s ostalim modelima u seriji, što bi moglo biti zbog toga. (2) Procjenjujemo sposobnosti u okruženjima relativno unutar distribucije (matematika, znanost i kodiranje), a kompromisi se mogu promijeniti kada se uzme u obzir robusnost izvan distribucije.
Kako AI sustavi prelaze razinu performansi ljudi, izravni ljudski nadzor postaje sve teži. Idealno bi bilo da imamo skalabilne (prilagodljive) kontrolne procedure koje omogućuju pouzdanim, ali slabijim nadzornicima da nadgledaju jače, potencijalno nepouzdane agente. Takvi postupci također bi trebali biti sposobni apsorbirati dodatnu računalnu snagu tijekom testiranja i proizvesti točnija predviđanja.
(Lijevo) Uspoređujemo mnoge različite nadzornike i mijenjamo napor u prosuđivanju svakog od njih. Svaki nadzornik prati isti model GPT‑5 za razmišljanje. Kao što se očekuje, otkrivamo da općenito veći i sposobniji modeli djeluju kao bolji nadzornici, a modeli prosuđivanja bolje obavljaju zadatak nadzora s većim naporom u prosuđivanju (i stoga s većim računalnim opterećenjem tijekom testiranja).
(Desno) Uspoređujemo različite opsege promatranja praćenja za OpenAI o4-mini, tj. može li nadzornik vidjeti samo lanac razmišljanja, samo radnje i odgovor ili sve poruke modela koje nadzornik prati. Od važnosti je da otkrivamo kako se mogućnost praćenja s povećanim računalnim resursima za nadzor tijekom testiranja (veći napor za nadzor zaključivanja) poboljšava bržim tempom kada se nadzorniku omogući pristup lancu razmišljanja. Stoga, nadzor lanca razmišljanja može pružiti skalabilniji put za kontrolu od 'naivnog' nadzora.
Mogućnost praćenja lanaca zaključivanja često se tretira kao fiksna količina: kada model proizvede odgovor uz određeni napor u razmišljanju, prati se rezultirajući lanac zaključivanja što je bolje moguće. Budući da smo dosljedno otkrili da se mogućnost praćenja poboljšava kako povećavamo napor u razmišljanju naših izvršitelja, potaknuti smo da se zapitamo možemo li nekako dobiti više tokena za nadzor.
Kako bismo to istražili, eksperimentirali smo s postavljanjem naknadnih pitanja nakon što model odgovori, pritom zadržavajući originalni upit, lanac zaključivanja i odgovor u kontekstu. Ovi naknadni koraci usredotočuju se na svojstvo koje se prati — na primjer, "Je li savjet korišten na smislen način u odabiru odgovora?" ili "Je li učinjeno nešto sumnjivo?" U načelu, budući da model zadržava pristup svom ranijem razmišljanju, mogao bi biti sposoban iznijeti prethodno neizrečene misli u naknadnom lancu zaključivanja ili odgovoru.
Ovi rezultati su preliminarni. Istražili smo samo mali broj formata naknadnih pitanja i vjerujemo da postoji znatan prostor za poboljšanje metodologije. Nadalje, ova metoda je po duhu slična priznanjima modela i aktivno radimo na usporedbi pristupa.
Prikazujemo prosječne rezultate kroz naš evaluacijski paket i sve naše nedavne modele za prosuđivanje: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini i GPT‑5‑thinking. Otkrili smo da, općenito, dodatna pitanja poboljšavaju mogućnost praćenja, posebno pri nižim intenzitetima prosuđivanja. Ako ponavljano postavljamo dodatna pitanja i pružamo monitoru sve dodatne lance zaključivanja, mogućnost praćenja se dodatno poboljšava. Značajno je da, kada nadzorniku damo pristup samo nastavku odgovora, a ne nastavku lanca zaključivanja, primjećujemo manje poboljšanje u odnosu na osnovnu vrijednost. To ukazuje da modeli nisu otvoreni u svojim odgovorima prema korisniku, ali ipak daju više informacija u svom lancu zaključivanja.
Osim poboljšanja nadzora, ovaj pristup je privlačan jer se može primijeniti post hoc, uz dodatne troškove obrade samo kada je potrebna detaljnija inspekcija. Gledajući unaprijed, ako su modeli obučeni da očekuju promjene u naporu prosuđivanja tijekom razgovora, naknadni postupci s većim naporom prosuđivanja mogu dodatno poboljšati mogućnost praćenja čak i kada je početni napor prosuđivanja nizak ili ga nema.
Svaka procjena u našem skupu mjeri je li moguće nadzirati jedan aspekt procesa prosuđivanja. Iako nastojimo pokriti širok raspon ponašanja — uključujući ulizivanje, podmetanje, pristranost, spletkarenje i hakiranje nagrada — mnoga dodatna svojstva ostaju neispitana.
Kao i kod svakog mjerila, naše procjene mogu patiti od ograničenog realizma ili povećane svijesti o procjeni, a rezultati se možda neće generalizirati na otkrivanje nepravilnosti u stvarnom svijetu.
Konačno, kako se usklađenost poboljšava, modeli mogu rjeđe pokazivati nepoželjno ponašanje u kontroliranim okruženjima procjenjivanja, smanjujući signal dostupan za praćenje i kontrolu procjene koje se oslanjaju na otkrivanje nepoželjnih ponašanja. U tim slučajevima, "neutralne" procjene nadzora ostaju primjenjive, iako je otvoreno pitanje koliko su prediktivne (predviđajuće) za stvarne neuspjehe.
Ako se problem usklađivanja ne može u potpunosti riješiti, tada će skalabilne metode kontrole biti izuzetno važne za našu sposobnost sigurnog uvođenja visoko sposobnih modela. Praćenje lanca zaključivanja i srodne metode mogu biti jedan od rijetkih mehanizama kontrole koji su nam na raspolaganju. Lanac zaključivanja također može donijeti velike koristi u boljem razumijevanju naših modela, npr. jesu li svjesni da su u procjeni i ponašaju se drugačije nego što bi to činili u primjeni, postoji li dokaz o bilo kakvim negativnim ciljevima koji se još nisu manifestirali u našim procjenama, itd. Stoga vjerujemo da je od najveće važnosti razumjeti kako i kada možemo izgubiti mogućnost nadzora.
Smatramo da je praćenje lanca zaključivanja komplementarno mehanističkoj mogućnosti tumačenja (interpretabilnosti), a ne njena zamjena. Kao i sve poznate metode kontrole i interpretabilnosti, svaka ima ograničenja i slijepe točke. Naše očekivanje je da kombiniranje više pristupa, odnosno 'strategija dubinske obrane' može pomoći u pokrivanju praznina koje bilo koja pojedinačna metoda ostavlja izložene. Značajno je da se procjene uvedene u ovom radu mogu također primijeniti za procjenu i usporedbu tehnika nadzora koje se temelje na mehanističkoj interpretabilnosti.
Budući da vjerujemo da bi praćenje lanca zaključivanja moglo biti nosivi sloj u skalabilnom sustavu kontrole, planiramo proširiti ove procjene i koristiti ih za donošenje budućih odluka o modeliranju i podacima.
Autor
Citati
1. Naši modeli nisu namijenjeni davanju medicinskih dijagnoza, pa naš skup podataka za zdravstvene upite nije namijenjen testiranju te sposobnosti.
