Domāšanas ķēdes pārraudzības iespēju novērtēšana

Kad MI sistēmas pieņem lēmumus, kurus ir grūti tieši uzraudzīt, ir svarīgi saprast, kā šie lēmumi tiek pieņemti. Viena daudzsološa pieeja ir uzraudzīt modeļa iekšējo loģiku, nevis tikai tā darbības vai galīgos rezultātus.

Mūsdienu spriešanas modeļi, piemēram, GPT‑5 Thinking, ģenerē skaidru domāšanas ķēdi pirms atbildes sniegšanas. Šo domāšanas ķēžu uzraudzība, lai atklātu neatbilstošu rīcību, var būt daudz efektīvāka⁠ nekā tikai modeļa darbību un rezultātu uzraudzība. Tomēr OpenAI pētnieki un plašākās nozares speciālisti ir noraizējušies⁠(atveras jaunā logā), ka šī domāšanas ķēdes “uzraugāmība” var būt trausla pret izmaiņām mācības procedūrā, datu avotos un pat esošo algoritmu turpmākā mēroga palielināšanā.

Mēs vēlamies, lai domāšanas ķēdes uzraugāmība saglabātos, kad modeļi tiek paplašināti un izmantoti augstākas ietekmes situācijās. Mēs aicinām pētniekus visā nozarē strādāt, lai pēc iespējas ilgāk saglabātu domāšanas ķēdes uzraugāmību, un lai noteiktu, vai tā var kalpot kā slodzes izturīgs kontroles slānis nākotnes MI sistēmām. Lai saglabātu uzraugāmību, mums jāspēj to izmērīt, taču ir maz novērtējumu [1⁠(atveras jaunā logā), 2⁠(atveras jaunā logā), 3⁠(atveras jaunā logā)] un metodoloģijas atšķiras.

Šajā darbā mēs sistemātiski pētām domāšanas ķēdes uzraugāmību. Mēs ieviešam ietvaru, lai novērtētu domāšanas ķēdes uzraugāmību, un 13 novērtējumu kopumu (kopā 24 vides), kas izstrādāti, lai konkrēti izmērītu sistēmas uzraugāmību. Šie novērtējumi iedalās trīs arhetipos – iejaukšanās, process un rezultāta īpašības. Izmantojot tos, mēs pētām, cik labi šodienas lielos valodas modeļus var uzraudzīt un kā uzraugāmība mainās ar lielāku spriešanas intensitāti inferences izdarīšanas laikā, lielākiem stimulētas mācīšanās cikliem un lielāku iepriekšējas apmācības mērogu.

Mēs konstatējam, ka vairums progresīvo spriešanas modeļu ir diezgan labi uzraugāmi, lai gan ne pilnīgi. Gandrīz katrā situācijā, ko mēs pētām, domāšanas ķēdes uzraudzība ir ievērojami efektīvāka nekā tikai darbību un galarezultātu uzraudzība. Modeļi, kas domā ilgāk, mēdz būt labāk uzraugāmi, un šķiet, ka stimulētas mācīšanās optimizācija pašreizējos robežlīmeņos būtiski nepaslktina uzraugāmību.

Īpaši jāatzīmē, ka mēs redzam kompromisu starp spriešanas piepūli un modeļa lielumu – ja modelis tiek darbināts ar zemu spriešanas piepūli, mazāks modelis, kas palaists ar lielāku spriešanas piepūli, var sasniegt salīdzināmas spējas, un vienlaikus to ir vieglāk uzraudzīt. Tas tiek panākts uz palielinātas inferenču aprēķinu jaudas rēķina, ko mēs dēvējam par uzraudzības nodokli. Visbeidzot, mēs secinām, ka, uzdodot papildjautājumus un pārraugot izrietošanās domāšanas ķēdes, uzraugāmību var vēl vairāk uzlabot.

Mēs definējam uzraugāmību kā uzrauga spēju prognozēt interesējošas aģenta uzvedības īpašības. Daudzos gadījumos šīs īpašības atbilst nepareizas uzvedības veidiem, piemēram, maldināšanai, atlīdzības uzlaušanai vai neobjektīvai argumentācijai, taču tās var ietvert arī nekaitīgas īpašības, piemēram, vai aģents paļāvies uz konkrētu mājienu vai sekojis noteiktai argumentācijas līnijai.

Uzraugāmība ir divpusēja īpašība. Tā ir atkarīga gan no uzrauga, gan no uzraugāmā aģenta.

• Uzraugi. Mēs varētu padarīt uzraugus gudrākus dažādos veidos, un mēs vēlamies, lai mūsu novērtējumi piešķirtu augstākus punktus uzraugiem, kas spēj labāk prognozēt aģenta rīcību.
• Aģenti. Ir daudz aģenta novērojumu, ko varētu sniegt uzraugam, tostarp aģenta darbības, izvades, neironu aktivācijas un nesen, līdz ar spriešanas modeļu parādīšanos, domāšanas ķēde. Ir iespējams, ka dažu aģentu domas ir grūtāk izprotamas nekā citu, tāpēc mēs vēlamies, lai mūsu uzraugāmības novērtējumi varētu salīdzināt aģentus, nevis tikai uzraugus.

Mūsu novērtējumi ir izstrādāti, lai novērtētu abas puses: vai noteiktus aģentus ir vieglāk vai grūtāk uzraudzīt, un vai spējīgāki uzraudzītāji var iegūt vairāk informācijas no tiem pašiem signāliem.

Pirms pašreizējās paaudzes spriešanas modeļiem domāšanas ķēdes parasti tika izraisītas, mudinot modeli "domāt soli pa solim." 

Spriešanas modeļu domāšanas ķēdes atšķiras divos svarīgos veidos. Pirmkārt, tie tiek īpaši apmācīti ģenerēt domāšanas ķēdi un pēc tam sniegt atbildi. Aicinot tērzēšanas modeli domāt "soli pa solim", modelim ir jāievēro visas modelim noteiktās specifikācijas, t.i., jābūt izpalīdzīgam, nekaitīgam utt. Turpretī stimulētās mācīšanās apmācību process māca spriešanas modeli, ka domu ķēde ir privāta telpa, kurā tas var domāt, ko vēlas, un netikt sodīts, gluži tāpat kā cilvēks var domāt privāti un netikt sodīts par "domu noziegumiem". 

Otrkārt, apmācības procesā faktiski tiek meklētas tādas domu ķēdes, kas aģentam ir visnoderīgākās, lai iegūtu augsti atalgotu galīgo atbildi. Tādējādi domu ķēde ir ne tikai telpa, kur modelis var brīvi izpausties, bet arī ietver domāšanu, kas palīdz modelim nonākt pie galīgās atbildes.

Mēs sakārtojam savus uzraugāmības novērtējumus trīs dažādos arhetipos, katrā no tiem izmantojot atšķirīgu uzraugāmības mērīšanas mehānismu.

1. Intervences novērtējumi, iedvesmojoties no Chen et al. 2025⁠(atveras jaunā logā), Chua et al. 2025⁠(atveras jaunā logā), Turpin et al. 2023⁠(atveras jaunā logā), mēs ieviešam kontrolētas izmaiņas aģenta vidē un pārbaudām, vai uzraugs spēj noteikt, kāpēc uzvedība mainījās, identificējot intervences pierādījumus domāšanas ķēdē. Atšķirībā no standarta kontroles novērtējumiem (piemēram, Shade-Arena⁠(atveras jaunā logā)), intervences novērtējumi ļauj mums izpētīt, vai uzraugs spēj noteikt, kāpēc uzvedība mainījās, nevis vienkārši konstatēt, vai noteikta uzvedība notika. 
2. Procesa novērtējumi koncentrējas uz uzdevumiem ar ierobežotu skaitu derīgu risinājuma ceļu (piemēram, matemātikas uzdevumu var atrisināt tikai ar noteiktām teorēmām). Cilvēku eksperti uzskaita šos ceļus, un mēs pārbaudām, vai uzraugs spēj noteikt, kurus soļus modelis patiešām veica. Šie novērtējumi ļauj mums saistīt to, ko modelis ir izdarījis, ar konkrētiem soļiem, kas modelim bija jāveic, un jautāt, vai šos soļus ir iespējams uzraudzīt.
3. Rezultāta īpašību novērtējumi tiek lietoti, kad noteiktu modeļa rezultāta īpašību var uzticami izmērīt. Šajos gadījumos mēs pārbaudām, vai uzraugs spēj paredzēt šo īpašību (piemēram, atlīdzības uzlaušanu) no modeļa apsvērumiem vai rīcības. Piemēram, kodēšanas uzdevumā mums var būt veids, kā ticami novērtēt, vai modelis veic darbības, lai uzlauztu atlīdzības signālu, un mēs varam jautāt, vai uzraugs modeļa domāšanā vai darbībās atrod pierādījumus par nodomu uzlauzt atlīdzību.

Tālāk mēs aprakstām savu novērtējumu taksonomiju. Lūdzu, lasi mūsu rakstu, lai iegūtu pilnu aprakstu par katru atsevišķo novērtējumu.

Principā, domāšanas ķēdes uzskatīšanai par privātu darba telpu un modeļu apmācīšanai to izmantot, lai efektīvi risinātu uzdevumus, vajadzētu padarīt domāšanas ķēdes uzraugāmas. Tajā pašā laikā ir vairāki iemesli, kāpēc stimulēta mācīšanās varētu kaitēt domāšanas ķēdes uzraugāmībai.

Pirmkārt, spriešanas ilguma ierobežojumi, piemēram, ierobežojot laiku vai tokenus, kas modelim ir domāšanai, stimulē modeļus spriest mazāk. Otrkārt, pat neliekot tiešu optimizācijas spiedienu uz pašu domāšanas ķēdi, netiešs spiediens joprojām var samazināt uzraugāmību. Piemēram⁠(atveras jaunā logā), modeļiem var būt vieglāk sasniegt augstas atlīdzības atbildes, ja tie izvairās no spriešanas ceļiem, kas var novest pie zemas atlīdzības vai nevēlamiem iznākumiem. Visbeidzot, samazināta uzraugāmība var rasties arī nejaušas novirzes dēļ, ko izraisa stimulētas mācīšanās gradienta troksnis.

Tālāk mēs aplūkojam, kā mainās uzraugāmība divos no OpenAI progresīvās stimulētās mācīšanās cikliem. Lai gan šie rezultāti ir tikai divi datu punkti, tie liecina, ka stimulētās mācīšanās optimizācija pie pašreizējiem robežas mērogiem būtiski nepasliktina domāšanas ķēdes uzraugāmību un palielina uzraugāmību agrīnos posmos. Tomēr tas neizslēdz iespēju, ka ievērojami lielāki stiumlētās mācīšanās mērogi nākotnē varētu negatīvi ietekmēt uzraugāmību.

Lielu daļu no pašreizējo mākslīgā intelekta sistēmu intelekta nodrošina palielināts iepriekšējas apmācības mērogs, jo kopš GPT paradigmas sākuma ir konsekventi palielinājušies gan modeļa parametri, gan datu kopu izmēri. Palielināts parametru skaits nozīmē, ka uz vienu ģenerēto tokenu tiek izmantots vairāk inferences aprēķinu, kas spriešanas modeļu gadījumā dod vairāk iespēju modeļa izziņai notikt aktivizācijās, nevis domāšanas ķēdē. Tādējādi mēs varētu gaidīt, ka lielāki modeļi pie fiksēta spēju līmeņa būs mazāk uzraugāmi. 

Tajā pašā laikā mazāki modeļi var būt arī mazāk spējīgi efektīvi izmantot domāšanas ķēdi, un tas arī var ietekmēt uzraugāmību.

Lai izpētītu saistību starp priekšapmācības apjomu, spējām un uzraugāmību, mēs apmācījām modeļu saimi divu lieluma kārtu diapazonā pēc priekšapmācībai izmantotās aprēķinu jaudas, pakāpeniski palielinot dziļumu un platumu, un pēc tam katram no tiem piemērojām stimulētu mācīšanos, izmantojot kopīgu matemātikas, dabaszinātņu un programmēšanas uzdevumu datu kopu. Mēs novērtējām katru modeli dažādos spriešanas centienos un salīdzinājām uzraugāmību atbilstošos spēju līmeņos.

Kopumā mēs secinām, ka, ja mēs vēlamies izmantot noteiktu modeli ar zemu spriešanas intensitāti, mēs tā vietā varētu izmantot mazāku modeli ar lielāku spriešanas intensitāti. Salīdzinot ar papildu skaitļošanas resursu izmantošanu, lai palielinātu spriešanas centienus no sākotnējā lielā modeļa, mēs varētu iegūt augstāku uzraugāmību ar nelielām spēju izmaksām jeb uzraugāmības nodokli; tomēr laiks, kas nepieciešams, lai pabeigtu izpildi, var būt faktors dažos izvietošanas lēmumos, ko šeit neapsveram. Mūsu modeļiem pilnveidojoties un tiekot izmantotiem situācijās ar lielāku atbildību, var rasties nepieciešamība maksāt šo "nodokli", lai tos droši izvietotu.

Šiem rezultātiem ir šādi ierobežojumi: (1) mēs katru modeli apmācām tikai vienu reizi, tāpēc neņemam vērā variāciju starp apmācības reizēm. Piemēram, "vidējā" modeļa uzraugāmība salīdzinājumā ar citiem sērijas modeļiem šķiet diezgan zema, un tas varētu būt saistīts ar to. (2) Mēs vērtējam spējas salīdzinoši sadalījumam atbilstošos (in-distribution) apstākļos (matemātikā, dabaszinātnēs un programmēšanā), un kompromisu nozīmīgums var mainīties, ņemot vērā noturību gadījumos ārpus sadalījuma (out-of-distribution).

Kad MI sistēmas pārsniedz cilvēka līmeņa veiktspēju, tieša cilvēka uzraudzība kļūst arvien grūtāka. Ideālā gadījumā mums būtu mērogojamas kontroles procedūras, kas ļauj uzticamiem, bet vājākiem uzraugiem pārraudzīt spēcīgākus, potenciāli neuzticamus aģentus. Šādām procedūrām būtu arī jāspēj absorbēt papildu testēšanas laikā izmantoto aprēķinu jaudu un nodrošināt precīzākas prognozes.

Domāšanas ķēdes uzraugāmība bieži tiek uzskatīta par fiksētu lielumu: – kad modelis rada atbildi ar noteiktu spriešanas piepūli, izrietošā domāšanas ķēde tiek uzraudzīta, cik vien iespējams. Tā kā mēs esam secinājuši, ka uzraugāmība uzlabojas, palielinot mūsu aģentu spriešanas intensitāti, mums radās jautājums, vai mēs kādā veidā varētu iegūt vairāk tokenu uzraudzībai.

Lai to izpētītu, mēs eksperimentējām ar papildu jautājumu uzdošanu pēc modeļa atbildes, vienlaikus saglabājot sākotnējo uzvedni, domāšanas ķēdi un atbildi kontekstā. Šie papildu jautājumi koncentrējas uz uzraugāmo īpašību, piemēram, "Vai tu izmantoji mājienu jēgpilnā veidā, lai izvēlētos savu atbildi?" vai "Vai tu darīji kaut ko aizdomīgu?" Principā, tā kā modelis saglabā piekļuvi savai iepriekšējai spriešanai, tas varētu atklāt iepriekš neverbalizētas domas turpmākajā domāšanas ķēdē vai atbildē.

Šie rezultāti ir provizoriski. Mēs izpētījām tikai nelielu skaitu papildjautājumu formātu un uzskatām, ka ir daudz iespēju uzlabot metodoloģiju. Turklāt šī metode pēc būtības ir līdzīga modeļu atzīšanām⁠ (model confessions), un mēs aktīvi strādājam pie šo pieeju salīdzināšanas.

Papildus uzraugāmības uzlabošanai šī pieeja ir pievilcīga, jo to var piemērot post hoc, radot papildu skaitļošanas izmaksas tikai tad, kad nepieciešama dziļāka pārbaude. Nākotnē, ja modeļi tiek apmācīti sagaidīt izmaiņas spriešanas centienos sarunas vidū, pēc tam sekojošas darbības ar augstāku spriešanas piepūli varētu vēl vairāk uzlabot uzraugāmību, pat ja sākotnējā spriešanas piepūle ir zema vai tās nav vispār.

Katrs novērtējums mūsu kopā mēra, vai ir iespējams uzraudzīt kādu atsevišķu spriešanas procesa aspektu. Lai gan mēs cenšamies aptvert plašu uzvedības spektru, tostarp glaimošanu, aizkavēšanas taktiku, aizspriedumus, viltīgu rīcību un atlīdzības uzlaušanu, ir daudz papildu īpašību, kas paliek nepārbaudītas.

Kā jebkura etalona gadījumā, mūsu novērtējumi var ciest no ierobežota reālisma vai augošas novērtēšanas apzināšanās, un rezultāti var nebūt vispārināmi, lai atklātu nepareizu rīcību reālajā vidē. 

Visbeidzot, uzlabojoties saskaņotībai, kontrolētās novērtēšanas situācijās modeļi var retāk uzvesties nepareizi, tādējādi samazinot signālu, kas pieejams uzraugāmības un kontroles novērtējumos, kuru pamatā ir nepareizas uzvedības atklāšana. Šādos gadījumos "neitrāli" uzraugāmības novērtējumi joprojām ir piemērojami, lai gan ir atklāts jautājums, cik prognozējoši tie ir attiecībā uz reālās pasaules kļūmēm.

Ja saskaņotības problēmu nevar pilnībā atrisināt, tad mērogojamas kontroles metodes būs ārkārtīgi svarīgas mūsu spējai droši izvietot ļoti spējīgus modeļus. Domāšanas ķēdes uzraudzība un saistītās metodes var būt viens no nedaudzajiem kontroles mehānismiem, kas ir mūsu rīcībā. Domāšanas ķēde var arī sniegt lielus ieguvumus, lai labāk izprastu mūsu modeļus, piemēram, vai tie apzinās, ka atrodas novērtējumā, un uzvedas citādi nekā izvietojumā; vai ir pierādījumi par jebkādiem nelabvēlīgiem mērķiem, kas vēl nav izpaudušies mūsu novērtējumos, utt. Tāpēc mēs uzskatām, ka ir ārkārtīgi svarīgi saprast, kā un kad mēs varam zaudēt uzraugāmību.

Mēs uzskatām, ka domāšanas ķēdes uzraudzība papildina mehānistisko interpretāciju, nevis aizstāj to. Tāpat kā visām zināmajām kontroles un interpretācijas metodēm, arī katrai no tām ir ierobežojumi un "aklās zonas". Mēs ceram, ka vairāku pieeju apvienošana – padziļinātas aizsardzības stratēģija – var palīdzēt novērst nepilnības, kuras ir jebkurai atsevišķai metodei. Jāatzīmē, ka šajā darbā ieviestos novērtējumus var izmantot arī, lai novērtētu un salīdzinātu uz mehānistisko interpretējamību balstītas uzraudzības metodes.

Tā kā mēs uzskatām, ka domāšanas ķēdes uzraudzība varētu būt svarīgs slānis mērogojamā kontroles shēmā, mēs plānojam paplašināt šos novērtējumus un izmantot tos, lai pamatotu nākotnes modelēšanas un datu lēmumus.