Protavimo modeliams sunkiai sekasi valdyti savo minčių grandines, ir tai yra gerai

DI agentams tampant pajėgiems atlikti vis sudėtingesnes ir savarankiškesnes užduotis, patikima jų elgsenos priežiūra tampa vis svarbesnė. Laikydamiesi iteracinio diegimo principo, tiriame, kaip sistemos veikia realiomis sąlygomis, ir nuolat tobuliname apsaugos priemones, augant pajėgumams. Siekiant tai palaikyti, mūsų saugos požiūris⁠ pagrįstas gilia apsauga su keliais vienas kitą papildančiais gynybos lygmenimis, tokiais kaip saugos mokymai⁠, elgsenos testavimas⁠, agentų atliekama kodo peržiūra⁠(atsidaro naujame lange) ir minčių grandinės (angl. chain-of-thought, CoT) stebėjimas⁠. Minčių grandinės stebėjimas analizuoja protavimo žingsnius, kuriuos agentai sugeneruoja atlikdami užduotis. Šie protavimo pėdsakai gali suteikti vertingų signalų tiek mokant, tiek diegiant, padėdami stebėjimo sistemoms nustatyti, kada agento elgsena gali būti nesaugi arba neatitikti numatytų naudotojo tikslų.

Šiandien matome, kad modelių protavimas paprastai yra interpretuojamas ir lengvai stebimas⁠. Vis dėlto ateityje stebimumas gali sutrikti dėl įvairių priežasčių⁠(atsidaro naujame lange). Čia sutelkiame dėmesį į vieną tokį scenarijų: jei agentai taps pajėgūs sąmoningai pakeisti arba paslėpti savo protavimą žinodami, kad yra stebimi, vertinant gali būti pervertintas sistemos suderinamumas ar sauga, o stebėjimo sistemos gali tapti mažiau patikimos. 

Šiame darbe tiriame, ar dabartiniai protavimo modeliai geba valdyti savo minčių grandinę taip, kad sumažėtų stebimumas. Šio gebėjimo supratimas yra svarbus siekiant užtikrinti, kad minčių grandinės stebėjimas išliktų patikima apsaugos priemone, DI sistemoms tampant vis pajėgesnėmis. Matome, kad dabartiniams protavimo modeliams sunkiai sekasi valdyti savo minčių grandines, net ir tada, kai jiems pasakoma, jog jie yra stebimi. Nors didesnių modelių valdomumas yra didesnis, jis mažėja, kai modelių prašoma protauti ilgiau ir kai jie papildomai suderinami. Mūsų rezultatai rodo, kad minčių grandinės valdomumas šiuo metu vargu ar kelia didelę riziką minčių grandinės stebimumui, nors tolesnis vertinimas bus svarbus modeliams tobulėjant.

Minčių grandinė – tai tarpiniai protavimo žingsniai, kuriuos DI agentas sugeneruoja spręsdamas užduotį. Šie protavimo pėdsakai gali suteikti naudingų saugos signalų, padedančių stebėjimo sistemoms įvertinti, ar agento elgsena yra saugi ir suderinta.

Minčių grandinės valdomumas – tai protavimo modelio gebėjimas valdyti savo minčių grandinės savybes taip, kad sumažėtų stebimumas. Išmatuoti šį gebėjimą esant visoms realioms paskatoms išvengti stebėjimo, kokių galime tikėtis praktikoje, yra sudėtinga. Vietoj to naudojame praktinį pakaitalą: matuojame modelio gebėjimą vykdyti naudotojo nurodymus dėl minčių grandinės. Pavyzdžiui, tikriname, ar modelis gali vykdyti nurodymus, kurie daro įtaką jo vidiniam protavimui – pavyzdžiui, naudoti tik mažąsias raides, vengti tam tikrų raktažodžių ar pridėti konkrečias frazes, – užuot tik pakeitęs savo matomą išvestį.

Siekdami tai ištirti, pristatome CoT-Control – atvirojo kodo vertinimo rinkinį, skirtą protavimo modelių minčių grandinės valdomumui matuoti. „CoT-Control“ apima per 13 tūkst. užduočių, sukurtų remiantis pripažintais lyginamaisiais standartais: GPQA, „MMLU-Pro“, HLE, BFCL ir SWE-Bench Verified⁠. Kiekviena užduotis sukuriama susiejant lyginamojo standarto problemą su vienu minčių grandinės nurodymu, pavyzdžiui, vengti tam tikrų su problema susijusių raktažodžių minčių grandinėje, naudoti tik mažąsias raides arba prie kiekvieno sakinio pridėti nurodytą žodį.

Atliekame 13 protavimo modelių vertinimus ir matome, kad jiems visiems sunkiai sekasi patikimai valdyti savo minčių grandines. Valdomumą matuojame kaip protavimo pėdsakų, kuriuose modelis sėkmingai įvykdo mūsų minčių grandinės nurodymus, dalį. Priešakinių modelių minčių grandinės valdomumo įverčiai yra žemi – nuo 0,1 proc. ir neviršija 15,4 proc. nė viename mūsų testuotame dabartiniame priešakiniame modelyje. 

Šis negebėjimas neatsiranda dėl užduoties nesupratimo: modeliai dažnai savo minčių grandinėje atpažįsta, kad jiems nepavyksta įvykdyti duotų minčių grandinės nurodymų, ir, net tai supratę, vis tiek toliau klysta. Šis stebėtinai prastas rezultatas yra gera žinia minčių grandinės stebimumui: tai rodo, kad modeliams gali lygiai taip pat trūkti gebėjimo paslėpti savo protavimą siekiant išvengti mūsų stebėjimo.

Nors matome, kad valdomumas didėja didėjant modelio dydžiui, taip pat pastebime, kad jis greitai mažėja atsižvelgiant į papildomo suderinimo kiekį ir skaičiavimus testavimo metu. Vertinant dvi atvirųjų svorių modelių šeimas, didesni modeliai kiek geriau valdė savo minčių grandines, nors šis poveikis silpnėjo esant didesniems dydžiams. Tačiau leidus modeliams protauti ilgiau, jie tapo mažiau pajėgūs valdyti tas minčių grandines. Panašią tendenciją pastebėjome atliekant „OLMo-3-7B-RL-Zero-Math“ modelio skatinamąjį mokymą (angl. Reinforcement Learning, RL): per mokymą jo valdomumo įvertis nukrito daugiau nei dešimt kartų.

Atvirųjų svorių modelių valdomumas didėja didėjant mastui, bet blogėja ilgėjant protavimui ir daugėjant skatinamojo mokymo (RL).

Siekdami imituoti realias paskatas išvengti stebėjimo, matuojame valdomumą, kai modeliams pasakoma, kad jie yra stebimi arba vertinami. Tai šiek tiek (bet pastebimai) padidina valdomumą. Taip pat naudojame automatizuotą užklausų optimizavimą, kad rastume užklausas, lemiančias didelį valdomumą. Nors optimizatorius gali padidinti valdomumą mokymo rinkinyje, šie laimėjimai prastai perkeliami naujiems nurodymų tipams (pavyzdžiui, reikalavimui nepalikti tarpų tarp žodžių).

„CoT-Control“ užduotys yra praktiniai pakaitalai: idealus minčių grandinės valdomumo vertinimas apimtų tikrinimą, ar modeliai, kurie natūraliai siekia nesuderintų tikslų, gali valdyti savo minčių grandinę, kad išvengtų stebėjimo. Vietoj to agentų gebėjimą valdyti savo minčių grandines vertiname matuodami jų gebėjimą vykdyti nurodymus dėl savo minčių grandinės. Be to, modeliai kai kurias savo minčių grandinės savybes gali valdyti geriau nei kitas, todėl „CoT-Control“ gali pervertinti arba nepakankamai įvertinti valdomumą, matuodamas tik siaurą valdomumo tipų rinkinį.

Žemas minčių grandinės valdomumas yra savybė, o ne klaida. Dėl dabartinių protavimo modelių žemo valdomumo minčių grandinės stebėjimas tampa patikimesne apsaugos priemone. Tuo pat metu dar nesuprantame, kodėl dabartinių protavimo modelių valdomumas yra žemas – arba ar ši savybė išliks modeliams tampant pajėgesniems. Todėl minčių grandinės valdomumo vertinimus galima laikyti išankstinio įspėjimo vertinimu (angl. canary eval): ankstyvu įspėjamuoju ženklu, rodančiu, ar modeliai geriau formuoja ar slepia savo protavimą.

Mūsų rezultatai rodo, kad minčių grandinės valdomumas šiuo metu vargu ar kelia didelę riziką minčių grandinės stebimumui. Vis dėlto vien žemo valdomumo nepakanka aukštam stebimumui užtikrinti, nes stebimumas vis tiek gali pablogėti dėl kitų mechanizmų, pavyzdžiui, tiesioginio optimizavimo spaudimo minčių grandinėms. 

Siekdami padėti sekti šią dinamiką ilgainiui, pradėsime skelbti minčių grandinės valdomumo duomenis kartu su minčių grandinės stebimumu⁠ būsimų priešakinių modelių, pradedant „GPT‑5.4 Thinking“, sistemų kortelėse, remdamiesi savo nuolatiniu įsipareigojimu⁠ netaikyti optimizavimo spaudimo tiesiogiai priešakinių protavimo modelių minčių grandinėms.