Minčių eigos stebimumo vertinimas

Kai DI sistemos priima sprendimus, kuriuos sunku tiesiogiai prižiūrėti, tampa svarbu suprasti, kaip tie sprendimai priimami. Vienas iš perspektyvių būdų yra stebėti modelio vidinį samprotavimą, o ne tik jo veiksmus ar galutinius rezultatus.

Šiuolaikiniai samprotavimo modeliai, tokie kaip „GPT‑5 Thinking“, prieš pateikdami atsakymą sugeneruoja aiškią minčių eigą. Šios minčių eigos stebėjimas ieškant netinkamo elgesio gali būti kur kas veiksmingesnis⁠ nei vien modelio veiksmų ir rezultatų stebėjimas. Vis dėlto tyrėjai „OpenAI“ ir visame sektoriuje nerimauja⁠(atsidaro naujame lange), kad šis minčių eigos „stebimumas“ gali būti neatsparus mokymo procedūros ir duomenų šaltinių pokyčiams ar net tolesniam esamų algoritmų mastelio didinimui.

Norime, kad minčių eigos stebimumas išliktų plečiant modelių mastelį ir diegiant juos didesnės atsakomybės reikalaujančiose aplinkose. Kviečiame visos pramonės tyrėjus dirbti siekiant kuo ilgiau išsaugoti minčių eigos stebimumą ir nustatyti, ar jis gali būti esminis kontrolės sluoksnis ateities DI sistemoms. Norėdami išsaugoti stebimumą, privalome gebėti jį išmatuoti, tačiau vertinimų yra nedaug [1⁠(atsidaro naujame lange), 2⁠(atsidaro naujame lange), 3⁠(atsidaro naujame lange)], o metodikos skiriasi.

Šiame darbe sistemiškai tiriame minčių eigos stebimumą. Pristatome sistemą minčių eigos stebimumui vertinti ir 13 vertinimų rinkinį (iš viso 24 aplinkas), skirtą konkrečiai išmatuoti sistemos stebimumą. Šie vertinimai skirstomi į tris archetipus: intervencijos, proceso ir rezultato savybių. Naudodami juos tiriame, kiek stebimi yra šiandienos didieji kalbos modeliai ir kaip stebimumas keičiasi atliekant daugiau samprotavimų modelio vykdymo metu, vykdant didesnės apimties pastiprinimo mokymąsi ir didinant išankstinio mokymo mastelį.

Pastebime, kad dauguma pažangiausių samprotavimo modelių yra gana gerai stebimi, nors ir ne tobulai. Beveik kiekvienoje tirtoje aplinkoje minčių eigos stebėjimas yra gerokai veiksmingesnis nei vien veiksmų ir galutinių rezultatų stebėjimas. Modeliai, kurie galvoja ilgiau, paprastai yra geriau stebimi, o pastiprinimo mokymosi optimizavimas esamais pažangiausiais masteliais, atrodo, reikšmingai nepablogina stebimumo.

Pažymėtina, kad pastebime kompromisą tarp samprotavimo pastangų ir modelio dydžio: kai modelis veikia mažomis samprotavimo pastangomis, mažesnis modelis, veikiantis didesnėmis samprotavimo pastangomis, gali pasiekti panašius gebėjimus ir būti lengviau stebimas. Tai kainuoja didesnius modelio vykdymo skaičiavimus, kuriuos vadiname stebimumo mokesčiu. Galiausiai nustatėme, kad užduodant patikslinamuosius klausimus ir stebint gaunamą minčių eigą, galima dar labiau pagerinti stebimumą.

Stebimumą apibrėžiame kaip stebėtojo gebėjimą numatyti dominančias agento elgsenos savybes. Daugeliu atvejų šios savybės atitinka netinkamo elgesio formas, pavyzdžiui, apgaulę, atlygio manipuliavimą ar šališką samprotavimą, tačiau jos taip pat gali apimti nekenksmingas savybes, pavyzdžiui, ar agentas rėmėsi konkrečia užuomina, ar vadovavosi tam tikra samprotavimo linija.

Stebimumas yra dvipusė savybė. Jis priklauso ir nuo stebėtojo, ir nuo stebimo agento.

• Stebėtojai. Galėtume įvairiais būdais padaryti stebėtojus protingesnius, ir norėtume, kad mūsų vertinimai skirtų aukštesnius balus stebėtojams, kurie gali geriau prognozuoti agento elgseną.
• Agentai. Yra daug agento stebėjimo duomenų, kuriuos galima pateikti stebėtojui, įskaitant agento veiksmus, rezultatus, neuronų aktyvavimą, o pastaruoju metu, atsiradus samprotavimo modeliams, ir minčių eigą. Gali būti, kad kai kurių agentų mintis sunkiau suprasti nei kitų, todėl norėtume, kad mūsų stebimumo vertinimai leistų lyginti agentus, o ne tik stebėtojus.

Mūsų vertinimai sukurti taip, kad įvertintų abi puses: ar tam tikrus agentus lengviau ar sunkiau stebėti ir ar pajėgesni stebėtojai gali išgauti daugiau informacijos iš tų pačių signalų.

Prieš dabartinę samprotavimo modelių kartą minčių eiga paprastai būdavo išgaunama raginant modelį „galvoti žingsnis po žingsnio“. 

Samprotavimo modelių minčių eiga skiriasi dviem svarbiais aspektais. Pirma, jie specialiai mokomi sugeneruoti minčių eigą ir tik tada pateikti atsakymą. Raginant pokalbių modelį galvoti „žingsnis po žingsnio“, modelis turi laikytis visų modeliui taikomų specifikacijų, t. y. būti paslaugus, nekenksmingas ir t. t. Priešingai, pastiprinimo mokymosi procesas moko samprotavimo modelį, kad minčių eiga yra privati erdvė, kurioje jis gali galvoti, ką nori, ir nebūti nubaustas, lygiai taip pat, kaip žmogus gali galvoti sau ir nebūti nubaustas už „minties nusikaltimus“. 

Antra, mokymo procesas efektyviai ieško minčių eigos, kuri agentui yra instrumentiškai naudingiausia siekiant gauti didelio atlygio galutinį atsakymą. Taigi minčių eiga yra ne tik erdvė, kurioje modelis gali laisvai reikštis, bet joje yra ir samprotavimų, padedančių modeliui pasiekti galutinį atsakymą.

Savo stebimumo vertinimus skirstome į tris skirtingus archetipus, kurių kiekvienas naudoja skirtingą mechanizmą stebimumui matuoti.

1. Intervenciniai vertinimai, įkvėpti Chen ir kt. 2025⁠(atsidaro naujame lange), Chua ir kt. 2025⁠(atsidaro naujame lange), Turpin ir kt. 2023⁠(atsidaro naujame lange): įvedame kontroliuojamą pokytį agento aplinkoje ir tikriname, ar stebėtojas gali nustatyti, kodėl pasikeitė elgsena, identifikuodamas intervencijos įrodymus minčių eigoje. Skirtingai nuo standartinių kontrolės vertinimų (pvz., Shade-Arena⁠(atsidaro naujame lange)), intervenciniai vertinimai leidžia ištirti, ar stebėtojas gali nustatyti, kodėl elgsena pasikeitė, o ne tiesiog aptikti, ar elgsena įvyko.
2. Proceso vertinimai orientuoti į užduotis su ribotu galiojančių sprendimo būdų skaičiumi (pavyzdžiui, matematikos uždavinį galima išspręsti tik taikant tam tikras teoremas). Žmones ekspertai išvardija šiuos kelius, o mes tikriname, ar stebėtojas gali nustatyti, kuriuos žingsnius modelis iš tikrųjų atliko. Šie vertinimai leidžia susieti tai, ką modelis padarė, su konkrečiais žingsniais, kuriuos modelis turėjo atlikti, ir paklausti, ar tie žingsniai yra stebimi.
3. Rezultato savybių vertinimai taikomi, kai galima patikimai išmatuoti modelio rezultato savybę. Šiais atvejais tikriname, ar stebėtojas gali numatyti tą savybę – pavyzdžiui, atlygio manipuliavimą – iš modelio samprotavimų ar veiksmų. Pavyzdžiui, programavimo užduotyje galime turėti būdą patikimai įvertinti, ar modelis imasi veiksmų atlygio signalui „nulaužti“, ir galime paklausti, ar stebėtojas randa ketinimo manipuliuoti atlygiu įrodymų modelio mąstyme ar veiksmuose.

Toliau pateikiame mūsų vertinimų taksonomiją. Išsamų kiekvieno atskiro vertinimo aprašymą rasite mūsų straipsnyje.

Minčių eigos traktavimas kaip privačios darbo vietos – ir modelių mokymas naudoti ją užduotims efektyviai spręsti – iš principo turėtų padaryti minčių eigą stebimą. Tuo pat metu yra keletas priežasčių, kodėl pastiprinimo mokymasis tikėtinai galėtų pakenkti minčių eigos stebimumui.

Pirma, samprotavimo trukmės apribojimai, pavyzdžiui, laiko ar prieigos raktų, kuriuos modelis turi galvojimui, ribojimas, skatina modelius samprotauti mažiau. Antra, net ir netaikant tiesioginio optimizavimo spaudimo pačiai minčių eigai, netiesioginis spaudimas vis tiek gali sumažinti stebimumą. Pavyzdžiui⁠(atsidaro naujame lange), modeliams gali būti lengviau pasiekti didelio atlygio atsakymus, jei jie vengia samprotavimo kelių, kurie gali lemti mažo atlygio ar nepageidaujamus rezultatus. Galiausiai sumažėjęs stebimumas gali atsirasti dėl klaidingo nukrypimo, kurį lemia pastiprinimo mokymosi gradiento triukšmas.

Toliau nagrinėjame, kaip keičiasi stebimumas dviejų „OpenAI“ pažangiausių pastiprinimo mokymosi ciklų metu. Nors šie rezultatai atspindi tik du duomenų taškus, jie rodo, kad pastiprinimo mokymosi optimizavimas esamais pažangiausiais masteliais iš esmės nepablogina minčių eigos stebimumo ir padidina ankstyvųjų žingsnių stebimumą. Tačiau tai neatmeta galimybės, kad ateityje žymiai didesni pastiprinimo mokymosi masteliai gali neigiamai paveikti stebimumą.

Didelę dalį dabartinių DI sistemų intelekto lemia padidėjęs išankstinio mokymo mastelis, kai nuo GPT paradigmos pradžios nuosekliai augo tiek modelio parametrų, tiek duomenų rinkinių dydžiai. Dėl padidėjusio parametrų skaičiaus vienam sugeneruotam prieigos raktui sunaudojama daugiau modelio vykdymo skaičiavimų, o tai samprotavimo modelių atveju suteikia daugiau galimybių modelio kognityviniams procesams vykti aktyvavimuose, o ne minčių eigoje. Taigi galėtume tikėtis, kad didesni modeliai bus mažiau stebimi esant fiksuotam gebėjimų lygiui. 

Tuo pat metu mažesni modeliai taip pat gali būti mažiau pajėgūs efektyviai naudoti minčių eigą, o tai taip pat gali paveikti stebimumą.

Siekdami ištirti ryšį tarp išankstinio mokymo dydžio, gebėjimų ir stebimumo, mokėme modelių grupę naudodami dviem eilėmis didesnius išankstinio mokymo skaičiavimus, didindami gylį ir plotį, o tada kiekvienam taikėme pastiprinimo mokymąsi bendrame matematikos, mokslo ir programavimo užduočių duomenų rinkinyje. Įvertinome kiekvieną modelį taikydami įvairias samprotavimo pastangas ir palyginome stebimumą esant suderintiems gebėjimų lygiams.

Apskritai nustatėme, kad jei diegtume tam tikrą modelį su mažomis samprotavimo pastangomis, vietoj jo galėtume diegti mažesnį modelį su didesnėmis samprotavimo pastangomis. Palyginti su papildomų skaičiavimų išnaudojimu didesnėms pradinio didelio modelio samprotavimo pastangoms, galėtume pasiekti didesnį stebimumą už nedidelę gebėjimų kainą arba stebimumo mokestį; tačiau laikas, per kurį užbaigiamas atsakymas, taip pat gali būti veiksnys priimant kai kuriuos diegimo sprendimus, kurių čia nenagrinėjame. Modeliams tobulėjant ir diegiant juos didesnės atsakomybės reikalaujančiose aplinkose, gali tapti būtina sumokėti tokį mokestį, norint juos saugiai naudoti.

Šie rezultatai turi toliau nurodytus apribojimus. 1) kiekvieną modelį mokome tik vieną kartą, todėl neatsižvelgiame į variacijas tarp mokymo ciklų. Pavyzdžiui, „vidutinis“ modelis atrodo gana nukrypęs nuo stebimumo tendencijos, palyginti su kitais serijos modeliais, o tai gali būti dėl šios priežasties. 2) Gebėjimus vertiname gana įprastose aplinkose (matematikos, mokslo ir programavimo), todėl kompromisai gali pasikeisti atsižvelgiant į atsparumą neįprastoms sąlygoms.

DI sistemoms peržengiant žmogaus lygio našumo ribas, tiesioginė žmogaus priežiūra tampa vis sudėtingesnė. Idealiu atveju turėtume keičiamo mastelio kontrolės procedūras, leidžiančias patikimiems, bet silpnesniems stebėtojams prižiūrėti stipresnius, potencialiai nepatikimus agentus. Tokios procedūros taip pat turėtų gebėti absorbuoti papildomus modelio vykdymo skaičiavimus ir pateikti tikslesnes prognozes.

Minčių eigos stebimumas dažnai traktuojamas kaip fiksuotas dydis: kai modelis pateikia atsakymą esant tam tikroms samprotavimo pastangoms, gauta minčių eiga stebima kuo geriau. Kadangi nuosekliai nustatėme, kad stebimumas gerėja didinant agentų samprotavimo pastangas, mums kilo mintis paklausti, ar galėtume kaip nors gauti daugiau prieigos raktų stebėjimui.

Norėdami tai ištirti, eksperimentavome užduodami patikslinamuosius klausimus po to, kai modelis atsako, išlaikant pradinį raginimą, minčių eigą ir atsakymą kontekste. Šie klausimai orientuoti į stebimą savybę – pavyzdžiui, „Ar prasmingai panaudojai užuominą pasirinkdamas atsakymą?“ arba „Ar padarei ką nors įtartino?“ Iš principo, kadangi modelis išlaiko prieigą prie savo ankstesnių samprotavimų, jis gali atskleisti anksčiau neišsakytas mintis tolesnėje minčių eigoje ar atsakyme.

Šie rezultatai yra preliminarūs. Ištyrėme tik nedidelį skaičių patikslinamųjų klausimų formatų ir manome, kad yra daug erdvės metodikai tobulinti. Be to, šis metodas iš esmės panašus į modelio išpažintis⁠, ir mes aktyviai dirbame lygindami šiuos metodus.

Be stebimumo gerinimo, šis metodas patrauklus tuo, kad jį galima taikyti post hoc, patiriant papildomų skaičiavimo sąnaudų tik tada, kai reikia gilesnio patikrinimo. Žvelgiant į ateitį, jei modeliai bus mokomi tikėtis samprotavimo pastangų pokyčių pokalbio viduryje, post hoc patikslinamieji klausimai su didesnėmis samprotavimo pastangomis gali dar labiau pagerinti stebimumą, net kai pradinės samprotavimo pastangos yra mažos arba jų nėra.

Kiekvienas mūsų rinkinio vertinimas matuoja, ar vienas samprotavimo proceso aspektas yra stebimas. Nors siekiame aprėpti platų elgsenos spektrą – įskaitant padlaižiavimą, pajėgumų slėpimą, šališkumą, klastingą planavimą ir manipuliavimą atlygiu – lieka daug neištirtų papildomų savybių.

Kaip ir bet kurio lyginamojo standarto atveju, mūsų vertinimai gali nukentėti dėl riboto realizmo arba didėjančio supratimo apie vertinimą, o rezultatai gali nebūti pritaikomi aptinkant netinkamą elgesį realioje aplinkoje. 

Galiausiai, gerėjant suderinamumui, modeliai gali rečiau elgtis netinkamai kontroliuojamose vertinimo aplinkose, sumažindami signalą, prieinamą stebimumo ir kontrolės vertinimams, kurie remiasi netinkamo elgesio aptikimu. Tais atvejais „neutralūs“ stebimumo vertinimai išlieka taikytini, nors lieka atviras klausimas, kiek jie prognozuoja realaus pasaulio nesėkmes.

Jei suderinamumo problemos nepavyks visiškai išspręsti, keičiamo mastelio kontrolės metodai bus neįtikėtinai svarbūs mūsų gebėjimui saugiai diegti labai pajėgius modelius. Minčių eigos stebėjimas ir susiję metodai gali būti vienas iš nedaugelio mūsų turimų kontrolės mechanizmų. Minčių eiga taip pat gali suteikti didelę naudą siekiant daugiau sužinoti apie mūsų modelius, pvz., ar jie supranta, kad yra vertinami, ir elgiasi kitaip, nei elgtųsi diegimo metu, ar yra kokių nors neigiamų tikslų, kurie dar nepasireiškė mūsų vertinimuose, įrodymų ir t. t. Todėl manome, kad itin svarbu suprasti, kaip ir kada galime prarasti stebimumą.

Minčių eigos stebėjimą vertiname kaip papildantį mechanistinį interpretuojamumą, o ne kaip jo pakaitalą. Kaip ir visi žinomi kontrolės ir interpretuojamumo metodai, kiekvienas turi apribojimų ir aklųjų zonų. Tikimės, kad derinant kelis metodus – daugiapakopės gynybos strategiją – galima padėti užpildyti spragas, kurias palieka bet kuris vienas metodas. Pažymėtina, kad šiame darbe pristatyti vertinimai taip pat galėtų būti taikomi vertinant ir lyginant mechanistiniu interpretuojamumu pagrįstus stebėjimo metodus.

Kadangi tikime, kad minčių eigos stebėjimas galėtų būti pagrindinis keičiamo mastelio kontrolės sistemos sluoksnis, planuojame plėsti šiuos vertinimus ir naudoti juos priimant būsimus sprendimus dėl modeliavimo ir duomenų.