Mõttekäigu jälgitavuse hindamine

Kui tehisintellektisüsteemid teevad otsuseid, mida on raske otseselt jälgida, on oluline mõista, kuidas need otsused tehakse. Üks paljutõotav lähenemisviis on jälgida mudeli sisemist arutluskäiku, mitte ainult selle toiminguid või lõpptulemusi.

Kaasaegsed arutlusmudelid, nagu GPT‑5 Thinking, koostavad enne vastuse andmist selge mõttekäigu. Nende mõttekäikude jälgimine väärkäitumise suhtes võib olla palju tõhusam⁠ kui ainult mudeli toimingute ja väljundite jälgimine. Kuid OpenAI ja laiemas tööstuses tegutsevad teadlased muretsevad⁠(avaneb uues aknas), et see mõttekäigu „jälgitavus“ võib olla habras koolitusprotseduuri, andmeallikate ja isegi olemasolevate algoritmide jätkuva skaleerimise muutuste suhtes.

Me tahame, et mõttekäigu jälgitavus säiliks, kui mudelid skaleeruvad ja neid kasutatakse suurema kaaluga olukordades. Kutsume tööstuse teadlasi üles töötama selle nimel, et säilitada mõttekäigu jälgitavus nii kaua kui võimalik ja määrata kindlaks, kas see võib tulevaste tehisintellektisüsteemide jaoks toimida kandeva juhtimiskihina. Jälgitavuse säilitamiseks peame suutma seda mõõta, kuid hindamisi on vähe [1⁠(avaneb uues aknas), 2⁠(avaneb uues aknas), 3⁠(avaneb uues aknas)] ja metoodikad varieeruvad.

Selles töös uurime mõttekäigu jälgitavust süstemaatiliselt. Tutvustame raamistikku mõttekäigu jälgitavuse hindamiseks ja 13 hindamise komplekti (kokku 24 keskkonda), mis on loodud süsteemi jälgitavuse täpseks mõõtmiseks. Need hindamised jagunevad kolme arhetüüpi – sekkumine, protsess ja tulemuse omadus. Nende abil uurime, kui jälgitavad on tänapäeva suured keelemudelid ja kuidas jälgitavus muutub, kui järelduste tegemisel kasutatakse rohkem arutlemist, suuremaid kinnistava õppimise jooksutusi ja suurendatakse eeltreeningu mahtu.

Leiame, et enamik eesrindlikke arutlusmudeleid on üsna jälgitavad, kuigi mitte täiesti. Peaaegu igas uuritavas kontekstis on mõttekäikude jälgimine oluliselt tõhusam kui ainult toimingute ja lõpptulemuste jälgimine. Mudelid, mis mõtlevad kauem, kipuvad olema paremini jälgitavad ning kinnistava õppimise optimeerimine praegustel eesrindlikel skaaladel ei näi jälgitavust oluliselt halvendavat.

Märkimisväärselt täheldame kompromissi arutluspingutuse ja mudeli suuruse vahel: kui mudelit käitatakse madala arutluspingutusega, võib väiksem mudel, mida käitatakse kõrgema arutluspingutusega, saavutada võrreldava võimekuse, olles samas lihtsamini jälgitav. See toob kaasa suurenenud järeldusarvutuste kulu, mida me nimetame monitoorimise maksuks. Lõpuks leiame, et järelküsimuste esitamine ja tulemuseks olevate mõttekäikude jälgimine võib veelgi parandada jälgitavust.

Me defineerime jälgitavust kui jälgija võimet ennustada agendi käitumise kohta huvipakkuvaid omadusi. Paljudel juhtudel vastavad need omadused väärkäitumise vormidele – nagu pettus, tasu manipuleerimine või kallutatud arutlus – kuid need võivad hõlmata ka kahjutuid omadusi, näiteks seda, kas agent tugines konkreetsele vihjele või järgnes kindlale arutluskäigule.

Jälgitavus on kahepoolne omadus. See sõltub nii jälgijast kui ka jälgitavast agendist.

• Jälgijad. Me võiksime jälgijaid mitmel viisil targemaks muuta ja tahaksime, et meie hindamised annaksid kõrgemaid hindeid monitoridele, mis suudavad paremini ennustada agendi käitumist.
• Agendid. Agendi kohta on palju tähelepanekuid, mida võiks monitorile anda, sealhulgas agendi toimingud, väljundid, närviaktivatsioonid ja hiljuti, põhjendusmudelite tulekuga, mõttekäik. On võimalik, et mõnel agendil on mõtted, mida on raskem mõista kui teistel, seetõttu soovime, et meie jälgitavuse hindamised suudaksid võrrelda agente, mitte ainult monitoore.

Meie hindamised on loodud hindama mõlemat aspekti: kas teatud agente on lihtsam või raskem jälgida ja kas võimekamad jälgijad suudavad samadest signaalidest rohkem teavet eraldada.

Enne praeguse põlvkonna arutlusmudeleid kutsuti mõttekäike tavaliselt esile, paludes mudelil „mõelda samm-sammult“. 

Põhjendamise mudelite mõttekäigud erinevad kahel olulisel viisil. Esiteks koolitatakse neid selgesõnaliselt mõttekäiku koostama ja seejärel vastust andma. Kui vestlusmudelit suunatakse mõtlema „samm-sammult“, peab mudel järgima kõiki mudelile seatud spetsifikatsioone, näiteks olema abivalmis ja kahjutu. Seevastu kinnistava õppimise koolitusprotsess õpetab arutlusmudelile, et CoT on privaatne ruum, kus see võib mõelda, mida iganes soovib, ja mitte saada karistada, just nagu inimene võib privaatselt mõelda ja mitte saada karistada „mõttekuritegude“ eest. 

Teiseks otsib koolitusprotsess tõhusalt mõttekäike, mis on agendile kõige praktilisemalt kasulikumad, et agent saaks kõrge tasuga lõpliku vastuse. Seega ei ole mõttekäik mitte ainult ruum, kus mudel saab end vabalt väljendada, vaid see sisaldab ka mõtlemist, mis aitab mudelil jõuda oma lõpliku vastuseni.

Me jaotame oma jälgitavuse hindamised kolme erinevasse arhetüüpi, millest igaüks kasutab erinevat mehhanismi jälgitavuse mõõtmiseks.

1. Sekkumiste hindamised, inspireeritud Chen et al. 2025,⁠(avaneb uues aknas) Chua et al.⁠(avaneb uues aknas) 2025, Turpin et al. 2023,⁠(avaneb uues aknas) tutvustame kontrollitud muutust agendi keskkonnas ja testime, kas monitor suudab tuvastada, miks käitumine muutus, tuvastades sekkumise tõendid mõttekäigus. Erinevalt standardsetest kontrollhindamistest (nt Shade-Arena⁠(avaneb uues aknas)), sekkumise hindamised võimaldavad meil uurida, kas monitor suudab tuvastada miks käitumine muutus, mitte ainult seda, kas käitumine toimus. 
2. Protsesside hindamised keskenduvad ülesannetele, millel on piiratud arv kehtivaid lahendusteid (näiteks saab matemaatikaülesannet lahendada ainult teatud teoreemidega). Inimeksperdid loetlevad need teed ja me testime, kas monitor suudab tuvastada, milliseid samme mudel tegelikult tegi. Need hindamised võimaldavad meil linkida, mida mudel tegi, konkreetsete sammudega, mida mudel pidi tegema, ja küsida, kas neid samme saab jälgida.
3. Tulemuste-omaduste hindamised rakenduvad siis, kui mudeli väljundi omadust saab usaldusväärselt mõõta. Nendel juhtudel testime, kas jälgija suudab mudeli põhjenduste või toimingute põhjal ennustada sellist omadust nagu preemia häkkimine. Näiteks kodeerimisülesandes võib meil olla viis usaldusväärselt hinnata, kas mudel võtab toiminguid tasusignaali häkkimiseks, ja me saame küsida, kas monitor leiab tõendeid kavatsusest preemiasignaali häkkida mudeli mõtlemises või tegevustes.

Allpool esitame oma hindamiste taksonoomia. Loe meie artiklit iga individuaalse hindamise täieliku kirjelduse jaoks.

Käsitledes mõttekäiku kui privaatset tööjaama ja koolitades mudeleid seda tõhusalt ülesannete lahendamiseks kasutama, peaks see põhimõtteliselt muutma mõttekäigud jälgitavaks. Samal ajal on mitmeid põhjuseid, miks kinnistav õppimine võiks mõttekäigu jälgitavust kahjustada.

Esiteks loovad arutluskäigu pikkuse piirangud, näiteks mudeli mõtlemisaja või -märkide piiramine, stiimuleid mudelitele vähem arutleda. Teiseks, isegi kui mõttekäigule endale ei rakendata otsest optimeerimissurvet, võivad kaudsed survefaktorid siiski vähendada jälgitavust. Näiteks⁠(avaneb uues aknas) võivad mudelid lihtsamini jõuda kõrge preemiaga vastusteni, kui nad väldivad arutluskäike, mis võivad viia madala preemiaga või ebasoovitavate tulemusteni. Lõpuks võib vähenenud jälgitavus tekkida juhuslikust triivist, mida põhjustab kinnistava õppimise gradientmüra.

Allpool uurime, kuidas jälgitavus muutub kahe OpenAI tipptasemel kinnistava õppimise koolituse jooksul. Kuigi need tulemused esindavad ainult kahte andmepunkti, viitavad need sellele, et kinnistava õppimise optimeerimine praegustel piirskaaladel ei halvenda oluliselt mõttekäigu jälgitavust ja suurendab jälgitavust varajastes etappides. Siiski ei välista see võimalust, et märkimisväärselt suuremad kinnistava õppimise mastaabid võivad tulevikus negatiivselt mõjutada jälgitavust.

Suure osa praeguste tehisintellekti süsteemide intelligentsusest juhib suurenenud eeltreeningu ulatus, kus nii mudeli parameetrid kui ka andmestike suurused on järjepidevalt kasvanud alates GPT‑paradigma algusest. Suurenenud parameetrite arv toob kaasa rohkema arvutusvõimsuse kasutamist iga koostatud tokeni kohta, mis arutlevate mudelite puhul annab rohkem võimalusi mudeli kognitsiooni toimumiseks aktivatsioonide sees, mitte mõttekäigu sees. Seega võime eeldada, et suuremad mudelid on kindlal võimekuse tasemel raskemini jälgitavad. 

Samal ajal võivad väiksemad mudelid olla ka vähem võimelised mõttekäiku tõhusalt kasutama, mis võib samuti mõjutada jälgitavust.

Et uurida eeltreeningu suuruse, võimekuse ja jälgitavuse vahelist seost, treenisime mudelite perekonda kahe suurusjärgu ulatuses eeltreeningu arvutusvõimsusega, suurendades sügavust ja laiust, ning rakendasime seejärel igale mudelile kinnistavat õppimist jagatud matemaatika, teaduse ja programmeerimise ülesannete andmestikul. Hindasime iga mudelit erinevate arutluspingutuste raames ja võrdlesime jälgitavust samaväärsete võimekuse tasemete juures.

Üldiselt leiame, et kui me rakendaksime antud mudelit madala arutluskoormusega, võiksime selle asemel rakendada väiksemat mudelit kõrgema arutluskoormusega. Võrreldes täiendava arvutusvõimsuse kulutamisega algse suure mudeli arutluspingutustele, võiksime saavutada kõrgema jälgitavuse väikese võimekuse kulu või jälgitavuse maksuhinnaga; siiski võib mõnes juurutamisotsuses olla teguriks ka seinakella aeg, mis kulub lõpetamise lõpuleviimiseks, mida me siin ei arvesta. Kuna meie mudelid paranevad ja neid kasutatakse suurema kaaluga olukordades, võib osutuda vajalikuks maksta sellist maksu nende ohutuks kasutamiseks.

Nendel tulemustel on järgmised piirangud: (1) me koolitame iga mudelit ainult üks kord ja seetõttu ei arvesta koolitusprotsesside varieeruvust. Näiteks tundub, et „keskmine“ mudel on seeria teiste mudelitega võrreldes jälgitavuse osas üsna trendist väljas, mis võib olla tingitud sellest. (2) Hindame võimekusi suhteliselt jaotisesisesetes seadetes (matemaatika, teadus ja kodeerimine) ning kompromissid võivad muutuda, kui arvestada jaotisesisest vastupidavust.

Kui tehisintellekti süsteemid ületavad inimtaseme sooritusvõime, muutub otsene inimjärelevalve üha keerulisemaks. Ideaalis võiksime omada skaleeritavaid kontrollprotseduure, mis võimaldavad usaldusväärsetel, kuid nõrgematel jälgijatel jälgida tugevamaid, potentsiaalselt ebausaldusväärseid agente. Sellised protseduurid peaksid olema võimelised ka testimise ajal lisama arvutusvõimsust ja andma täpsemaid prognoose.

Mõttekäigu jälgitavust käsitletakse sageli kui kindlat suurust: kui mudel annab vastuse teatud mõtlemise pingutuse juures, jälgitakse tekkinud mõttekäiku nii hästi kui võimalik. Kuna oleme järjepidevalt leidnud, et jälgitavus paraneb, kui suurendame oma agentide arutlusvõimet, inspireeris see meid küsima, kas saaksime kuidagi rohkem tokeneid jälgida.

Selleks, et tutvuda, katsetasime järgnevate küsimuste esitamist pärast mudeli vastust, hoides samal ajal algset viipa, mõttekäiku ja vastust kontekstis. Need järelkontrollid keskenduvad jälgitavale omadusele – näiteks, „Kas kasutasid vihjet mõistlikul viisil oma vastuse valimiseks“? või „Kas tegid midagi kahtlast“? Põhimõtteliselt võib mudel, kuna tal on juurdepääs oma varasemale arutluskäigule, olla võimeline esile tooma varem väljendamata mõtteid järgnevates mõttekäikudes või vastustes.

Need tulemused on esialgsed. Uurisime vaid väikest arvu järelküsimuste vorminguid ja usume, et metoodikat saab oluliselt täiustada. Lisaks on see meetod oma olemuselt sarnane mudeli ülestunnistustega⁠ ja me töötame aktiivselt lähenemisviiside võrdlemise kallal.

Lisaks jälgitavuse parandamisele on see lähenemisviis atraktiivne, kuna seda saab rakendada tagantjärele, tekitades täiendavaid arvutuskulusid ainult siis, kui on vaja põhjalikumat uurimist. Tulevikku vaadates, kui mudeleid koolitatakse ootama muutusi arutluskoormuses vestluse keskel, võivad järelkontrollid suurema arutluskoormusega veelgi parandada jälgitavust isegi siis, kui esialgne arutluskoormus on madal või see puudub.

Iga meie hindamiskomplekti test mõõdab, kas üksik põhjendusprotsessi aspekt on jälgitav. Kuigi meie eesmärk on katta lai valik käitumisi, sealhulgas lipitsemine, sandbagging, eelarvamused, skeemitamine ja tasu häkkimine, on palju täiendavaid omadusi, mis jäävad testimata.

Nagu iga võrdlusaluse puhul, võivad ka meie hindamised kannatada piiratud realismi või suureneva hindamisteadlikkuse all ning tulemused ei pruugi üldistuda väärkäitumise tuvastamiseks tegelikus maailmas. 

Lõpuks, kui joondamine paraneb, võivad mudelid kontrollitud hindamisseadetes harvemini valesti käituda, vähendades signaali, mis on saadaval jälgitavuse ja kontrolli hindamisteks, mis tuginevad väärkäitumise tuvastamisele. Nendel juhtudel jäävad kehtima „neutraalsed“ jälgitavuse hindamised, kuigi on lahtine küsimus, kui hästi need ennustavad reaalse maailma ebaõnnestumisi.

Kui joondamise probleemi ei saa täielikult lahendada, siis on skaleeritavad juhtimismeetodid meie võimele ohutult juurutada väga võimekaid mudeleid äärmiselt olulised. Mõttekäigu jälgimine ja sellega seotud meetodid võivad olla üks väheseid kontrollmehhanisme, mis on meie käsutuses. Mõttekäik võib samuti anda suuri eeliseid meie mudelite parema mõistmise mõistmisel, nt. kas nad on teadlikud, et nad osalevad hindamisel ja käituvad teisiti kui juurutamisel, kas on tõendeid mis tahes kahjulike eesmärkide kohta, mis pole veel meie hindamistes avaldunud, jne. Seega usume, et on äärmiselt oluline mõista, kuidas ja millal võime kaotada jälgitavuse.

Meie arvates on mõttekäigu jälgimine mehhanistliku tõlgendatavuse täienduseks, mitte selle asenduseks. Nagu kõigil teadaolevatel kontrolli- ja tõlgendatavusmeetoditel, on igal neist oma piirangud ja pimealad. Meie ootused on, et mitme lähenemisviisi kombineerimine – sügavuskaitse strateegia – võib aidata katta lünki, mida ükski üksik meetod ei suuda katta. Märkimisväärselt võiksid käesolevas töös tutvustatud hindamised olla rakendatavad ka mehhanistliku tõlgendatavuse põhiste jälgimistehnikate hindamiseks ja võrdlemiseks.

Kuna usume, et mõttekäigu jälgimine võiks olla kandev kiht skaleeritavas juhtimisskeemis, plaanime neid hindamisi laiendada ja kasutada neid tulevaste modelleerimis- ja andmeotsuste tegemisel.