Päättelymallien on vaikea hallita ajatusketjujaan, ja se on hyvä asia

Tekoälyagenttien muuttuessa yhä kyvykkäämmiksi suorittamaan yhä monimutkaisempia ja itsenäisempiä tehtäviä niiden toiminnan luotettavan valvonnan ylläpitäminen tulee yhä tärkeämmäksi. Toistuvan käyttöönoton periaatettamme noudattaen tutkimme, miten järjestelmät käyttäytyvät todellisissa käyttöympäristöissä, ja tarkennamme suojauksia jatkuvasti sitä mukaa, kun valmiudet kehittyvät. Tämän tukemiseksi turvallisuuslähestymistapamme⁠ hyödyntää syväpuolustusta, jossa on useita toisiaan täydentäviä puolustuskerroksia, kuten turvallisuuskoulutus⁠, käyttäytymistestaus⁠, agenttisen koodin katselmointi⁠(avautuu uudessa ikkunassa) ja  ajatusketjun (CoT) -seuranta⁠. CoT-seuranta analysoi agenttien tehtävien suorittamisen aikana tuottamia päättelyvaiheita. Nämä päättelyjäljet voivat tarjota arvokkaita signaaleja sekä koulutuksen että käyttöönoton aikana ja auttaa valvontajärjestelmiä tunnistamaan, milloin agentin toiminta voi olla vaarallista tai ristiriidassa käyttäjän tarkoittamien tavoitteiden kanssa.

Nykyään mallien päättely on yleensä tulkittavissa ja helppo seurata⁠. Tulevaisuudessa seurattavuus voi kuitenkin romahtaa monista eri syistä⁠(avautuu uudessa ikkunassa). Tässä keskitymme yhteen tällaiseen polkuun: jos agentit kykenevät tarkoituksellisesti muokkaamaan tai peittämään päättelyään silloin, kun ne tietävät olevansa valvonnan kohteena, arvioinnit voivat yliarvioida järjestelmän yhdenmukaisuutta tai turvallisuutta, ja valvontajärjestelmistä voi tulla vähemmän luotettavia. 

Tässä työssä tutkimme, pystyvätkö nykyiset päättelymallit hallitsemaan ajatusketjuaan tavoilla, jotka vähentävät seurattavuutta. Tämän kyvykkyyden ymmärtäminen on tärkeää, jotta CoT-seuranta säilyy vahvana suojatoimena, kun tekoälyjärjestelmät kehittyvät entistä kyvykkäämmiksi. Havaitsemme, että nykyiset päättelymallit kamppailevat CoT:ien hallinnan kanssa, vaikka niille kerrotaan, että niitä seurataan. Vaikka hallittavuus on suurempi suuremmissa malleissa, se heikkenee, kun malleja pyydetään päättelemään pidempään ja kun ne käyvät läpi lisäkoulutuksen. Tuloksemme viittaavat siihen, että CoT-hallittavuus ei todennäköisesti tällä hetkellä aiheuta merkittävää riskiä CoT-seurattavuudelle, vaikka jatkuva arviointi on tärkeää mallien kehittyessä.

Ajatusketju tarkoittaa välivaiheen päättelyvaiheita, joita tekoälyagentti tuottaa ratkaistessaan tehtävää. Nämä päättelyyn liittyvät jäljet voivat tarjota hyödyllisiä turvallisuussignaaleja ja auttaa valvontajärjestelmiä arvioimaan, onko agentin toiminta turvallista ja linjassa tavoitteiden kanssa.

CoT-hallittavuus on päättelymallin kyky hallita CoT:n ominaisuuksia tavoilla, jotka heikentävät seurattavuutta. Tämän kyvykkyyden mittaaminen käytännössä odotettavissa olevien valvojien kiertämiseen tähtäävien realististen kannustimien koko laajuudessa on haastavaa. Sen sijaan käytämme käytännöllistä sijaismittaria: mittaamme mallin kykyä noudattaa käyttäjän ohjeita sen CoT:sta. Esimerkiksi testaamme, pystyykö malli noudattamaan ohjeita, jotka vaikuttavat sen sisäiseen päättelyyn – kuten käyttämään vain pieniä kirjaimia, välttämään tiettyjä avainsanoja tai lisäämään tiettyjä ilmauksia – sen sijaan, että se vain muuttaisi näkyvää tuotostaan.

Tämän tutkimiseksi esittelemme CoT-Controlin, avoimen lähdekoodin arviointiohjelmiston, jolla mitataan päättelymallien CoT-hallittavuutta. CoT-Control sisältää yli 13 000 tehtävää, jotka on rakennettu vakiintuneiden vertailuarvojen pohjalta: GPQA, MMLU-Pro, HLE, BFCL ja SWE-bench vahvistettu⁠. Jokainen tehtävä luodaan yhdistämällä vertailuongelma yhteen CoT-ohjeeseen, kuten tiettyjen ongelmaan liittyvien avainsanojen välttäminen ajatusketjussa, pelkkien pienten kirjainten käyttäminen tai tietyn sanan lisääminen jokaisen lauseen loppuun.

Suoritamme arviointeja 13 päättelymallilla ja havaitsemme, että niillä kaikilla on vaikeuksia hallita CoT-kohteitaan luotettavasti. Mittaamme hallittavuutta niiden päättelyjälkien osuutena, joissa malli noudattaa onnistuneesti CoT-ohjeistustamme. Edistyneiden mallien välillä CoT-hallittavuuspisteet ovat matalia, vaihdellen 0,1 %:sta eivätkä ylitä 15,4 %:a missään testaamassamme nykyisessä edistyneessä mallissa. 

Tämä kyvyttömyys ei johdu tehtävän väärinymmärryksestä: mallit usein tunnistavat CoT:ssaan, että ne eivät onnistu noudattamaan niille annettuja CoT-ohjeita ja – jopa tämän oivalluksen jälkeen – jatkavat silti epäonnistumista. Tämä yllättävän heikko suorituskyky on hyvä uutinen CoT-seurattavuuden kannalta: se viittaa siihen, että malleilta saattaa vastaavasti puuttua kyky peittämään päättelyään välttääkseen valvontamme.

Vaikka havaitsemme, että hallittavuus paranee mallin koon kasvaessa, havaitsemme myös, että se heikkenee nopeasti koulutuksen jälkeisen ja testausajan laskennan määrän kasvaessa. Tarkasteltaessa kahta avoimen painokertoimen mallien perhettä suuremmat mallit olivat jonkin verran parempia ajatusketjujensa hallinnassa, vaikka vaikutus heikkeni suuremmissa kokoluokissa. Mutta kun annoimme mallien miettiä pidempään, he eivät enää pystyneet hallitsemaan näitä ajatusketjuja yhtä hyvin. Samanlainen trendi havaittiin OLMo-3-7B-RL-Zero-Mathin RL-koulutuksessa: sen ohjattavuuspisteet laskivat koulutuksen aikana yli kymmenkertaiseksi.

Hallittavuus kasvaa mittakaavan myötä avoimen painokertoimen malleissa, mutta heikkenee pidemmän päättelyn ja lisääntyneen RL-koulutuksen myötä.

Jotta voimme simuloida realistisia kannustimia kiertää valvontaa, mittaamme hallittavuutta, kun malleille kerrotaan, että niitä valvotaan tai arvioidaan. Tämä lisää hieman (mutta huomattavasti) hallittavuutta. Käytämme myös automaattista kehotteiden optimointia löytääksemme kehotteita, jotka tuottavat korkean hallittavuuden. Vaikka optimoija voi lisätä hallittavuutta koulutusjoukossa, nämä hyödyt siirtyvät heikosti uusiin ohjetyyppeihin (kuten sanojen välisten välilyöntien poistaminen).

CoT-Controlin tehtävät ovat käytännöllisiä sijaismittareita: ihanteellinen CoT-hallittavuuden arviointi edellyttäisi testaamista siitä, voivatko mallit, jotka luonnostaan tavoittelevat epäyhteensopivia päämääriä, hallita CoT:taan välttääkseen seurannan. Sen sijaan arvioimme agenttien kykyä hallita ajatusketjujaan (CoT) mittaamalla heidän kykyään noudattaa CoT:ta koskevia ohjeita. Lisäksi mallit voivat hallita joitakin CoT:n ominaisuuksia paremmin kuin toisia, ja CoT-Control saattaa yli- tai aliarvioida hallittavuutta mittaamalla vain rajattua joukkoa hallittavuustyyppejä.

Ajatusketjun (CoT) heikko hallittavuus on ominaisuus, ei virhe. Nykyisten päättelymallien heikko hallittavuus tekee CoT-ketjun seurannasta luotettavamman suojakeinon. Samaan aikaan emme vielä ymmärrä, miksi nykyisten päättelymallien hallittavuus on heikkoa – tai jatkuuko tämä ominaisuus mallien kehittyessä. Siksi CoT-hallittavuusarviointeja voidaan pitää canary-arviointina: varhaisena varoitusmerkkinä siitä, paranevatko mallit päättelynsä muokkaamisessa tai piilottamisessa. 

Tuloksemme viittaavat siihen, että CoT-hallittavuus ei todennäköisesti tällä hetkellä aiheuta merkittävää riskiä CoT-seurattavuudelle. Pelkkä heikko hallittavuus ei kuitenkaan yksin riitä takaamaan korkeaa seurattavuutta, koska seurattavuus voi silti heikentyä muiden mekanismien vuoksi, kuten CoT:ihin kohdistuvan suoran optimointipaineen seurauksena. 

Jotta voimme seurata näitä dynamiikkoja ajan mittaan, alamme raportoida CoT-hallittavuutta yhdessä CoT-seurattavuuden⁠ kanssa järjestelmäkorteissa tuleville edistyneille malleille, alkaen GPT‑5.4:stä Ajatuksena, joka perustuu jatkuvaan sitoumukseemme⁠ olla kohdistamatta optimointipainetta suoraan edistyneiden päättelymallien CoT-ketjuihin.