Rakalíkön eiga í erfiðleikum með að stjórna hugsanakeðjum sínum, og það er gott

Eftir því sem gervigreindarfulltrúar verða færari um að framkvæma sífellt flóknari og sjálfstæðari verkefni verður sífellt mikilvægara að viðhalda áreiðanlegu eftirliti með hegðun þeirra. Í samræmi við meginreglu okkar um ítrekaða dreifingu rannsökum við hvernig kerfi hegða sér í raunverulegum aðstæðum og betrumbætum stöðugt öryggisráðstafanir eftir því sem geta þróast. Til að styðja þetta notar öryggisnálgun okkar⁠ ítarlega varnarstefnu, með mörgum samverkandi varnarlögum, svo sem öryggisþjálfun⁠, hegðunarprófun⁠, kóðayfirferð með sjálfstæðum fulltrúa⁠(opnast í nýjum glugga) og  eftirlit með hugsanakeðju (CoT)⁠. CoT eftirlit greinir rök sem fulltrúar búa til á meðan þeir vinna að verkefnum. Þessi rök geta veitt dýrmæt merki bæði á meðan á þjálfun stendur og við dreifingu og hjálpað vöktunarkerfum að greina hvenær hegðun fulltrúa kann að vera óörugg eða ósamræmanleg markmiðum notandans.

Í dag komumst við að því að rök líkana eru almennt túlkanleg og auðvelt að fylgjast með⁠. Hins vegar gæti eftirlitsgeta í framtíðinni brugðist af ýmsum ástæðum⁠(opnast í nýjum glugga). Hér einbeitum við okkur að einni slíkri leið: ef fulltrúar verða færir um að endurmóta eða hylja rök sín af ásetningi þegar þeir vita að verið er að fylgjast með þeim, gætu matsaðferðir ofmetið samræmi eða öryggi kerfis, og eftirlitskerfi gætu orðið óáreiðanlegri. 

Í þessari vinnu rannsökum við hvort núverandi rakalíkön séu fær um að stjórna hugsanakeðju sinni á þann hátt að það dragi úr eftirlitshæfni. Að skilja þessa getu er mikilvægt til að tryggja að CoT-eftirlit haldist áfram öflug öryggisráðstöfun eftir því sem gervigreindarkerfi verða hæfari. Við komumst að því að núverandi rakalíkön eiga í erfiðleikum með að stjórna CoTs sínum, jafnvel þegar þeim er sagt að fylgst sé með þeim. Þótt stýranleiki sé meiri fyrir stærri líkön, minnkar hann þegar líkön eru beðin um að rökstyðja lengur og þegar þau gangast undir viðbótar eftirþjálfun. Niðurstöður okkar benda til þess að stýranleiki CoT sé ólíklegur til að valda umtalsverðri áhættu fyrir CoT-eftirlitshæfni eins og er, þó að áframhaldandi mat verði mikilvægt eftir því sem líkön þróast.

Hugsanakeðja vísar til millistiga raka sem gervigreindarfulltrúi býr til á meðan hann leysir verkefni. Þessi rök geta veitt gagnleg öryggismerki og hjálpað eftirlitskerfum að meta hvort hegðun fulltrúa sé örugg eða samræmd.

CoT-stýranleiki er geta rakalíkans til að stjórna eiginleikum CoT síns á þann hátt að það dregur úr eftirlitsgetu. Að mæla þessa getu yfir allt svið raunhæfra hvata til að komast hjá eftirliti sem við gætum búist við í reynd er krefjandi. Í staðinn notum við hagnýtan staðgengil: við mælum getu líkansins til að fylgja leiðbeiningum notenda um CoT þeirra. Til dæmis prófum við hvort líkan geti fylgt leiðbeiningum sem hafa áhrif á innri rök þess—eins og að nota aðeins lágstafi, forðast ákveðin lykilorð eða bæta við tilteknum setningum—frekar en að breyta einungis sýnilegu frálagi þess.

Til að rannsaka þetta kynnum við CoT-Control, opinn matsverkvang til að mæla stýranleika CoT á rakalíkönum. CoT-Control inniheldur yfir 13.000 verkefni byggð á rótgrónum viðmiðum:  GPQA, MMLU-Pro, HLE, BFCL og SWE-Bench Verified⁠. Hvert verkefni er búið til með því að para saman viðmiðunarverkefni við eina CoT-leiðbeiningu, svo sem að forðast ákveðin vandamálstengd lykilorð í CoT, nota eingöngu lágstafi eða bæta tilteknu orði við hverja setningu.

Við keyrum möt á 13 rakalíkönum, og komumst að því að þau eiga öll í erfiðleikum með að stjórna CoT sínum á áreiðanlegan hátt. Við mælum stýranleika sem hlutfall rakanna þar sem líkanið fylgir CoT-leiðbeiningum okkar með góðum árangri. Þvert á framarleg líkön er CoT-stýranleikastig lágt, á bilinu frá 0,1% og fer ekki yfir 15,4% fyrir neitt núverandi framarlegt líkan sem við prófuðum. 

Þessi vanhæfni stafar ekki af misskilningi á verkefninu: líkön átta sig oft í CoT á því að þau eru að bregðast við að fylgja CoT-leiðbeiningunum sem þeim voru gefnar og—jafnvel eftir að þau átta sig á þessu—halda samt áfram að mistakast. Þessi óvænt lága frammistaða eru góðar fréttir fyrir eftirlitsgetu CoT: hún bendir til þess að líkön skorti á svipaðan hátt getu til að hylma yfir rök sín til að komast hjá eftirlitskerfum okkar.

Þó að við sjáum að stýranleiki eykst með stærð líkans komumst við einnig að því að hann minnkar hratt með magni eftirþjálfunar og útreikningum á prófunartíma. Þegar litið var yfir tvær fjölskyldur opinna vigtarlíkana voru stærri líkön nokkuð betri í að stjórna hugsanakeðjum sínum, þó að áhrifin dvínuðu við stærri stærðir. En þegar við leyfum líkönum að hugsa lengur urðu þau síður fær um að stjórna þessum hugsanakeðjum. Við sáum svipaða þróun fyrir RL-þjálfun á OLMo-3-7B-RL-Zero-Math: stýranleikastig þess lækkaði um meira en tífaldan stuðul á meðan á þjálfun stóð.

Stýranleiki eykst með umfangi í opnum vigtarlíkönum en versnar með lengri rökum og meiri RL-þjálfun.

Til að líkja eftir raunhæfum hvötum til að komast hjá eftirliti mælum við eftirlitsgetu þegar líkönum er sagt að verið sé að fylgjast með þeim eða meta þau. Þetta eykur örlítið (en áberandi) stýranleika. Við notum einnig sjálfvirka hagræðingu kvaðninga til að finna kvaðningar sem kalla fram mikla stýranleika. Þótt bestunarreikniritið geti aukið stýranleika á þjálfunargagnasetti, flytjast þessar umbætur illa yfir á nýjar leiðbeiningategundir (svo sem að krefjast engra bila milli orða).

Verkefnin í CoT-Control eru hagnýt staðgengilsverkefni: fullkomið mat á stýranleika CoT myndi fela í sér að prófa hvort líkön sem náttúrulega sækjast eftir markmiðum sem eru ekki í samræmi geti stjórnað CoT sínu til að komast hjá eftirliti. Í staðinn metum við getu fulltrúa til að stjórna CoT-um sínum með því að mæla getu þeirra til að fylgja leiðbeiningum um CoT-ið sitt. Að auki geta líkön stjórnað sumum eiginleikum CoT síns betur en öðrum, og CoT-Control gæti verið að of- eða vanmeta stjórnhæfni með því að mæla aðeins þröngt safn af gerðum stjórnhæfni.

Lítil stýranleiki CoT er eiginleiki, ekki galli. Lítil stýranleiki núverandi rakalíkana gerir CoT-eftirlit áreiðanlegra sem öryggisráðstöfun. Á sama tíma skiljum við enn ekki hvers vegna stýranleiki núverandi rakalíkana er lítill—eða hvort þessi eiginleiki muni haldast eftir því sem líkön verða hæfari. Því má líta á CoT-stýranleikamat sem canary eval: snemmbúið viðvörunarmerki um hvort líkön séu að verða betri í að móta eða fela rök sín. 

Niðurstöður okkar benda til þess að CoT-stýranleiki sé ólíklegur til að valda umtalsverðri áhættu fyrir CoT-eftirlitsgetu eins og er. Hins vegar er lítill stýranleiki ekki nægjanlegur einn og sér til að tryggja mikla eftirlitsgetu vegna þess að eftirlitsgeta gæti samt versnað vegna annarra ferla, svo sem beins hagræðingarþrýstings á CoT. 

Til að hjálpa til við að fylgjast með þessari þróun yfir tíma ætlum við að byrja að birta CoT-stýranleika samhliða CoT-eftirlitsgetu⁠ í kerfiskortum fyrir framarleg líkön framtíðarinnar, og byrja á GPT‑5.4 Með þetta í huga, og byggt á áframhaldandi skuldbindingu⁠ okkar um að beita ekki hagræðingarþrýstingi beint á CoT framarlegra rakalíkana.