Модели резоновања тешко контролишу свој начин резоновања, и то је добро

Како AI агенти постају способни за извођење све сложенијих и аутономнијих задатака, одржавање поузданог надзора над њиховим понашањем постаје све важније. У складу с нашим принципом итеративног увођења, проучавамо како се системи понашају у условима из стварног света и континуирано унапређујемо заштитне мере како способности напредују. Као подршка томе, наш приступ безбедности⁠ користи одбрану у дубину, са више комплементарних слојева одбране као што су обука за безбедност⁠, тестирање понашања⁠, агентски преглед кода⁠(отвара се у новом прозору) и надзор начина резоновања (CoT)⁠. Надзор CoT-а анализира кораке резоновања које агенти генеришу док извршавају задатке. Ти трагови резоновања могу да пруже вредне сигнале и током обуке и током примене, помажући системима за надзор да уоче када понашање агента може бити небезбедно или неусклађено са намераваним циљевима корисника.

Данас утврђујемо да је резоновање модела углавном интерпретабилно и лако за надзор⁠. Међутим, у будућности та надзирљивост може да ослаби из различитих разлога⁠(отвара се у новом прозору). Овде се фокусирамо на један такав пут: ако агенти постану способни да намерно преобликују или замагле своје резоновање када знају да су под надзором, евалуације би могле да прецене усклађеност или безбедност система, а системи за надзор могли би да постану мање поуздани.

У овом раду проучавамо да ли су тренутни модели резоновања способни да контролишу свој начин резоновања на начине који умањују надзирљивост. Разумевање ове способности важно је да би надзор CoT-а остао робусна заштитна мера како AI системи постају способнији. Утврђујемо да тренутни модели резоновања тешко контролишу свој CoT, чак и када им је речено да су под надзором. Иако је контролисивост већа код већих модела, она опада када се од модела тражи да дуже резонују и када пролазе кроз додатно посттренирање. Наши резултати указују на то да контролисивост CoT-а тренутно вероватно не представља велики ризик за надзирљивост CoT-а, мада ће континуирана евалуација бити важна како модели буду напредовали.

Начин резоновања односи се на међукораке резоновања које AI агент генерише док решава задатак. Ти трагови резоновања могу да пруже корисне безбедносне сигнале, помажући системима за надзор да процене да ли је понашање агента безбедно или усклађено.

Контролисивост CoT-а је способност модела резоновања да контролише својства свог CoT-а на начине који умањују надзирљивост. Мерење ове способности у пуном опсегу реалистичних подстицаја за избегавање надзора које можемо очекивати у пракси је изазовно. Зато користимо практичну заменску меру: меримо способност модела да прати корисничке инструкције о свом CoT-у. На пример, тестирамо да ли модел може да прати инструкције које утичу на његово унутрашње резоновање — као што су употреба само малих слова, избегавање одређених кључних речи или додавање специфичних фраза — уместо да само мења свој видљиви излаз.

Да бисмо ово проучили, представљамо CoT-Control, пакет евалуација отвореног кода за мерење контролисивости CoT-а код модела резоновања. CoT-Control обухвата више од 13.000 задатака направљених од утврђених бенчмаркова: GPQA, MMLU-Pro, HLE, BFCL и SWE-Bench Verified⁠. Сваки задатак настаје упаривањем бенчмарк проблема са једном CoT инструкцијом, као што је избегавање одређених кључних речи релевантних за проблем у CoT-у, употреба само малих слова или додавање дате речи на крај сваке реченице.

Спроводимо евалуације на 13 модела резоновања и утврђујемо да сви они тешко поуздано контролишу свој CoT. Контролисивост меримо као удео трагова резоновања у којима модел успешно испуњава наше CoT инструкције. Код граничних модела, скорови контролисивости CoT-а су ниски, крећу се од 0,1% и не прелазе 15,4% ни за један тренутни гранични модел који смо тестирали.

Ова неспособност није последица неразумевања задатка: модели често у свом CoT-у препознају да не успевају да испуне CoT инструкције које су добили и — чак и након тог увида — и даље не успевају. Ова изненађујуће ниска успешност је добра вест за надзирљивост CoT-а: указује на то да моделима можда слично недостаје способност да замагле своје резоновање како би избегли наше надзорне механизме.

Иако видимо да контролисивост расте са величином модела, такође налазимо да брзо опада са количином посттренирања и рачунања у време тестирања. Посматрајући две породице модела отворених тежина, већи модели су били нешто бољи у контроли свог начина резоновања, мада се тај ефекат ублажавао код већих величина. Али када смо моделима дозволили да дуже размишљају, постали су мање способни да контролишу те начине резоновања. Видели смо сличан тренд и код RL обуке модела OLMo-3-7B-RL-Zero-Math: његов скор контролисивости опао је за више од десет пута током обуке.

Контролисивост расте са скалом код модела отворених тежина, али опада са дужим резоновањем и већим обимом RL обуке.

Да бисмо симулирали реалистичне подстицаје за избегавање надзора, меримо контролисивост када се моделима каже да су под надзором или да се евалуирају. То благо (али приметно) повећава контролисивост. Такође користимо аутоматизовану оптимизацију инструкција да бисмо пронашли инструкције које изазивају високу контролисивост. Иако оптимизатор може да повећа контролисивост на скупу за обуку, ти добици се слабо преносе на нове типове инструкција (као што је захтев да нема размака између речи).

Задаци у CoT-Control-у су практичне заменске мере: идеална евалуација контролисивости CoT-а укључивала би тестирање да ли модели који природно теже неусклађеним циљевима могу да контролишу свој CoT како би избегли надзор. Уместо тога, процењујемо способност агената да контролишу свој CoT тако што меримо њихову способност да прате инструкције о свом CoT-у. Штавише, модели неке особине свог CoT-а контролишу боље од других, а CoT-Control може да прецењује или потцењује контролисивост јер мери само уски скуп типова контролисивости.

Ниска контролисивост CoT-а је предност, а не мана. Ниска контролисивост код садашњих модела резоновања чини надзор CoT-а поузданијом заштитном мером. Истовремено, још не разумемо зашто је контролисивост код садашњих модела резоновања ниска — нити да ли ће то својство опстати како модели буду постајали способнији. Зато се евалуације контролисивости CoT-а могу посматрати као канаринац-евалуација: рани сигнал упозорења о томе да ли модели постају бољи у обликовању или скривању свог резоновања.

Наши резултати указују на то да контролисивост CoT-а тренутно вероватно не представља велики ризик за надзирљивост CoT-а. Међутим, ниска контролисивост сама по себи није довољна да гарантује високу надзирљивост, јер надзирљивост и даље може да ослаби услед других механизама, као што је директан оптимизациони притисак на CoT-ове.

Да бисмо временом лакше пратили ову динамику, почећемо да извештавамо о контролисивости CoT-а упоредо са надзирљивошћу CoT-а⁠ у системским картицама за будуће граничне моделе, почев од GPT‑5.4 Thinking, надовезујући се на нашу трајну посвећеност⁠ томе да не примењујемо оптимизациони притисак директно на CoT-ове граничних модела резоновања.