Евалуација могућности праћења начина резоновања

Када AI системи доносе одлуке које је тешко директно надгледати, постаје важно разумети како се те одлуке доносе. Један обећавајући приступ јесте праћење унутрашњег резоновања модела, уместо само његових радњи или коначних излаза.

Савремени модели резоновања, као што је GPT‑5 Thinking, генеришу експлицитан начин резоновања пре него што дају одговор. Праћење ових начина резоновања ради откривања непримереног понашања може бити далеко ефикасније⁠ него праћење само радњи и излаза модела. Међутим, истраживачи у OpenAI-ју и широм индустрије брину⁠(отвара се у новом прозору) да ова „могућност праћења“ начина резоновања може бити крхка на промене у поступку обучавања, изворима података, па чак и на даље скалирање постојећих алгоритама.

Желимо да могућност праћења начина резоновања остане постојана како се модели скалирају и примењују у ситуацијама са већим улозима. Позивамо истраживаче широм индустрије да раде на очувању могућности праћења начина резоновања што је дуже могуће и да утврде да ли она може служити као носећи слој контроле за будуће AI системе. Да бисмо очували могућност праћења, морамо бити у стању да је измеримо, али постоји мало евалуација [1⁠(отвара се у новом прозору), 2⁠(отвара се у новом прозору), 3⁠(отвара се у новом прозору)] и методологије се разликују.

У овом раду систематски проучавамо могућност праћења начина резоновања. Представљамо оквир за евалуацију могућности праћења начина резоновања и скуп од 13 евалуација (који обухвата укупно 24 окружења) осмишљених да конкретно мере могућност праћења једног система. Ове евалуације спадају у три архетипа — интервенција, процес и својство исхода. Користећи их, проучавамо колико су данашњи велики језички модели пратљиви и како се могућност праћења мења са више резоновања у време инференције, већим покретањима подстицајног учења и повећаним обимом претходног обучавања.

Налазимо да је већина граничних модела резоновања прилично пратљива, иако не савршено. У готово сваком окружењу које проучавамо, праћење начина резоновања је знатно ефикасније од праћења само радњи и коначних излаза. Модели који дуже „размишљају“ имају тенденцију да буду пратљивији, а оптимизација подстицајним учењем на тренутним граничним размерама изгледа не нарушава значајно могућност праћења.

Значајно је да уочавамо компромис између напора резоновања и величине модела: када се модел покреће уз мали напор резоновања, мањи модел покренут уз већи напор резоновања може достићи упоредиву способност, а да притом буде лакши за праћење. То долази по цену повећаних рачунарских ресурса за инференцију, што називамо порезом на могућност праћења. На крају, налазимо да постављање накнадних питања и праћење насталих начина резоновања може додатно побољшати могућност праћења.

Могућност праћења дефинишемо као способност монитора да предвиди својства од интереса у вези са понашањем агента. У многим случајевима, ова својства одговарају облицима непримереног понашања — као што су обмана, хаковање награде или пристрасно резоновање — али могу обухватити и бенигна својства, као што су да ли се агент ослонио на одређени наговештај или следио одређену линију резоновања.

Могућност праћења је двострано својство. Она зависи и од монитора и од агента који се прати.

• Монитори. Могли бисмо да учинимо мониторе паметнијим на различите начине, и желимо да наше евалуације дају више оцене мониторима који могу да дају боља предвиђања о понашању агента.
• Агенти. Постоји много посматрања агента која се могу дати монитору, укључујући радње агента, излазе, неуронске активације и, однедавно са појавом модела резоновања, начин резоновања. Могуће је да неки агенти имају мисли које је теже разумети од других, па желимо да наше евалуације могућности праћења могу да упоређују агенте, а не само мониторе.

Наше евалуације су осмишљене да процењују обе стране: да ли је одређене агенте лакше или теже пратити, и да ли способнији монитори могу да извуку више информација из истих сигнала.

Пре тренутне генерације модела резоновања, начини резоновања су се обично изазивали тако што се моделу давала инструкција да „размишља корак по корак.“ 

Начини резоновања код модела резоновања разликују се на два важна начина. Прво, они су експлицитно обучени да генеришу начин резоновања, а затим дају одговор. Када се чет моделу даје инструкција да размишља „корак по корак“, модел мора да се придржава свих спецификација постављених за модел, тј. да буде користан, безопасан итд. Насупрот томе, процес обучавања подстицајним учењем учи модел резоновања да је CoT приватни простор у ком може да мисли шта год жели и да не буде кажњен, баш као што човек може приватно да мисли и да не буде кажњен за „злочине мисли.“ 

Друго, процес обучавања ефикасно тражи начине резоновања који су инструментално најкориснији агенту за добијање коначног одговора са високом наградом. Дакле, начин резоновања није само простор у ком модел може слободно да се изрази, већ садржи и размишљање које моделу помаже да дође до коначног одговора.

Наше евалуације могућности праћења организујемо у три различита архетипа, од којих сваки користи другачији механизам за мерење могућности праћења.

1. Евалуације интервенције, инспирисане радовима Chen et al. 2025⁠(отвара се у новом прозору), Chua et al. 2025⁠(отвара се у новом прозору), Turpin et al. 2023⁠(отвара се у новом прозору), уводе контролисану промену у окружење агента и тестирају да ли монитор може да открије зашто се понашање променило тако што идентификује доказе о интервенцији у начину резоновања. За разлику од стандардних евалуација контроле (нпр. Shade-Arena⁠(отвара се у новом прозору)), евалуације интервенције нам омогућавају да испитамо да ли монитор може да открије зашто се понашање променило, уместо да само открије да ли се неко понашање догодило. 
2. Евалуације процеса усредсређене су на задатке са ограниченим бројем важећих путева решења (на пример, математички проблем се може решити само одређеним теоремама). Људски стручњаци набрајају те путеве, а ми тестирамо да ли монитор може да открије које је кораке модел заиста предузео. Ове евалуације нам омогућавају да повежемо оно што је модел урадио са конкретним корацима које је модел морао да предузме и да питамо да ли су ти кораци пратљиви.
3. Евалуације својства исхода примењују се када се неко својство излаза модела може поуздано измерити. У тим случајевима тестирамо да ли монитор може да предвиди то својство — као што је хаковање награде — на основу резоновања или радњи модела. На пример, у задатку кодирања, можемо имати начин да поуздано проценимо да ли модел предузима радње ради хаковања сигнала награде, па можемо да питамо да ли монитор проналази доказе о намери да се хакује награда у размишљању или радњама модела.

У наставку дајемо таксономију наших евалуација. За потпун опис сваке појединачне евалуације, погледајте наш рад.

Посматрање начина резоновања као приватног радног простора — и обучавање модела да га користе за ефикасно решавање задатака — требало би, у принципу, да учини начине резоновања пратљивим. Истовремено, постоји неколико разлога због којих би подстицајно учење могло веродостојно да нашкоди могућности праћења начина резоновања.

Прво, ограничења дужине резоновања, као што је ограничавање времена или броја токена које модел има за размишљање, стварају подстицаје да модели мање резонују. Друго, чак и без примене директног оптимизационог притиска на сам начин резоновања, индиректни притисци и даље могу смањити могућност праћења. На пример⁠(отвара се у новом прозору), моделима може бити лакше да дођу до одговора са високом наградом ако избегавају путеве резоновања који могу довести до одговора са ниском наградом или непожељних исхода. На крају, смањена могућност праћења може настати и услед случајног померања изазваног шумом градијента у подстицајном учењу.

У наставку испитујемо како се могућност праћења мења током два гранична покретања обучавања подстицајним учењем у OpenAI-ју. Иако ови резултати представљају само две тачке података, они сугеришу да оптимизација подстицајним учењем на тренутним граничним размерама не нарушава материјално могућност праћења начина резоновања и повећава могућност праћења у раним корацима. Ипак, то не искључује могућност да би знатно веће размере подстицајног учења у будућности могле негативно утицати на могућност праћења.

Велики део интелигенције савремених AI система потиче од повећаног обима претходног обучавања, при чему и параметри модела и величине скупова података доследно расту од почетка GPT парадигме. Повећање броја параметара доводи до тога да се по генерисаном токену користи више рачунарских ресурса за инференцију, што, у случају модела резоновања, даје више простора да се когниција модела одвија унутар активација, а не унутар начина резоновања. Стога бисмо могли очекивати да већи модели буду мање пратљиви при фиксном нивоу способности. 

Истовремено, мањи модели могу бити и мање способни да ефикасно користе начин резоновања — што такође може утицати на могућност праћења.

Да бисмо истражили однос између величине претходног обучавања, способности и могућности праћења, обучили смо породицу модела кроз два реда величине рачунарских ресурса за претходно обучавање, уз повећање дубине и ширине, а затим на сваки применили подстицајно учење на заједничком скупу података из математике, науке и кодирања. Сваки модел смо евалуирали кроз распон напора резоновања и упоредили могућност праћења на усклађеним нивоима способности.

Уопштено, налазимо да бисмо, ако бисмо дати модел примењивали уз мали напор резоновања, уместо тога могли да применимо мањи модел уз већи напор резоновања. У поређењу са трошењем додатних ресурса на више напора резоновања код првобитног великог модела, могли бисмо добити већу могућност праћења уз мали трошак по способност, односно порез на могућност праћења; међутим, време потребно да се заврши генерисање одговора може такође бити фактор у неким одлукама о примени, што овде не разматрамо. Како се наши модели побољшавају и примењују у ситуацијама са већим улозима, можда ће бити неопходно платити такав порез како би се безбедно применили.

Ови резултати имају следећа ограничења: (1) сваки модел обучавамо само једном и стога не узимамо у обзир варијансу између покретања обучавања. На пример, „средњи“ модел делује прилично ван тренда по могућности праћења у поређењу са осталим моделима у серији, што може бити последица тога. (2) Способности евалуирамо у релативно in-distribution поставкама (математика, наука и кодирање), а компромиси се могу променити ако се узме у обзир робусност ван дистрибуције.

Како AI системи прелазе људски ниво перформанси, директан људски надзор постаје све тежи. У идеалном случају, имали бисмо поступке скалабилне контроле који омогућавају поузданим, али слабијим мониторима да надгледају јаче, потенцијално непоуздане агенте. Такви поступци такође би требало да могу да апсорбују додатне рачунарске ресурсе у време тестирања и да дају прецизнија предвиђања.

Могућност праћења начина резоновања често се третира као фиксна величина: када модел произведе одговор при датом напору резоновања, затим се настали начин резоновања прати најбоље што је могуће. Пошто смо доследно налазили да се могућност праћења побољшава када повећавамо напор резоновања наших агената, били смо подстакнути да се запитамо можемо ли некако добити више токена за праћење.

Да бисмо то истражили, експериментисали смо са постављањем накнадних питања након што модел одговори, при чему оригинална инструкција, начин резоновања и одговор остају у контексту. Ова накнадна питања усредсређена су на својство које се прати — на пример, „Да ли си смислено искористио наговештај да изабереш свој одговор?“ или „Да ли си урадио нешто сумњиво?“ У принципу, пошто модел задржава приступ свом ранијем резоновању, можда ће моћи да изнесе раније невербализоване мисли у накнадном начину резоновања или одговору.

Ови резултати су прелиминарни. Истражили смо само мали број формата накнадних питања и верујемо да постоји значајан простор за побољшање методологије. Осим тога, ова метода је слична по духу исповестима модела⁠, и активно радимо на упоређивању ових приступа.

Осим што побољшава могућност праћења, овај приступ је привлачан и зато што се може применити пост хоку, уз додатни рачунарски трошак само када је потребна дубља инспекција. Гледајући унапред, ако се модели обуче да очекују промене у напору резоновања усред разговора, пост-хок накнадна питања уз већи напор резоновања могу додатно побољшати могућност праћења чак и када је почетни напор резоновања низак или одсутан.

Свака евалуација у нашем скупу мери да ли је један појединачни аспект процеса резоновања пратљив. Иако настојимо да обухватимо широк спектар понашања — укључујући сикофантију, sandbagging, пристрасност, сплеткарење и хаковање награде — постоји много додатних својстава која остају неиспитана.

Као и сваки бенчмарк, наше евалуације могу патити од ограничене реалистичности или све веће свесности о евалуацији, а резултати се можда неће генерализовати на откривање непримереног понашања у стварном свету. 

На крају, како се усклађивање побољшава, модели могу ређе испољавати непримерено понашање у контролисаним евалуационим поставкама, чиме се смањује сигнал доступан евалуацијама могућности праћења и контроле које се ослањају на откривање непримереног понашања. У тим случајевима „неутралне“ евалуације могућности праћења остају применљиве, иако је отворено питање колико су предиктивне за неуспехе у стварном свету.

Ако проблем усклађивања не може бити у потпуности решен, онда ће методе скалабилне контроле бити изузетно важне за нашу способност да безбедно применимо високо способне моделе. Праћење начина резоновања и сродне методе могу бити један од ретких механизама контроле који су нам на располагању. Начин резоновања такође може донети велике користи у разумевању наших модела, нпр. да ли су свесни да се налазе у евалуацији и да се понашају другачије него што би се понашали у примени, да ли постоје докази о неким неповољним циљевима који се још нису испољили у нашим евалуацијама итд. Стога сматрамо да је од највеће важности разумети како и када можемо изгубити могућност праћења.

Праћење начина резоновања видимо као допуну механистичкој интерпретабилности, а не као њену замену. Као и све познате методе контроле и интерпретабилности, свака има ограничења и слепе тачке. Очекујемо да комбиновање више приступа — стратегија дубинске одбране — може помоћи да се покрију празнине које било који појединачни метод оставља откривеним. Значајно је да би евалуације представљене у овом раду такође могле бити примењене за процену и поређење техника праћења заснованих на механистичкој интерпретабилности.

Пошто верујемо да праћење начина резоновања може бити носећи слој у шеми скалабилне контроле, планирамо да проширимо ове евалуације и користимо их за усмеравање будућих одлука о моделовању и подацима.