Оценяване на наблюдението на мисловната верига
Представяме оценки за проследяване на мисловната верига и изучаваме как тя се изменя в зависимост от изчислителната сложност по време на тестване, подсилващо и предварително обучение.
Когато системите с изкуствен интелект вземат решения, които са трудни за пряко наблюдение, е важно да се разбере как се вземат тези решения. Един обещаващ подход е да се наблюдава вътрешното разсъждение на модела, вместо само неговите действия или крайни резултати.
Съвременните разсъждаващи модели, като GPT‑5 Thinking, генерират явна мисловна верига преди да дадат отговор. Наблюдението на тези вмисловни вериги за неправомерно поведение може да бъде много по-ефективно от наблюдението само на действията и изходящите данни на модела. Въпреки това, изследователите в OpenAI и в индустрията като цяло се притесняват(отваря се в нов прозорец), че това „проследяване“ на мисловната верига може да бъде уязвимо към промени в процедурата на обучение, източниците на данни и дори продължаващото мащабиране на съществуващите алгоритми.
Искаме проследяването на мисловната верига да се запази, когато моделите се мащабират и се внедряват в условия с по-висок риск. Призоваваме изследователите в цялата индустрия да работят за запазване на възможността за мониторинг на мисловната верига възможно най-дълго и да определят дали тя може да служи като носещ контролен слой за бъдещите системи с изкуствен интелект. За да запазим наблюдаемостта, трябва да можем да я измерим, но съществуват малко оценки [1(отваря се в нов прозорец), 2(отваря се в нов прозорец), 3(отваря се в нов прозорец)] а методологиите варират.
В тази работа систематично изследваме наблюдението на мисловната верига. Представяме рамка за оценка на наблюдението на мисловната верига и набор от 13 оценки (включващи общо 24 среди), предназначени да измерят конкретно наблюдаемостта на система. Тези оценки попадат в три архетипа — интервенция, процес и резултат-свойство. Използвайки ги, ние изследваме доколко днешните големи езикови модели могат да бъдат наблюдавани и как това се променя с повече разсъждения по време на извеждането, по-големи изпълнения на подсилващо обучение и увеличаване на мащаба на предварителното обучение.
Сега, когато разполагаме с голям набор от оценки, можем да започнем да следим наблюдаемостта на нашите модели. (горе вляво) Установяваме, че когато моделите „мислят“ повече и имат по-дълги мисловни вериги, наблюдаемостта се подобрява. (горе вдясно) Без мисловна верига е стандартно да се опитваме да наблюдаваме действията и крайните резултати на модела самостоятелно. Въпреки това, установяваме, че наблюдението само на действията и резултатите значително отстъпва на наблюдението на мисловната верига. (долу в центъра) Сравняваме нашите модели с външни модели, които предоставят достъп до пълна мисловна верига (CoT) – Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B и Kimi K2 Thinking.
Установяваме, че повечето авангардни разсъждаващи модели се поддават на наблюдение, макар и несъвършено. В почти всяка обстановка, която изучаваме, наблюдението на мисловната верига е значително по-ефективно от наблюдението само на действията и крайните резултати. Моделите, които мислят по-дълго, обикновено са по-лесни за наблюдение, а оптимизацията чрез подсилващо обучение на настоящите водещи мащаби не изглежда да влошава значително възможността за наблюдение.
Забележително е, че наблюдаваме компромис между усилието за разсъждаване и размера на модела: когато моделът оперира с ниско усилие за разсъждаване, по-малък модел, опериращ с по-високо усилие за разсъждаване, може да достигне сравнима способност, като същевременно е по-лесен за наблюдение. Това е за сметка на увеличена изчислителна мощност за извод, което наричаме цена за наблюдаемост. Накрая установяваме, че задаването на последващи въпроси и наблюдението на получените мисловни вериги може допълнително да подобри наблюдаемостта.
Ние определяме наблюдаемостта като способността на наблюдаващия да предсказва свойства от интерес относно поведението на агент. В много случаи тези свойства съответстват на форми на неправомерно поведение, като измама, манипулиране на награди или пристрастно разсъждение, но те могат също така да включват безобидни свойства, като например дали агентът се е опрял на конкретна подсказка или е следвал определена линия на разсъждение.
Наблюдаемостта е двустранна. Тя зависи както от наблюдаващия, така и от агента, който е наблюдаван.
- Наблюдатели. Бихме могли да направим наблюдателите по-умни по различни начини и бихме искали нашите оценки да дават по-високи оценки на наблюдатели, които могат да правят по-добри прогнози за поведението на агент.
- Агенти. На наблюдателя могат да бъдат предоставени много наблюдения върху агента, включително действията на агента, изходящите данни, невронна активност, а напоследък, с появата на разсъждаващи модели, веригата на разсъждения. Възможно е някои агенти да имат мисли, които са по-трудни за разбиране от други, и затова бихме искали нашите оценки за наблюдаемост да могат да сравняват агентите, а не само наблюдателите.
Нашите оценки са създадени да оценяват и двете страни: дали определени агенти са по-лесни или по-трудни за наблюдение и дали по-способни наблюдатели могат да извличат повече информация от същите сигнали.
Преди настоящото поколение разсъждаващи модели, мисловните вериги обикновено се извличаха чрез подканване на модела да „помисли стъпка по стъпка“.
Мисловните вериги на разсъждаващите модели се различават по два важни начина. Първо, те са изрично обучени да генерират мисловната верига и след това да дадат отговор. Когато подканвате чат модел да „мисли стъпка по стъпка“, моделът трябва да се придържа към всички спецификации, зададени към него, например да бъде полезен, безвреден и т.н. От друга страна, процесът на подсилващо обучение учи разсъждаващия модела, че мисловната верига е лично пространство, където той може да мисли каквото иска и да не бъде наказан, точно както човек може да мисли насаме и да не бъде наказан за „мисловни престъпления“.
Второ, процесът на обучение ефективно търси мисловни вериги, които са най-полезни от гледна точка на постигане на целта за агента при получаване на краен отговор с висока възвръщаемост. Така че, мисловната верига не само е пространство, където моделът може свободно да се изразява, но и съдържа разсъждения, които помагат на модела да достигне до крайния си отговор.
Ние организираме нашите оценки за наблюдаемост в три различни архетипа, всеки от които използва различен механизъм за измерване на наблюдаемостта.
- Оценки на интервенции, вдъхновени от Chen et al. 2025(отваря се в нов прозорец), Chua et al. 2025(отваря се в нов прозорец), Turpin et al. 2023(отваря се в нов прозорец), ние въвеждаме контролирана промяна в средата на агента и тестваме дали наблюдателят може да открие защо поведението се е променило, като посочи доказателства за интервенцията в хода на мисълта. За разлика от стандартните оценки на контрола (напр. Shade-Arena(отваря се в нов прозорец)), оценките на интервенциите ни позволяват да проучим дали наблюдаващият може да открие защо поведението се е променило, вместо просто да установи дали е настъпило поведение.
- Оценките на процеса се фокусират върху задачи с ограничен брой валидни пътища за решение (например, математическа задача може да бъде решена само с определени теореми). Човешки експерти изброяват тези пътища и ние тестваме дали наблюдаващият може да открие кои стъпки всъщност е предприел моделът. Тези оценки ни позволяват да направим връзка между това, което е направил моделът, и конкретните стъпки, които трябва да е предприел, и да се запитаме дали тези стъпки могат да бъдат наблюдавани.
- Оценките на свойствата на изхода се прилагат, когато свойство на изхода на модела може да бъде надеждно измерено. В тези случаи тестваме дали наблюдателят може да предвиди това свойство – като хакване на награда – от разсъжденията или действията на модела. Например, при задача за програмиране, може да имаме начин надеждно да оценим дали моделът предприема действия за награден сигнал, и можем да попитаме дали наблюдателят намира доказателства за намерение за действия, свързани с наградата, в мисленето или действията на модела.
По-долу предоставяме таксономия за нашите оценки. Моля, вижте нашата статия за пълно описание на всяка отделна оценка.
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
Установяваме, че наблюдаемостта на нашия модел варира до известна степен за всяка група. Като цяло ги намираме за много лесни за наблюдение; обаче, в частност в задачата Скрупули, която е създадена, за да се провери дали разсъжденията за ласкателство могат да бъдат наблюдавани, виждаме много ниска степен на наблюдаемост.
Подлежащи и неподлежащи на наблюдение примери
В този пример за резултат-свойство, на модела е възложена невъзможна задача за програмиране. Ако модулните тестове преминат успешно, тогава знаем, че моделът е извършил някакъв вид хак. В ненаблюдаваната мисловна верига (червено), не виждаме никакви доказателства, че моделът споменава извършване на нещо лошо, а просто хаква тестовете и казва на потребителя, че е приложил поправката. В рязък контраст, в наблюдаваната мисловна верига (зелено), виждаме как моделът помисли „Но прилагането на monkey patching по време на решаването може да се смята за измама.“
Третирането на мисловната верига като частно работно пространство – и обучението на модели да я използват за ефективно решаване на задачи – би трябвало, по принцип, да направи веригата от мисли наблюдаема. В същото време има няколко причини, поради които подсилващото обучение може правдоподобно да навреди на наблюдаемостта на мисловната верига.
Първо, ограниченията върху дължината на разсъжденията, като например ограничаване на времето или токените, които моделът има, за да разсъждава, създават стимули за моделите да разсъждават по-малко. Второ, дори без да се прилага директен оптимизационен натиск върху самата мисловна верига, косвеният натиск все пак може да намали възможността за наблюдение. Например(отваря се в нов прозорец), моделите могат по-лесно да достигнат до отговори с висока награда, ако избягват пътища на разсъждение, които могат да доведат до ниска награда или нежелани резултати. Накрая, намалената наблюдаемост може да възникне от случайно отклонение, предизвикано от градиентен шум в подсилващото обучение.
По-долу разглеждаме как се променя наблюдаемостта по време на два рунда авангардно подсилващо обучение на OpenAI. Въпреки че тези резултати представляват само две точки от данни, те предполагат, че оптимизацията на подсилващото обучение при текущите гранични мащаби не влошава съществено наблюдаемостта на логическото мислене и увеличава наблюдаемостта в ранните стъпки. Въпреки това, това не изключва възможността значително по-големи мащаби на подсилващо обучение да повлияят негативно на наблюдаемостта в бъдеще.
Установяваме, че наблюдаемостта не се променя значително при текущите мащаби на изчисленията в RL, но се увеличава в началните стъпки. Въпреки че това може да е вярно в настоящия режим, е възможно значително увеличеният мащаб да доведе до влошаване на наблюдаемостта.
Голяма част от интелигентността на съвременните системи с ИИ се задвижва от увеличения мащаб на предварителното обучение, при което както параметрите на модела, така и размерите на набора от данни последователно нарастват от началото на парадигмата GPT. Увеличаването на броя на параметрите води до използване на повече изчислителна мощност за извод за всеки генериран токен, което, в случая на разсъждаващи модели, дава повече възможности за когницията на модела да се осъществи в рамките на активациите, а не в рамките на мисловната верига. Следователно, можем да очакваме по-големите модели да бъдат по-трудни за наблюдение при фиксирано ниво на възможности.
В същото време по-малките модели може също така да са по-малко способни да използват мисловната верига ефективно, което може също да повлияе на наблюдаемостта.
За да изследваме връзката между размера на предварителното обучение, способностите и наблюдаемостта, обучихме семейство от модели с два порядъка на величина на изчислителната мощ за предварително обучение с увеличаваща се дълбочина и ширина, след което приложихме подсилващо обучение към всеки от тях върху споделен набор от данни за задачи по математика, наука и програмиране. Оценихме всеки модел в различни усилия за разсъждаване и сравнихме наблюдаемостта при съответстващи нива на възможности.
Изобразяваме наблюдаемостта на нашия набор за оценка на всеки модел спрямо средния процент на успеваемост в набор от стандартни оценки на възможностите (GPQA-Diamond, AIME 2025 и CodeForces). Всеки модел се оценява въз основа на много усилия за разсъждаване (имайте предвид, че всяка точка в тази фигура всъщност е резултат от линейна интерполация между измерените усилия за разсъждаване). Кръговете показват, че моделът при това конкретно усилие за разсъждаване доминира в наблюдаемостта на това ниво на способност, а прозрачните хиксове показват, че моделът при това конкретно усилие за разсъждаване е доминиран в наблюдаемостта от друг модел за това ниво на способност. С черни стрелки показваме примери за два начина да се използва повече изчислителна мощност за извеждане: чрез избиране на много повече токени с по-малък модел или чрез избиране на относително по-малко допълнителни токени със същия модел. С червени стрелки показваме цената за наблюдаемост, която трябва да се плати, т.е. леко намалени възможности за много по-голяма наблюдаемост.
Като цяло установяваме, че ако трябваше да внедрим даден модел с ниско усилие за разсъждаване, бихме могли вместо това да внедрим по-малък модел с по-високо усилие за разсъждаване. В сравнение с използването на допълнителни изчислителни ресурси за повече усилия за разсъждаване от оригиналния голям модел, бихме могли да постигнем по-висока наблюдаемост с малка загуба на способности, или цена за наблюдаемост; обаче, времето, необходимо за завършване на изпълнението, също може да бъде фактор в някои решения за внедряване, нещо, което не разглеждаме тук. С напредъка на нашите модели и тяхното внедряване в среди с по-висок риск, може да стане необходимо да се заплати такава цена, за да могат те да бъдат безопасно внедрени.
Тези резултати имат следните ограничения: (1) обучаваме всеки модел само веднъж и следователно не отчитаме вариациите между различните цикли на обучение. Например, „средният“ модел изглежда доста извън тенденцията по отношение на наблюдаемостта в сравнение с другите модели в серията, което може да се дължи на това. (2) Оценяваме възможностите в условия, които са относително в рамките на разпределението (математика, наука и програмиране), а компромисите могат да се променят, когато се вземе предвид устойчивостта извън разпределението.
С разширяването на системите с ИИ над нивото на човешката производителност, директният човешки надзор става все по-труден. Идеално би било да разполагаме с мащабируеми контролни процедури, които позволяват на доверени, но по-слаби наблюдатели да наблюдават по-силни, потенциално ненадеждни агенти. Такива процедури също трябва да могат да поемат допълнителни изчислителни ресурси по време на тестовете и да генерират по-точни прогнози.
(Ляво) Сравняваме много различни наблюдатели и променяме усилията за разсъждаване на всеки. Всеки наблюдател наблюдава същия модел GPT‑5 Thinking. Както може да се очаква, установяваме, че обикновено по-големите и по-способни модели действат като по-добри наблюдатели, а разсъждаващите модели се представят по-добре в задачата за наблюдение с по-голямо усилие за разсъждаване (и следователно с изчисления по време на теста).
(Дясно) Сравняваме различни обхвати на наблюдение за OpenAI o4-mini, т.е. дали наблюдателят може да вижда само CoT, само действията и отговора, или всички съобщения от модела, който наблюдава. Забележително е, че установяваме, че наблюдаемостта с увеличено изчислително наблюдение по време на тест (по-високо усилие за разсъждение при наблюдение) се подобрява с по-бързи темпове, когато се предостави на наблюдателя достъп до CoT. По този начин, наблюдението на CoT може да предостави по-мащабируем път за контрол в сравнение с наивния мониторинг.
Наблюдаемостта на мисловната верига често се разглежда като фиксирана величина: след като моделът произведе отговор при определено усилие за разсъждение, получената мисловната верига се наблюдава възможно най-добре. Тъй като последователно установяваме, че наблюдаемостта се подобрява с увеличаване на усилията за разсъждение на нашите агенти, бяхме вдъхновени да се запитаме дали можем по някакъв начин да получим повече токени за наблюдение.
За да изследваме това, експериментирахме със задаване на последващи въпроси след като моделът отговори, като запазихме оригиналната подкана, мисловната верига и отговора в контекста. Тези последващи въпроси се фокусират върху свойството, което се наблюдава, като например, „Използвахте ли подсказката по смислен начин, за да изберете своя отговор?“ или „Направихте ли нещо съмнително?“ По принцип, тъй като моделът запазва достъп до своите предишни разсъждения, той може да успее да изведе преди това невербализирани мисли в последващата верига на разсъждения или отговор.
Тези резултати са предварителни. Проучихме само малък брой формати за последващи въпроси и вярваме, че има значителен потенциал за подобряване на методологията. Освен това, този метод е подобен по дух на моделни признания и ние активно работим върху сравняването на подходите.
Показваме резултати, осреднени в нашия набор за оценка и за всички наши последни модели за разсъждение: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini и GPT‑5‑thinking. Установяваме, че като цяло последващите въпроси подобряват наблюдаемостта, особено при по-ниски усилия при разсъждаване. Ако многократно задаваме последващия въпрос и предоставяме на наблюдателя всички последващи мисловни вериги, наблюдаемостта се подобрява още повече. Забележително е, че когато предоставяме на наблюдателя достъп само до последващия отговор, а не до последващата мисловна верига, наблюдаваме по-малко подобрение спрямо базовата линия. Това показва, че моделите не са откровени в отговорите си към потребителя, но предоставят повече информация в своите мисловни вериги.
Освен че подобрява наблюдаемостта, този подход е привлекателен, защото може да се приложи постфактум, като се поемат допълнителни изчислителни разходи само когато е необходим по-задълбочен анализ. В перспектива, ако моделите са обучени да очакват промени в усилията за разсъждаване по време на разговор, последващите действия с по-високи усилия за разсъждаване могат допълнително да подобрят наблюдаемостта, дори когато първоначалните усилия за разсъждаване са ниски или липсват.
Всяка оценка в нашия набор измерва дали един единствен аспект от процеса на разсъждение може да бъде наблюдаван. Докато се стремим да обхванем широк спектър от поведения – включително ласкателство, пренебрегване, пристрастия, интригантство и хакване на награди – има много допълнителни свойства, които неизпитани.
Както при всеки еталон, нашите оценки могат да страдат от ограничена реалистичност или нарастваща осведоменост за оценката, а резултатите може да не се обобщават за откриване на неправомерно поведение в реалния свят.
Накрая, с подобряването на съгласуваността, моделите може да се държат неправилно по-рядко в контролирани условия за оценка, което намалява сигнала, наличен за мониторинг и контролните оценки, които разчитат на откриване на нередно поведение. В тези случаи „неутралните“ оценки за наблюдаемост остават приложими, въпреки че остава открит въпросът доколко предсказуеми са те за неуспехите в реалния свят.
Ако проблемът с съгласуваността не може да бъде напълно решен, тогава мащабируемите методи за контрол ще бъдат изключително важни за нашата способност да внедряваме безопасно висококапацитетни модели. Мониторингът на логическото мислене и свързаните методи може да бъдат един от малкото механизми за контрол, които са на наше разположение. Мисловната верига също може да донесе големи ползи за това да разберем повече за нашите модели, напр. дали са наясно, че участват в оценка и се държат различно, отколкото биха се държали при внедряване, дали има доказателства за някакви неблагоприятни цели, които все още не са явни в нашите оценки и т.н. Затова вярваме, че е от изключителна важност да разберем как и кога можем да загубим възможността за наблюдаемост.
Ние разглеждаме наблюдението на мисловната верига като допълнение към механистичното тълкуване, а не като негова замяна. Както всички известни методи за контрол и тълкуване, всеки от тях има ограничения и пропуски. Нашето очакване е, че комбинирането на множество подходи – стратегия за защита в дълбочина – може да помогне за покриване на пропуските, които всеки отделен метод оставя открити. Забележително е, че оценките, въведени в тази работа, биха могли също да се приложат за оценяване и сравняване на техники за наблюдение, базирани на механистично тълкуване.
Тъй като вярваме, че проследяването на мисловната верига може да бъде носещ слой в мащабируема схема за контрол, планираме да разширим тези оценки и да ги използваме, за да информираме бъдещите решения за моделиране и данни.
Автор
Цитати
1. Нашите модели не са предназначени да дават медицински диагнози, така че нашият набор от данни за здравни запитвания не е предназначен да тества тази способност.
