Оцінка відстеження ланцюжка міркувань

Коли системи ШІ приймають рішення, які складно контролювати безпосередньо, важливо зрозуміти, як ці рішення ухвалюються. Один із перспективних підходів полягає в моніторингу внутрішніх міркувань моделі, а не лише її дій чи кінцевих результатів.

Сучасні моделі міркувань, такі як GPT‑5 Thinking, формують явний ланцюжок міркувань перед тим, як дати відповідь. Моніторинг цих ланцюжків міркувань на предмет неправильної поведінки може бути набагато ефективнішим⁠, ніж моніторинг дій та результатів моделі самих по собі. Однак, дослідники в OpenAI та в ширшій індустрії занепокоєні⁠(відкривається у новому вікні), що ця "моніторованість" ланцюжка міркувань може бути вразливою до змін у процедурі навчання, джерелах даних і навіть до продовження масштабування існуючих алгоритмів.

Ми хочемо, щоб можливість моніторингу ланцюжка міркувань залишалася надійною, коли моделі масштабуються та впроваджуються у більш відповідальних сферах. Ми закликаємо дослідників у всій галузі працювати над збереженням можливості моніторингу ланцюжка міркувань якомога довше та визначити, чи може він слугувати несучим контрольним шаром для майбутніх систем штучного інтелекту. Щоб зберегти можливість моніторингу, ми повинні мати змогу його вимірювати, проте існує небагато оцінок [1⁠(відкривається у новому вікні), 2⁠(відкривається у новому вікні), 3⁠(відкривається у новому вікні)] і методології різняться.

У цій роботі ми вивчаємо відстежуваність ланцюжка міркувань із систематичним підходом. Ми представляємо структуру для оцінки відстежуваності ланцюжка міркувань і набір з 13 оцінок (що включають 24 середовища), призначених для конкретного вимірювання відстежуваності системи. Ці оцінки поділяються на три архетипи: втручання, процес та результат-властивість. Використовуючи їх, ми вивчаємо, наскільки контрольовані сучасні великі мовні моделі та як змінюється відстежуваність із збільшенням обсягу міркувань під час генерування висновку, більш масштабними запусками навчання із підкріпленням та збільшенням масштабу попереднього навчання.

Ми виявили, що більшість передових моделей міркування досить добре (хоч і не ідеально) піддаються моніторингу. Майже в кожній ситуації, яку ми вивчаємо, моніторинг ланцюжків міркувань значно ефективніший, ніж моніторинг лише дій та кінцевих результатів. Моделі, які думають довше, як правило, легше контролювати, і оптимізація навчання з підкріпленням на поточних передових масштабах, вочевидь, не призводить до значного погіршення відстеження.

Примітно, що ми спостерігаємо компроміс між зусиллям на міркування та розміром моделі: коли модель працює при низькому зусиллі на міркування, менша модель, яка працює при більш високому зусиллі на міркування може досягти порівнянних можливостей, при цьому її легше контролювати. Це відбувається за рахунок збільшення обчислювальних ресурсів для висновків, що ми називаємо «податком на відстеження». Нарешті, ми виявили, що задавання подальших питань і моніторинг ланцюжків міркувань можуть додатково поліпшити відстежуваність.

Ми визначаємо відстежуваність як здатність контролера передбачати властивості, що становлять інтерес, у поведінці агента. У багатьох випадках ці властивості відповідають формам неправильної поведінки, таким як обман, маніпуляція винагородою або упереджене міркування, але вони також можуть включати нешкідливі властивості — чи покладався агент на певну пораду або чи він дотримувався певної лінії міркувань.

Відстежуваність — це двостороння характеристика. Вона залежить як від контролера, так і від контрольованого агента.

• Контролери. Ми могли б зробити контролерів розумнішими у різний спосіб, і хотіли б, щоб наші оцінки давали більш високі бали контролерам, які можуть робити кращі прогнози поведінки агента.
• Агенти. Існує безліч можливостей спостережень за агентом, які можуть бути передані контролеру: спостереження за діями агента, вихідними даними, нейронними активаціями, а нещодавно з появою моделей міркувань — ланцюжками міркувань. Можливо, деякі агенти мають думки, які важче зрозуміти, ніж в інших, тому ми хотіли б, щоб наші оцінки відстежуваності могли порівнювати агентів, а не лише контролерів.

Наші оцінки розроблені для оцінки обох сторін: легше або складніше контролювати певних агентів, і чи можуть більш здатні контролери отримувати більше інформації з тих самих сигналів.

До появи поточного покоління моделей міркування ланцюжка міркувань зазвичай викликалися шляхом спонукання моделі «думати крок за кроком». 

Ланцюжки міркувань у моделях відрізняються двома важливими способами. Спочатку їх навчають явно формувати ланцюжок міркувань, а потім відповідати. Коли модель чату спонукають думати «крок за кроком», вона повинна дотримуватися всіх заданих їй специфікацій, таких як бути корисною, нешкідливою і т. д. На відміну від цього, навчання з підкріпленням вчить модель міркувань тому, що ланцюжок міркувань (CoT) — це особистий простір, де вона може думати як завгодно, і не бути покараною за це. 

По-друге, процес навчання ефективно шукає ланцюжки міркувань, які є найкориснішими з погляду інструменту для агента в отриманні остаточної відповіді з високим винагородою. Таким чином, ланцюжок міркувань — це не тільки простір, де модель може вільно виражати себе; він також включає роздуми, які допомагають моделі дійти остаточної відповіді.

Ми організуємо наші оцінки відстежуваності у три різні архетипи, кожен з яких використовує окремий механізм для вимірювання відстежуваності.

1. Оцінки втручань, натхненні Chen et al. 2025⁠(відкривається у новому вікні), Chua et al. 2025⁠(відкривається у новому вікні), Turpin et al. 2023⁠(відкривається у новому вікні); ми вводимо контрольовану зміну в середовище агента та перевіряємо, чи може контролер виявити, чому змінилася поведінка, ідентифікуючи докази втручання в ланцюжку міркувань. На відміну від стандартних оцінок контролю (наприклад, Shade-Arena⁠(відкривається у новому вікні)), оцінки втручань дозволяють нам досліджувати, чи може контролер виявити, чому змінилася поведінка, а не просто виявити, що відбулася зміна. 
2. Оцінювання процесів зосереджується на завданнях з обмеженою кількістю правильних шляхів розв'язання (наприклад, якщо математичну задачу можна вирішити лише за допомогою певних теорем). Людські експерти перераховують ці шляхи, і ми перевіряємо, чи може контролер виявити, які кроки насправді зробила модель. Ці оцінки дозволяють нам створити посилання між тим, що зробила модель, і конкретними кроками, які модель повинна була виконати, і запитати, чи можна ці кроки контролювати.
3. Оцінювання результат-властивість застосовується, коли властивість виходу моделі може бути надійно виміряна. У цих випадках ми перевіряємо, чи може контролер передбачити цю властивість — наприклад, маніпуляцію винагородами — з міркувань або дій моделі. Наприклад, у завданні з програмування ми можемо мати спосіб надійно оцінити, чи модель вживає дії для обходу сигналу винагороди, і ми можемо запитати, чи знаходить контролер докази наміру обійти сигнал винагороди в мисленні або діях моделі.

Нижче наведено класифікацію наших оцінок. Повний опис кожної окремої оцінки ви знайдете у нашій статті.

Розгляд ланцюжка міркувань як особистої робочої області та навчання моделей використовувати її для ефективного вирішення завдань у принципі має зробити ланцюжки міркувань контрольованими. У той же час існує кілька причин, через які навчання з підкріпленням цілком може нашкодити відстежуваності ланцюжка міркувань.

По-перше, обмеження на довжину міркування, такі як обмеження часу або токенів, які модель повинна враховувати, стимулюють моделі розмірковувати менше. По-друге, навіть без застосування прямого тиску оптимізації на самий ланцюжок міркувань, непрямі фактори все ж таки можуть знизити відстежуваність. Наприклад⁠(відкривається у новому вікні), моделям може бути простіше знаходити відповіді з високою винагородою, якщо вони уникають шляхів міркувань, які можуть призвести до низької винагороди або небажаних результатів. Нарешті, зниження відстежуваності може бути викликано помилковим дрейфом, зумовленим шумом градієнта у навчанні із підкріпленням.

Нижче ми розглянемо, як змінювалася відстежуваність під час двох запусків навчання з підкріпленням від OpenAI. Хоча ці результати представляють лише дві точки даних, вони припускають, що оптимізація навчання з підкріпленням на поточних масштабах не призводить до значного погіршення відстеження ланцюжка міркувань і збільшує відстеження на ранніх етапах. Проте це не виключає можливості того, що значно більші масштаби навчання з підкріпленням можуть у майбутньому негативно позначитися на відстежуваності.

Більшість інтелекту сучасних систем ШІ обумовлена збільшенням масштабу попереднього навчання, у якому як параметри моделі, і розміри наборів даних послідовно збільшувалися початку парадигми GPT. Збільшення кількості параметрів призводить до більшої кількості обчислень виведення на кожен згенерований токен, що у випадку моделей міркувань дає більше можливостей для того, щоб когнітивні процеси моделі відбувалися всередині активацій, а не в рамках ланцюжка думок. Таким чином, ми можемо очікувати, що більші моделі будуть менш відстежуваними при фіксованому рівні можливостей. 

У той же час, менші моделі можуть бути менш здатними ефективно використовувати ланцюжок міркувань, що також може вплинути на відстежуваність.

Для вивчення взаємозв'язку між масштабом попереднього навчання, можливостями та відстежуваністю ми навчили сімейство моделей, збільшуючи обчислювальні ресурси для попереднього навчання на два порядки величини, зі збільшенням глибини та ширини, а потім застосували навчання із підкріпленням до кожної з них на загальному наборі даних, що включає завдання з математики, науки та програмування. Ми оцінили кожну модель за рядом завдань міркування та порівняли відстежуваність на порівняних рівнях можливостей.

Ми виявили, що якби ми розгорнули цю модель з низьким рівнем інтенсивності міркування, ми могли б натомість розгорнути меншу модель з вищим рівнем інтенсивності міркування. У порівнянні з затратами додаткових обчислювальних ресурсів на збільшення зусиль у міркуванні вихідної великої моделі, ми могли б досягти вищої відстежуваності за невеликої втрати можливостей, або податку на відстежуваність; однак час, необхідний для завершення виконання, також може бути фактором деяких рішень про розгортання, що ми тут не розглядаємо. У міру того, як наші моделі покращуються і розгортаються в більш відповідальних галузях, може стати необхідним вносити такий податок для їх безпечного розгортання.

Ці результати мають такі обмеження: (1) ми навчаємо кожну модель лише один раз, а отже, не враховуємо варіативність між запусками навчання. Наприклад, «середня» модель, здається, значно відхиляється від тренда у плані відстеження порівняно з іншими моделями в серії, що може бути пов'язане з цим. (2) Ми оцінюємо можливості щодо стандартних умов (математика, наука і програмування), і компроміси можуть змінитися з урахуванням стійкості до виходу за межі розподілу.

У міру того, як системи ШІ розширюються за межі людських можливостей, прямий людський контроль стає все складнішим. В ідеалі у нас мають бути масштабовані процедури контролю, які дозволяють довіреним, але слабшим спостерігачам контролювати сильніших, потенційно ненадійних агентів. Такі процедури також мають бути здатними поглинати додаткові обчислювальні ресурси під час тестування та давати більш точні прогнози.

Відстежуваність ланцюжка міркувань часто розглядається як фіксована величина: як тільки модель видає відповідь при заданих зусиллях на міркування, ланцюжок міркувань відстежується максимально ретельно. Ми постійно помічали, що відстеження покращується зі збільшенням зусиль агентів у міркуваннях, і ми вирішили запитати, чи можна якось отримати більше токенів для моніторингу.

Щоб вивчити це, ми експериментували з задаванням додаткових питань після відповіді моделі, зберігаючи вихідну підказку, ланцюжок міркувань та відповідь у контексті. Додаткові питання зосереджені на властивості, що відстежується — наприклад, «Ти використовувала пораду значним чином, щоб сформулювати свою відповідь?». або «Ти виконала якусь сумнівну дію?» У принципі, оскільки модель зберігає доступ до своїх попередніх міркувань, вона може бути здатна виявити раніше невиражені думки в подальшому ланцюжку міркувань або відповіді.

Ці результати є попередніми. Ми вивчили лише невелику кількість форматів наступних питань та вважаємо, що існує значний простір для покращення методики. Більше того, цей метод за духом схожий на confessions⁠, і ми активно працюємо над порівнянням підходів.

Крім поліпшення відстежуваності, цей підхід привабливий тим, що його можна застосовувати постфактум, несучи додаткові обчислювальні витрати лише у разі потреби глибшого аналізу. Забігаючи наперед, якщо моделі навчені очікувати зміни зусиль у міркуваннях у середині обговорення, наступні постфактум дії з вищим рівнем зусиль у міркуваннях можуть додатково покращити відстежуваність, навіть якщо початкові зусилля в міркуваннях низькі або відсутні.

Кожна оцінка у нашому наборі вимірює, чи можна контролювати окремий аспект процесу міркування. Хоча ми прагнемо охопити широкий спектр поведінки — включаючи лестощі, саботаж, упередженість, махінації та маніпуляції із системою винагород — існує безліч додаткових властивостей, які залишаються неперевіреними.

Як і у випадку з будь-яким еталоном, наші оцінки можуть страждати від обмеженої реалістичності або підвищеної поінформованості про оцінку, і результати можуть бути узагальнені виявлення неправомірного поведінки у реальних умовах. 

Нарешті, з покращенням узгодженості, моделі можуть рідше демонструвати неправильну поведінку в контрольованих умовах оцінювання, зменшуючи сигнал, доступний для моніторингу та контролю оцінок, що залежать від виявлення неправильної поведінки. У таких випадках «нейтральні» оцінки моніторингу залишаються застосовними, хоча залишається відкритим питання, наскільки вони є передбачуваними щодо реальних збоїв.

Якщо проблему узгодження не вдасться повністю вирішити, то масштабовані методи контролю будуть надзвичайно важливими для нашої здатності безпечно розгортати високопотужні моделі. Моніторинг ланцюжка міркувань та пов'язані методи можуть бути одним з небагатьох механізмів контролю, які є в нашому розпорядженні. Ланцюжок міркувань також може приносити значні переваги у кращому розумінні наших моделей, наприклад, чи усвідомлюють вони, що перебувають в умовах оцінювання і поводяться інакше, ніж у реальних умовах, чи є докази будь-яких негативних цілей, які ще не маніфестували в наших оцінках тощо. Таким чином, ми вважаємо, що надзвичайно важливо розуміти, як і коли ми можемо втратити можливість моніторингу.

Ми розглядаємо моніторинг ланцюжка міркувань як доповнення до механістичної інтерпретованості, а не як її заміну. Як і всі відомі методи контролю та інтерпретації, кожен з них має обмеження та сліпі зони. Ми очікуємо, що поєднання кількох підходів — стратегія захисту в глибину— може допомогти закрити прогалини, які залишає будь-який окремий метод. Зокрема, оцінки, представлені в цій роботі, можуть також бути застосовані для оцінювання та порівняння технік моніторингу, заснованих на механістичній інтерпретованості.

Оскільки ми вважаємо, що моніторинг ланцюжка міркувань може бути несучим шаром у масштабованій схемі контролю, ми плануємо розширити ці оцінки та використовувати їх для обґрунтування майбутніх рішень щодо моделювання та даних.