Моделям міркування складно контролювати власні ланцюжки міркувань, і це насправді добре

Зі зростанням здатності агентів ШІ виконувати складні та автономні завдання дедалі більшої ваги набуває забезпечення надійного контролю їхньої поведінки. Дотримуючись принципу ітеративного розгортання, ми аналізуємо, як системи поводяться в реальному середовищі, і безперервно вдосконалюємо захисні механізми зі зростанням їхніх можливостей. Для цього наш підхід до безпеки⁠ ґрунтується на принципі багаторівневого захисту, що передбачає кілька взаємодоповнювальних рівнів захисту, зокрема навчання з безпеки⁠, поведінкове тестування⁠, перевірку агентного коду⁠(відкривається у новому вікні) та моніторинг ланцюжків міркувань (CoT)⁠. Моніторинг CoT аналізує кроки міркування, які агенти формують у процесі виконання завдань. Такі траєкторії міркування можуть надавати цінні сигнали як під час навчання, так і під час використання системи, допомагаючи системам моніторингу виявляти випадки, коли поведінка агента може бути небезпечною або не відповідати намірам користувача.

Сьогодні ми спостерігаємо, що міркування моделей загалом є зрозумілими для інтерпретації та їх легко відстежувати⁠. Однак у майбутньому можливість моніторингу може погіршитися з різних причин⁠(відкривається у новому вікні). Тут ми зосереджуємося на одному з таких сценаріїв: якщо агенти зможуть навмисно змінювати або приховувати свої міркування, знаючи, що за ними ведеться моніторинг, оцінювання створювати завищене уявлення про узгодженість або безпеку системи, а системи моніторингу можуть стати менш надійними. 

У цій роботі ми досліджуємо, чи здатні сучасні моделі міркування контролювати свій ланцюжок міркувань так, щоб зменшувати можливість моніторингу. Розуміння цієї здатності є важливим для того, щоб моніторинг CoT залишався надійним механізмом безпеки зі зростанням можливостей систем ШІ. Наші результати показують, що сучасним моделям міркування складно контролювати свої CoT, навіть якщо вони знають про наявність моніторингу. Хоча більші моделі демонструють вищий рівень керованості, він знижується, коли моделі змушені міркувати довше або проходять додаткове навчання. Наші результати свідчать, що керованість CoT наразі навряд чи становить суттєвий ризик для можливості моніторингу CoT, хоча подальше оцінювання залишатиметься важливим зі зростанням розвитку моделей.

Ланцюжок міркувань — це проміжні кроки міркування, які агент ШІ формує під час розв'язання завдання. Такі траєкторії міркування можуть забезпечувати корисні сигнали для безпеки, допомагаючи системам моніторингу оцінювати безпечність і узгодженість поведінки агента.

Керованість CoT — це здатність моделі міркування контролювати властивості свого ланцюжка міркувань так, що це зменшує можливість його моніторингу. Оцінювання цієї здатності з урахуванням усього спектра реалістичних стимулів уникати моніторингу, які можуть виникати на практиці, є складним завданням. Натомість ми використовуємо практичний наближений показник: оцінюємо здатність моделі дотримуватися інструкцій користувача щодо її CoT. Наприклад, ми перевіряємо, чи може модель виконувати інструкції, що впливають на її внутрішнє міркування, наприклад, використовувати лише малі літери, уникати певних ключових слів або додавати визначені фрази, а не просто змінювати видимий результат.

Для цього дослідження ми запроваджуємо CoT-Control — набір відкритих інструментів оцінювання для вимірювання керованості CoT у моделях міркування. CoT-Control містить понад 13 000 завдань, створених на основі відомих тестових наборів:  GPQA, MMLU-Pro, HLE, BFCL та SWE-Bench Verified⁠. Кожне завдання створюється шляхом поєднання задачі з тестового набору з однією інструкцією для CoT, наприклад, уникати певних ключових слів, пов'язаних із завданням, використовувати лише малі літери або додавати задане слово до кожного речення.

Ми провели оцінювання 13 моделей міркування та встановили, що всі вони мають труднощі з надійним контролем своїх CoT. Керованість оцінюється як частка випадків міркування, де модель успішно дотримується наших інструкцій щодо CoT. У передових моделях показники керованості CoT є низькими — від 0,1% і не перевищують 15,4% у жодній із передових моделей, які ми протестували. 

Ця нездатність не зумовлена неправильним розумінням завдання: у своїх CoT моделі часто визнають, що не дотримуються отриманих інструкцій, але навіть після цього все одно продовжують їх порушувати. Такий несподівано низький рівень результатів є позитивним сигналом для моніторингу CoT, адже він вказує, що моделі, ймовірно, не здатні навмисно маскувати свої міркування, щоб обійти системи моніторингу.

Хоча ми спостерігаємо, що керованість зростає зі збільшенням розміру моделі, вона швидко знижується зі збільшенням обсягу подальшого навчання та обчислень під час тестування. Аналіз двох сімейств моделей з відкритими вагами показав, що більші моделі дещо краще контролюють свої ланцюжки міркувань, хоча цей ефект послаблюється зі зростанням розміру. Однак коли моделям дозволяли міркувати довше, їхня здатність контролювати ці ланцюжки міркувань зменшувалася. Подібну тенденцію ми спостерігали і під час RL-навчання моделі OLMo-3-7B-RL Zero-Math: її показник керованості знизився більш ніж у десять разів у процесі навчання.

У моделях із відкритими вагами керованість зростає зі збільшенням масштабу, але погіршується за довшого міркування та інтенсивнішого RL-навчання.

Щоб відтворити реалістичні стимули уникати моніторингу, ми вимірюємо керованість у випадках, коли моделям прямо повідомляють про моніторинг або оцінювання. У такому випадку керованість дещо (але помітно) зростає. Ми також використовуємо автоматизовану оптимізацію запитів, щоб знаходити запити, які забезпечують високу керованість. Попри те що оптимізатор здатен підвищити керованість на навчальному наборі, ці результати погано переносяться на нові типи інструкцій (наприклад, вимогу писати без пробілів між словами).

Завдання в CoT-Control є практичними наближеними показниками: ідеальна оцінка керованості CoT передбачала б перевірку того, чи здатні моделі, які природно прагнуть неузгоджених цілей, керувати своїм CoT так, щоб уникати моніторингу. Натомість ми оцінюємо здатність агентів контролювати свої CoT, вимірюючи їхню здатність виконувати інструкції щодо власного CoT. Також моделі здатні ефективніше контролювати певні властивості свого CoT, ніж інші, тому CoT-Control може як переоцінювати, так і недооцінювати керованість, оцінюючи лише обмежений набір її типів.

Низький рівень керованості CoT є властивістю системи, а не її вадою. Низька керованість сучасних моделей міркування робить моніторинг CoT більш надійним запобіжним механізмом. Водночас ми досі не розуміємо, чому керованість сучасних моделей міркування є низькою, і чи збережеться ця властивість зі зростанням їхніх можливостей. Тому оцінювання керованості CoT можна розглядати як «сигнальне оцінювання раннього попередження»: ранній сигнал попередження про те, чи починають моделі краще змінювати або приховувати свої міркування. 

Наші результати свідчать, що керованість CoT наразі навряд чи становить суттєвий ризик для можливості моніторингу CoT. Однак сама по собі низька керованість не гарантує високої можливості моніторингу, оскільки вона може погіршуватися через інші механізми, наприклад прямий оптимізаційний тиск на CoT. 

Щоб відстежувати ці зміни з часом, ми почнемо повідомляти показники керованості CoT разом із показниками можливості моніторингу CoT⁠ у картках системи майбутніх передових моделей, починаючи з GPT‑5.4 Thinking, спираючись на наше постійне зобов'язання⁠ не застосовувати оптимізаційний тиск безпосередньо до CoT передових моделей міркування.