Як техніка «confessions» може підтримувати чесність мовних моделей

Системи штучного інтелекту стають усе більш здатними, і ми хочемо зрозуміти їх якнайглибше, зокрема як і чому вони приходять до тієї чи іншої відповіді. Іноді модель вибирає шлях обходу чи оптимізує неправильну мету, та її кінцевий результат однаково виглядає правильно. Якщо ми зможемо виявити, у яких випадках це відбувається, ми зможемо краще контролювати розгорнуті системи, покращувати якість навчання та підвищувати довіру до результатів.

Дослідження OpenAI та інших компаній показали, що моделі ШІ можуть галюцинувати⁠, маніпулювати системою винагород або бути нечесними. Наразі ми спостерігаємо найбільш тривожні прояви неправомірної поведінки, наприклад маніпуляції⁠(відкривається у новому вікні), лише у стрес-тестах та оцінках зі змагальним компонентом. Однак у міру того, як моделі стають більш здатними і дедалі ближчими до агентів, навіть рідкісні форми невідповідності стають більш значущими, що спонукає нас інвестувати в методи, які допомагають ефективніше виявляти, розуміти та знижувати ці ризики. 

Ця робота вивчає один із таких підходів: навчання моделей явно визнавати, коли вони поводяться небажаним чином — техніку, яку ми називаємо «confessions», або «зізнання». 

Зізнання — це другий результат, що видається окремо від основної відповіді моделі користувача. Основна відповідь оцінюється за багатьма параметрами: правильність, стиль, корисність, відповідність, безпека тощо. Ці різнопланові сигнали використовуються, щоб навчати моделі давати якісніші відповіді. Зізнання ж, навпаки, оцінюється і формується лише за одним критерієм — чесністю. Відповідно до структури визнання нічого з того, що модель говорить у своєму визнанні, не використовується проти неї під час навчання. Якщо модель чесно визнається в обході умов тесту, саботажі або порушенні інструкцій, це визнання не зменшує винагороду, а навпаки, збільшує його. Ціль полягає в тому, щоб спонукати модель точно повідомляти про те, що вона зробила. 

У наших тестах ми виявили, що метод зізнань значно підвищує видимість некоректної поведінки моделі. При усередненні наших оцінок, спрямованих на виявлення неправильної поведінки, ймовірність «хибнонегативних результатів» (тобто коли модель не виконує інструкції і потім не зізнається в цьому) становить лише 4,4%.

Точність нашої моделі доказу концепції базується на низці змагальних наборів даних. Результати класифікуються як «відповідність і відсутність зізнання» (істинно негативний), «відповідність і зізнання» (хибнопозитивний), «невідповідність та відсутність зізнання» (хибнонегативний), і «невідповідність та зізнання» (істинно позитивний).

Зізнання — це самозвіт моделі про те, наскільки вона дотримувалась як форми, так і змісту явних і неявних інструкцій чи політик, які їй були дані, і чи були випадки, коли вона «зрізала кути» чи «зламувала систему», порушувала політики чи якимось іншим чином не виправдовувала очікування. У нашому дослідженні ми виявили, що моделі можна навчити відверто повідомляти про свої недоліки. Ми навчили техніці зізнань версію GPT‑5 Thinking та провели оцінку на ряді стрес-тестів, що виходять за рамки розподілу, які були розроблені для виявлення таких видів поведінки, як маніпуляції, обхід інструкцій, порушення інструкцій та галюцинації. Ми виявили, що навіть коли модель виявляє ці небажані форми поведінки, вона з великою ймовірністю зізнається в цьому. На малюнку вище показано, що підхід «confessions» загалом ефективний щодо різноманітних наборів даних і завдань. 

Після будь-якої взаємодії між користувачем та моделлю, що закінчується відповіддю моделі, можна запросити звіт про зізнання, надіславши моделі «системне повідомлення», яке інструктує модель надати звіт про зізнання. Звіт стосується останньої відповіді моделі та включає: (1) список усіх явних та неявних інструкцій, обмежень та цілей, яким ця відповідь мала відповідати; (2) чесний та об'єктивний аналіз того, чи дійсно відповідь задовольняє кожній з цих цілей; (3) список усіх невизначеностей, двозначностей чи «складних рішень», з якими модель зіткнулася під час генерування відповіді. Під час навчання зізнання оцінюється окремою моделлю винагороди, яка оцінює виключно зізнання за повнотою цілей, точності аналізу відповідності та охопленням невизначеностей. Ці винагороди застосовуються виключно до результатів зізнання та не впливають на винагороду за основну відповідь. Це гарантує властивість, обговорену вище: нічого з того, що модель говорить у визнанні, не може вплинути на її винагороду за основну відповідь — ні в позитивний, ні в негативний бік.

Теорія, що лежить в основі техніки «confessions», проста. Багато видів небажаної поведінки моделі проявляються, тому що ми просимо модель оптимізувати кілька цілей одночасно. Під час навчання з підкріпленням модель бачить підказку, генерує відповідь та отримує винагороду. Згодом вона вчиться давати такі відповіді, які одержують високі оцінки. Проблема полягає в тому, що сигнал винагороди повинен одночасно враховувати безліч різних факторів: наскільки правильною є відповідь, наскільки вона корисна, чи відповідає вона специфікаціям продукту та політики, чи дотримується вона вимог безпеки та чи відповідає перевагам користувачів. При взаємодії ці сигнали можуть випадково підштовхнути модель до небажаної поведінки.

Наприклад, наша робота з галюцинаціями⁠ показала, що в деяких наборах даних впевнені припущення винагороджуються більше, ніж чесне зізнання в невпевненості. Наше дослідження улесливості⁠ показало, що коли сигнал переваги надто сильний, моделі можуть ставати надмірно згодливими. Роботи⁠(відкривається у новому вікні) інших груп показали, що моделі можуть «зламувати систему винагород» — знаходити лазівки в налаштуваннях навчання, які дозволяють їм отримувати високі оцінки, не виконуючи те, що ми мали на увазі. У деяких випадках ці шляхи обходу можуть розширюватися⁠(відкривається у новому вікні) до ще більш шкідливої поведінки під час розгортання.

Зізнання дозволяють уникнути цієї проблеми, повністю розділивши цілі. Основна відповідь продовжить оптимізувати усі звичайні фактори. Зізнання оцінюється лише з чесності. Ніщо з того, що модель говорить у зізнанні, не використовується проти неї, а зізнання не впливає на винагороду за основну відповідь. Це означає, що навіть якщо модель обманює або йде на хитрощі у своєму початковому результаті, у неї все одно є стимул зізнатися в цьому. Що ми спостерігаємо на практиці: моделі готові визнати факт неправомірної поведінки у зізнанні навіть у тих випадках, коли вони приховують її в основній відповіді. Коли зізнання не працює, це зазвичай відбувається тому, що модель насправді спантеличена — через те, що інструкції були неоднозначними, або тому, що вона не усвідомила, що припустилася помилки, а не тому, що вона намагалася ввести в оману навмисно. Важливо зазначити наступне: ранні результати показують, що зізнання залишаються ефективними, навіть коли основна відповідь створюється без будь-якого ланцюжка міркувань, що передбачає, що чесність зізнання залежить від читання внутрішнього міркування і може узагальнюватися на архітектури майбутніх моделей.

Навчання зізнання працює навіть без дійсних позначок відповідності. Під «істинним значенням» ми маємо на увазі остаточну, зовні надану мітку, що вказує на те, чи слідувала модель інструкції чи порушила її. У багатьох реальних завданнях ці мітки недоступні: якби ми з упевненістю знали, що модель порушила правило, ми могли б покарати за це порушення, а не покладатися на зізнання. Натомість модель винагороджується за створення структурованого пояснення, підкріпленого доказами, про те, що, на її думку, вона зробила. Наша робота показує, що у таких умовах зазвичай проявляється чесність. Ми вважаємо, що це пов'язано з тим, що надання правдивого, підкріпленого доказами звіту зазвичай простіше для моделі, ніж створення зв'язкової вигаданої розповіді, яка може обдурити експерта. Це ключове припущення, що вивчається у статті, яка також розглядає випадки, коли зізнання виявляються невдалими — хибнонегативні та хибнопозитивні результати — і як вони виникають.

Стаття надає початкові докази того, що зізнання працюють, але їх не слід розглядати як остаточний доказ. Хоча ми використовували передову модель (GPT‑5 Thinking), наші експерименти були обмежені за масштабом із використанням відносно невеликої кількості обчислювальних ресурсів та даних. Ми з нетерпінням чекаємо на можливість підняти цю роботу на новий рівень і подивитися, чи буде щирість зізнання зберігатися в міру масштабування навчання.

У рамках наших експериментів ми навмисно навчали моделі на сигналі винагороди, що «зламується», розрахованому більш слабкою моделлю. Таке налаштування застосовувалося як до основної винагороди, так і до винагороди за зізнання. Модель навчилася використовувати слабкий сигнал винагороди: її видима точність (при оцінці слабкою моделлю) покращилася, тоді як її справжня точність (при оцінці сильнішим оцінювачем) знизилася. 

Однак навіть незважаючи на те, що канал зізнань був навчений на тому ж слабкому сигналі, його точність змінилася у протилежному напрямку. Модель зрозуміла, що найкращий спосіб оптимізувати винагороду за зізнання — це просто зізнатися, коли вона отримала основну винагороду обманним шляхом. Згодом зізнання ставали точнішими, навіть коли основна поведінка змінювалася.

Стаття⁠(відкривається у новому вікні) містить більше експериментів та результатів. Ми порівняли модель, навчану з використанням каналу зізнань, з контрольною моделлю, навченою таким же чином, але без каналу зізнань. Ми також вивчили випадки, коли зізнання були невдалими. Майже всі «промахи» траплялися, коли модель справді плуталася — коли інструкції були неоднозначними або коли вона просто не усвідомлювала, що зробила помилку. (Див. приклад хибнонегативного результату⁠ вище.)

Зізнання мають свої обмеження. Вони не запобігають поганій поведінці — вони її виявляють. Їхня основна цінність полягає у використанні їх як інструменту моніторингу та діагностики як під час навчання, так і при розгортанні. Зізнання грають схожу роль з моніторингом ланцюжка міркувань⁠: обидві техніки роблять приховані процеси міркування більш видимими. Зізнання зосереджено на тому, чи порушила модель інструкції; ланцюжок міркувань може показати, як вона до цього прийшла.

Ця робота також є доказом концепції. Ми не тренували механізми зізнання у великому масштабі, тож точність зізнання все ще недосконала. Необхідно виконати більше роботи, щоб зробити підхід більш надійним і застосовним у всіх групах моделей і завдань.

Ця робота вписується в наш ширший підхід до безпеки ШІ⁠. Зізнання є одним із механізмів у ширшій системі, яка включає обґрунтовану відповідність⁠, моніторинг ланцюжка міркувань⁠, ієрархію інструкцій⁠ тощо. Жоден метод не є достатнім; мета — створення багаторівневої системи перевірок та інструментів прозорості, які підтримують один одного. Зізнання можуть допомогти у діагностиці проблемної поведінки моделей під час навчання та оцінки, а також у моніторингу під час розгортання. Зізнання самі по собі не вирішують проблему балансування кількох вимірів. Але створивши режим «сироватки правди», в якому моделі зосереджені виключно на чесності, ми додаємо до нашого арсеналу цінний інструмент для підвищення чесності та безпеки у всіх аспектах.

Моделі стають більш потужними й застосовуються у більш відповідальних галузях, і нам стають потрібні досконаліші інструменти для розуміння їхніх дій та причин. Зізнання не є абсолютним рішенням, однак вони додають значний шар до нашої системи прозорості та нагляду. У майбутній роботі ми плануємо розширити масштаби зізнань, а також поєднувати їх з додатковими методами прозорості та безпеки, включаючи моніторинг ланцюжка міркувань та обґрунтовану відповідність, щоб добитися подальшого прогресу в забезпеченні того, щоб наші моделі сумлінно виконували всі інструкції та політики (такі як наші технічні вимоги до моделі⁠(відкривається у новому вікні)) та правдиво звітували про свої дії.