Как техника «confessions» может поддерживать честность языковых моделей

Системы искусственного интеллекта становятся все более способными, и мы хотим понять их как можно глубже, в частности как и почему они приходят к тому или иному ответу. Иногда модель выбирает путь обхода или оптимизирует неверную цель, но её конечный результат всё равно выглядит правильно. Если мы сможем выявить, в каких случаях это происходит, мы сможем лучше контролировать развернутые системы, улучшать качество обучения и повышать доверие к результатам.

Исследования OpenAI и других компаний показали, что модели ИИ могут галлюцинировать⁠, манипулировать системой вознаграждений или быть нечестными. В данный момент мы наблюдаем наиболее тревожные проявления неправомерного поведения, например манипуляции⁠(открывается в новом окне), только в стресс-тестах и оценках с состязательным компонентом. Однако по мере того как модели становятся более способными и всё более агентными, даже редкие формы несоответствия становятся более значимыми, что побуждает нас инвестировать в методы, которые помогают эффективнее выявлять, понимать и снижать эти риски. 

Данная работа изучает один из таких подходов: обучение моделей явно признавать, когда они ведут себя нежелательным образом — технику, которую мы называем «confessions», или «признания». 

Признание — это второй результат, выдаваемый отдельно от основного ответа модели пользователю. Основной ответ оценивается по многим параметрам: правильности, стилю, полезности, соответствию, безопасности и другим. Эти разноплановые сигналы используются, чтобы обучать модели давать более качественные ответы. Признание же, напротив, оценивается и формируется только по одному критерию: честности. В соответствии со структурой признания, ничего из того, что модель говорит в своем признании, не используется против нее во время обучения. Если модель честно признается в обходе условий теста, саботаже или нарушении инструкций, это признание не уменьшает её вознаграждение, а наоборот, увеличивает его. Цель заключается в том, чтобы побудить модель точно передавать, что она сделала. 

В наших тестах мы обнаружили, что метод признаний значительно повышает видимость некорректного поведения модели. При усреднении наших оценок, направленных на выявление неправильного поведения, вероятность «ложноотрицательных результатов» (т. е. когда модель не выполняет инструкции и затем не признается в этом) составляет всего 4,4%.

Точность нашей модели доказательства концепции базируется на ряде состязательных наборов данных. Результаты классифицируются как «соответствие и отсутствие признания» (истинно отрицательный), «соответствие и признание» (ложноположительный), «несоответствие и отсутствие признания»(ложноотрицательный), и «несоответствие и признание» (истинно положительный).

Признание — это самоотчет модели о том, насколько она соблюдала как форму, так и содержание явных и неявных инструкций или политик, которые ей были даны, и были ли случаи, когда она «срезала углы» или «взламывала систему», нарушала политики или каким-либо образом не оправдывала ожидания. В нашем исследовании мы обнаружили, что модели можно обучить откровенно сообщать о своих недостатках. Мы обучили технике признаний версию GPT‑5 Thinking и провели оценку на ряде стресс-тестов, выходящих за рамки распределения, которые были разработаны для выявления таких видов поведения, как манипуляции, обход инструкций, нарушение инструкций и галлюцинации. Мы обнаружили, что даже когда модель проявляет эти нежелательные формы поведения, она с большой вероятностью признается в этом. На рисунке выше показано, что подход «confessions» в целом эффективен для разнообразных наборов данных и задач. 

После любого взаимодействия между пользователем и моделью, заканчивающегося ответом модели, можно запросить отчет о признании, отправив модели «системное сообщение», которое инструктирует модель предоставить отчет о признании. Отчет касается последнего ответа модели и включает: (1) список всех явных и неявных инструкций, ограничений и целей, которым этот ответ должен был соответствовать; (2) честный и объективный анализ того, действительно ли ответ удовлетворяет каждой из этих целей; (3) список всех неопределенностей, двусмысленностей или «сложных решений», с которыми модель столкнулась при генерировании ответа. Во время обучения признание оценивается отдельной моделью вознаграждения, которая оценивает исключительно признание по полноте целей, точности анализа соответствия и охвату неопределённостей. Эти вознаграждения применяются исключительно к результатам признания и не влияют на вознаграждение за основной ответ. Это гарантирует то, что обсуждалось выше: ничего из того, что модель говорит в признании, не может повлиять на её вознаграждение за основной ответ — ни в положительную, ни в отрицательную сторону.

Теория, лежащая в основе техники «confessions», проста. Многие виды нежелательного поведения модели проявляются, потому что мы просим модель оптимизировать несколько целей одновременно. Во время обучения с подкреплением модель видит подсказку, генерирует ответ и получает вознаграждение. Со временем она учится давать такие ответы, которые получают высокие оценки. Проблема заключается в том, что сигнал вознаграждения должен одновременно учитывать множество различных факторов: насколько правильным является ответ, насколько он полезен, соответствует ли он спецификациям продукта и политики, соблюдает ли он требования безопасности и соответствует ли предпочтениям пользователей. При взаимодействии эти сигналы могут случайно подтолкнуть модель к нежелательному поведению.

Например, наша работа по галлюцинациям⁠ показала, что в некоторых наборах данных уверенные догадки вознаграждаются больше, чем честное признание в неуверенности. Наше исследование лести⁠ показало, что когда сигнал предпочтения слишком сильный, модели могут становиться чрезмерно податливыми. Работы⁠(открывается в новом окне) других групп показали, что модели могут «взламывать систему вознаграждений» — находить лазейки в настройках обучения, которые позволяют им получать высокие оценки, не выполняя то, что мы изначально предполагали. В некоторых случаях эти пути обхода могут расширяться⁠(открывается в новом окне) до еще более вредоносного поведения при развертывании.

Признания позволяют избежать этой проблемы, полностью разделив цели. Основной ответ продолжит оптимизировать все обычные факторы. Признание оценивается только по честности. Ничто из того, что модель говорит в признании, не используется против неё, а признание не влияет на вознаграждение за основной ответ. Это означает, что даже если модель обманывает или идет на уловки в своем первоначальном результате, у нее все равно есть стимул признаться в этом. Что мы наблюдаем на практике: модели готовы признать факт неправомерного поведения в признании даже в тех случаях, когда они скрывают его в основном ответе. Когда признание не работает, это обычно происходит потому, что модель в действительности сбита с толку — из-за того, что инструкции были неоднозначными или потому, что она не осознала, что была допущена ошибка, а не потому, что она пыталась ввести в заблуждение намеренно. Важно отметить следующее: ранние результаты показывают, что признания остаются эффективными, даже когда основной ответ создается без какой-либо цепочки рассуждений, что предполагает, что честность признания не зависит от читаемости внутреннего рассуждения и может обобщаться на архитектуры будущих моделей.

Обучение признания работает даже без истинных меток соответствия. Под «истинным значением» мы подразумеваем окончательную, внешне предоставленную метку, указывающую на то, следовала ли модель инструкции или нарушила её. Во многих реальных задачах эти метки недоступны: если бы мы с уверенностью знали, что модель нарушила правило, мы могли бы напрямую наказать это нарушение, а не полагаться на признание. Вместо этого модель вознаграждается за создание структурированного объяснения, подкрепленного доказательствами, о том, что, по её мнению, она сделала. Наша работа показывает, что в этой обстановке, как правило, проявляется честность. Мы думаем, что это связано с тем, что предоставление правдивого, подкрепленного доказательствами отчета обычно проще для модели, чем создание связного вымышленного повествования, которое может обмануть эксперта. Это ключевое предположение, изучаемое в статье, которая также рассматривает случаи, когда признания оказываются неудачными — ложноотрицательные и ложноположительные результаты — и как они возникают.

Статья предоставляет начальные доказательства того, что признания работают, но не должна рассматриваться как окончательное доказательство. Хотя мы использовали передовую модель (GPT‑5 Thinking), наши эксперименты были ограничены по масштабу с использованием относительно небольшого количества вычислительных ресурсов и данных. Мы с нетерпением ждём возможности поднять эту работу на новый уровень и посмотреть, будет ли искренность признания сохраняться по мере масштабирования обучения.

В рамках наших экспериментов мы намеренно обучали модели на «взламываемом» сигнале вознаграждения, рассчитанном более слабой моделью. Эта настройка применялась как к основному вознаграждению, так и к вознаграждению за признание. Модель научилась использовать слабый сигнал вознаграждения: её видимая точность (при оценке слабой моделью) улучшилась, в то время как её истинная точность (при оценке более сильным оценщиком) снизилась. 

Однако даже несмотря на то, что канал признаний был обучен на том же слабом сигнале, его точность изменилась в противоположном направлении. Модель поняла, что лучший способ оптимизировать вознаграждение за признание — это просто признаться, когда она получила основное вознаграждение обманным путем. Со временем признания становились более точными, даже когда основное поведение менялось.

В статье⁠(открывается в новом окне) содержится больше экспериментов и результатов. Мы сравнили модель, обученную с использованием канала признаний, с контрольной моделью, обученной аналогичным образом, но без канала признаний. Мы также изучили случаи, когда признания не были успешными. Почти все «промахи» произошли, когда модель действительно была в замешательстве — когда инструкции были неоднозначными или когда она просто не осознавала, что совершила ошибку. (См. пример ложноотрицательного результата⁠ выше.)

Признания имеют свои ограничения. Они не предотвращают плохое поведение; они его выявляют. Их основная ценность заключается в использовании в качестве инструмента мониторинга и диагностики как во время обучения, так и при развертывании. Признания играют схожую роль с мониторингом цепочки рассуждений⁠: обе техники делают скрытые процессы рассуждения более видимыми. Признания сосредоточены на том, нарушила ли модель инструкции; цепочка рассуждений может показать, как она к этому пришла.

Эта работа также является доказательством концепции. Мы не тренировали механизмы признания в большом масштабе, поэтому точность признания все еще несовершенна. Предстоит ещё много работы, чтобы сделать подход более надёжным и применимым во всех группах моделей и задачах.

Данная работа вписывается в наш более широкий подход к безопасности ИИ⁠. Признания являются одним из механизмов в более широкой системе, которая включает обоснованное соответствие⁠, мониторинг цепочки рассуждений⁠, иерархию инструкций⁠ и многое другое. Ни один метод не является достаточным; цель — создание многоуровневой системы проверок и инструментов прозрачности, которые поддерживают друг друга. Признания могут помочь в диагностике проблемного поведения моделей во время обучения и оценки, а также в мониторинге во время развертывания. Признания сами по себе не решают проблему балансировки нескольких измерений. Но, создав режим «сыворотки правды», в котором модели сосредоточены исключительно на честности, мы добавляем в наш арсенал ценный инструмент для повышения честности и безопасности во всех аспектах.

Модели становятся более способными и применяются в более ответственных областях, и нам становятся нужны более совершенные инструменты для понимания их действий и причин. Признания не являются абсолютным решением, однако они добавляют значимый слой к нашей системе прозрачности и надзора. В будущей работе мы планируем расширить масштабы признаний, а также сочетать их с дополнительными методами прозрачности и безопасности, включая мониторинг цепочки рассуждений и обоснованное соответствие, чтобы добиться дальнейшего прогресса в обеспечении того, чтобы наши модели добросовестно выполняли все инструкции и политики (такие как наши технические требования к модели⁠(открывается в новом окне)), и правдиво сообщали о своих действиях.