Оценка отслеживаемости цепочки рассуждений

Когда системы ИИ принимают решения, которые сложно контролировать напрямую, важно понять, как эти решения принимаются. Один из перспективных подходов заключается в мониторинге внутренних рассуждений модели, а не только её действий или конечных результатов.

Современные модели рассуждений, такие как GPT‑5 Thinking, формируют явную цепочку рассуждений перед тем, как дать ответ. Мониторинг этих цепочек рассуждений на предмет неправильного поведения может быть гораздо более эффективным⁠, чем мониторинг только действий и результатов модели. Однако исследователи из OpenAI и всей индустрии обеспокоены⁠(открывается в новом окне) тем, что такая отслеживаемость цепочки рассуждений может быть уязвима к изменениям в процедуре обучения, источниках данных и даже к продолжающемуся масштабированию существующих алгоритмов.

Мы хотим, чтобы отслеживаемость цепочки рассуждений сохранялась по мере увеличения масштабов моделей и их развертывания в более ответственных условиях. Мы призываем исследователей всей отрасли работать над сохранением отслеживаемости цепочки рассуждений как можно дольше и определить, может ли она служить несущим контрольным слоем для будущих систем ИИ. Чтобы сохранить отслеживаемость, необходимо иметь возможность ее измерять, однако оценок существует мало [1⁠(открывается в новом окне), 2⁠(открывается в новом окне), 3⁠(открывается в новом окне)], и методики оценок различаются.

В этой работе мы изучим отслеживаемость цепочки рассуждений, применив систематический подход. Мы представляем структуру для оценки отслеживаемости цепочки рассуждений и набор из 13 оценок (включающих в общей сложности 24 среды), предназначенных для конкретного измерения отслеживаемости системы. Эти оценки делятся на три архетипа: вмешательство, процесс и результат-свойство. Используя их, мы изучаем, насколько контролируемы современные крупные языковые модели и как меняется отслеживаемость с увеличением объема рассуждений во время генерирования вывода, более масштабными запусками обучения с подкреплением и увеличением масштаба предварительного обучения.

Мы обнаружили, что большинство передовых моделей рассуждения достаточно хорошо (хотя и не идеально) поддаются мониторингу. Почти в каждой ситуации, которую мы изучаем, мониторинг цепочек рассуждений значительно более эффективен, чем мониторинг только действий и конечных результатов. Модели, которые думают дольше, как правило, легче контролировать, и оптимизация обучения с подкреплением на текущих передовых масштабах, по-видимому, не приводит к значительному ухудшению отслеживаемости.

Примечательно, что мы наблюдаем компромисс между усилием на рассуждение и размером модели: когда модель работает при низком усилии на рассуждение, меньшая модель, работающая при более высоком усилии на рассуждение, может достичь сопоставимых возможностей, при этом её легче контролировать. Это происходит за счет увеличения вычислительных ресурсов для выводов, что мы называем «налогом на отслеживаемость». Наконец, мы обнаружили, что задавание последующих вопросов и мониторинг получающихся цепочек рассуждений могут дополнительно улучшить отслеживаемость.

Мы определяем отслеживаемость как способность контролера предсказывать свойства, представляющие интерес, в поведении агента. Во многих случаях эти свойства соответствуют формам неправильного поведения, таким как обман, манипуляция вознаграждением или предвзятое рассуждение, но они также могут включать безобидные свойства — полагался ли агент на определенный совет или следовал ли он определенной линии рассуждений.

Отслеживаемость — это двусторонняя характеристика. Она зависит как от контролера, так и от контролируемого агента.

• Контролеры. Мы могли бы сделать контролеров умнее разными способами, и хотели бы, чтобы наши оценки давали более высокие оценки контролерам, которые могут делать лучшие прогнозы поведения агента.
• Агенты. Существует множество возможностей наблюдений за агентом, которые могут быть переданы контролеру: наблюдение за действиями агента, выходными данными, нейронными активациями, а недавно, с появлением моделей рассуждений, цепочками рассуждений. Возможно, некоторые агенты имеют мысли, которые труднее понять, чем у других, поэтому мы хотели бы, чтобы наши оценки отслеживаемости могли сравнивать агентов, а не только контролеров.

Наши оценки разработаны для оценки обеих сторон: легче или сложнее контролировать определенных агентов, и могут ли более способные контролеры извлекать больше информации из тех же сигналов.

До появления текущего поколения моделей рассуждения цепочки рассуждений обычно вызывались путем побуждения модели «думать шаг за шагом». 

Цепочки рассуждений в моделях различаются двумя важными способами. Сначала их обучают явно формировать цепочку рассуждений, а затем давать ответ. Когда модель чата побуждают думать «шаг за шагом», она должна соблюдать все заданные ей спецификации, такие как быть полезной, безвредной и т. д. В отличие от этого, обучение с подкреплением учит модель рассуждений тому, что цепочка рассуждений (CoT) — это личное пространство, где она может думать как угодно, и не быть наказанной, так же как человек может думать приватно и не быть наказанным за «мыслепреступления». 

Во-вторых, процесс обучения эффективно ищет цепочки рассуждений, которые наиболее полезны с точки зрения инструмента для агента в получении окончательного ответа с высоким вознаграждением. Таким образом, цепочка рассуждений — это не только пространство, где модель может свободно выражать себя, но она также включает размышления, которые помогают модели прийти к окончательному ответу.

Мы организуем наши оценки отслеживаемости в три различных архетипа, каждый из которых использует отдельный механизм для измерения отслеживаемости.

1. Оценки вмешательств, вдохновленные Chen et al. 2025⁠(открывается в новом окне), Chua et al. 2025⁠(открывается в новом окне), Turpin et al. 2023⁠(открывается в новом окне): мы вводим контролируемое изменение в среде агента и проверяем, может ли контролер обнаружить, почему изменилось поведение, идентифицируя доказательства вмешательства в цепочке рассуждений. В отличие от стандартных оценок контроля (например, Shade-Arena⁠(открывается в новом окне)), оценки вмешательства позволяют нам выяснить, может ли контролер определить, почему изменилось поведение, а не просто обнаружить, что произошло изменение. 
2. Оценки процессов сосредоточены на задачах с ограниченным числом допустимых путей решения (например, математическая задача может быть решена только с использованием определённых теорем). Эксперты перечисляют эти пути, и мы проверяем, может ли контролер определить, какие шаги модель действительно предприняла. Эти оценки позволяют нам установить связь между тем, что сделала модель, и конкретными шагами, которые она должна была предпринять, и задаться вопросом, можно ли контролировать эти шаги.
3. Оценка свойство-результат применяется, когда свойство вывода модели может быть надежно измерено. В этих случаях мы проверяем, может ли монитор предсказать такое свойство, как манипуляция системой вознаграждений, исходя из рассуждений или действий модели. Например, в задаче программирования у нас может быть способ надежно оценить, предпринимает ли модель действия для манипуляции сигналом вознаграждения, и мы можем спросить, обнаруживает ли контролер доказательства намерения манипуляции вознаграждением в мыслях или действиях модели.

Ниже представлена классификация наших оценок. Полное описание каждой отдельной оценки вы найдете в нашей статье.

Рассмотрение цепочки рассуждений как личной рабочей области и обучение моделей использовать её для эффективного решения задач в принципе должно сделать цепочки рассуждений контролируемыми. В то же время существует несколько причин, по которым обучение с подкреплением вполне может навредить отслеживаемости цепочки рассуждений.

Во-первых, ограничения на длину рассуждения, такие как ограничение времени или токенов, которые модель должна учитывать, стимулируют модели рассуждать меньше. Во-вторых, даже без применения прямого давления оптимизации на саму цепочку рассуждений, косвенные факторы все же могут снизить отслеживаемость. Например⁠(открывается в новом окне), моделям может быть проще находить ответы с высоким вознаграждением, если они избегают путей рассуждений, которые могут привести к низкому вознаграждению или нежелательным результатам. Наконец, снижение отслеживаемости может быть вызвано ложным дрейфом, обусловленным шумом градиента в обучении с подкреплением.

Ниже мы рассмотрим, как менялась отслеживаемость в ходе двух запусков обучения с подкреплением от OpenAI. Хотя эти результаты представляют собой всего лишь две точки данных, они предполагают, что оптимизация обучения с подкреплением на текущих масштабах не приводит к значительному ухудшению отслеживаемости цепочки рассуждений и увеличивает отслеживаемость на ранних этапах. Тем не менее, это не исключает возможности того, что значительно более крупные масштабы обучения с подкреплением могут в будущем негативно сказаться на отслеживаемости.

Большая часть интеллекта современных систем ИИ обусловлена увеличением масштаба предварительного обучения, при котором как параметры модели, так и размеры наборов данных последовательно увеличивались с начала парадигмы GPT. Увеличение количества параметров приводит к большему количеству вычислений вывода на каждый сгенерированный токен, что в случае моделей рассуждений дает больше возможностей для того, чтобы когнитивные процессы модели происходили внутри активаций, а не в рамках цепочки мыслей. Таким образом, мы можем ожидать, что более крупные модели будут менее отслеживаемыми при фиксированном уровне возможностей. 

В то же время меньшие модели могут быть менее способны эффективно использовать цепочку рассуждений, что также может повлиять на отслеживаемость.

Для изучения взаимосвязи между масштабом предварительного обучения, возможностями и отслеживаемостью мы обучили семейство моделей, увеличивая вычислительные ресурсы для предварительного обучения на два порядка величины, с увеличением глубины и ширины, а затем применили обучение с подкреплением к каждой из них на общем наборе данных, включающем задачи по математике, науке и программированию. Мы оценили каждую модель по ряду задач рассуждения и сравнили отслеживаемость на сопоставимых уровнях возможностей.

Мы обнаружили, что если бы мы развернули данную модель с низким уровнем интенсивности рассуждения, мы могли бы вместо этого развернуть меньшую модель с более высоким уровнем интенсивности рассуждения. По сравнению с затратами дополнительных вычислительных ресурсов на увеличение усилий в рассуждении исходной большой модели, мы могли бы достичь более высокой отслеживаемости при небольшой потере возможностей, или налоге на отслеживаемость; однако время, необходимое для завершения выполнения, также может быть фактором в некоторых решениях о развертывании, что мы здесь не рассматриваем. По мере того как наши модели улучшаются и развертываются в более ответственных областях, может стать необходимым вносить такой «налог» для их безопасного развертывания.

Эти результаты имеют следующие ограничения: (1) мы обучаем каждую модель только один раз, и, следовательно, не учитываем вариативность между запусками обучения. Например, «средняя» модель, кажется, значительно отклоняется от тренда в плане отслеживаемости по сравнению с другими моделями в серии, что может быть связано с этим. (2) Мы оцениваем возможности в относительно стандартных условиях (математика, наука и программирование), и компромиссы могут измениться при учёте устойчивости к выходу за пределы распределения.

По мере того как системы ИИ расширяются за пределы человеческих возможностей, прямой человеческий контроль становится всё сложнее. В идеале у нас должны быть масштабируемые процедуры контроля, которые позволяют доверенным, но более слабым наблюдателям контролировать более сильных, потенциально ненадежных агентов. Такие процедуры также должны быть способны поглощать дополнительные вычислительные ресурсы во время тестирования и давать более точные прогнозы.

Отслеживаемость цепочки рассуждений часто рассматривается как фиксированная величина: как только модель выдает ответ при заданных усилиях на рассуждение, цепочка рассуждений отслеживается максимально тщательно. Мы постоянно замечали, что отслеживаемость улучшается по мере увеличения усилий агентов в рассуждениях, и мы решили спросить, можно ли как-то получить больше токенов для мониторинга.

Чтобы изучать это, мы экспериментировали с задаванием дополнительных вопросов после ответа модели, сохраняя исходную подсказку, цепочку рассуждений и ответ в контексте. Последующие вопросы сосредоточены на отслеживаемом свойстве — например, «Ты использовал совет значимым образом, чтобы сформулировать свой ответ?» или «Ты выполнил какое-либо сомнительное действие?» В принципе, поскольку модель сохраняет доступ к своим предыдущим рассуждениям, она может быть способна выявить ранее невыраженные мысли в последующей цепочке рассуждений или ответе.

Эти результаты являются предварительными. Мы изучили лишь небольшое количество форматов последующих вопросов и полагаем, что существует значительное пространство для улучшения методики. Более того, этот метод по духу схож с confessions⁠, и мы активно работаем над сравнением подходов.

Помимо улучшения отслеживаемости, этот подход привлекателен тем, что его можно применять постфактум, неся дополнительные вычислительные затраты только в случае необходимости более глубокого анализа. Забегая наперед, если модели обучены ожидать изменения усилий в рассуждениях в середине обсуждения, последующие постфактум действия с более высоким уровнем усилий в рассуждениях могут дополнительно улучшить отслеживаемость, даже если начальные усилия в рассуждениях низкие или отсутствуют.

Каждая оценка в нашем наборе измеряет, можно ли контролировать отдельный аспект процесса рассуждения. Хотя мы стремимся охватить широкий спектр поведения — включая лесть, саботаж, предвзятость, махинации и манипуляции с системой вознаграждений — существует множество дополнительных свойств, которые остаются непроверенными.

Как и в случае с любым эталоном, наши оценки могут страдать от ограниченной реалистичности или повышенной осведомленности об оценке, и результаты могут не быть обобщены для выявления неправомерного поведения в реальных условиях. 

Наконец, по мере повышения согласованности, модели могут реже проявлять неправильное поведение в контролируемых условиях оценки, что снижает сигнал, доступный для отслеживаемости и контроля оценок, зависящих от обнаружения неправильного поведения. В таких случаях применимыми остаются «нейтральные» оценки отслеживаемости, хотя открытым остается вопрос, насколько они предсказуемы в отношении реальных сбоев.

Если проблему согласования нельзя полностью решить, то масштабируемые методы управления будут чрезвычайно важны для нашей способности безопасно развертывать высокоразвитые модели. Мониторинг цепочки рассуждений и связанные методы могут быть одним из немногих механизмов контроля в нашем распоряжении. Знание цепочки рассуждений также может приносить значительные преимущества в понимании наших моделей — например, осознают ли они, что находятся в процессе оценки и ведут себя иначе, чем в условиях развертывания, есть ли доказательства наличия каких-либо неблагоприятных целей, которые еще не возникали в наших оценках, и так далее. Таким образом, мы полагаем, что крайне важно понять, как и когда мы можем утратить отслеживаемость.

Мы рассматриваем цепочку рассуждений как дополнение к механистической интерпретируемости, а не как её замену. Как и все известные методы управления и интерпретации, каждый из них имеет свои ограничения и слабые места. Мы ожидаем, что сочетание нескольких подходов — стратегия глубокой обороны— может помочь закрыть пробелы, которые оставляет любой метод по отдельности. Примечательно, что оценки, представленные в этой работе, также могут быть использованы для оценки и сравнения методов мониторинга, основанных на механистической интерпретируемости.

Поскольку мы полагаем, что мониторинг цепочки рассуждений может стать несущим слоем в масштабируемой системе управления, мы намерены расширить эти оценки и использовать их для принятия будущих решений по моделированию и данным.