추론 모델은 자신의 사고 과정을 완전히 제어하지 못하며, 이는 오히려 바람직한 신호입니다.

AI 에이전트가 점점 더 복잡하고 자율적인 작업을 수행할 수 있게 될수록, 그 행동을 신뢰할 수 있게 감독하는 일은 더욱 중요해집니다. 우리는 점진적 배포 원칙에 따라, 시스템이 실제 환경에서 어떻게 작동하는지 연구하고, 역량이 발전함에 따라 안전장치를 지속적으로 개선합니다. 이를 위해 우리의 안전 접근 방식⁠은 심층 방어(defense-in-depth) 전략을 사용합니다. 안전 학습⁠, 행동 평가⁠, 에이전트 기반 코드 리뷰⁠(새 창에서 열기), chain-of-thought(CoT) 모니터링⁠처럼 서로 보완적인 여러 방어 계층을 두는 방식입니다. CoT 모니터링은 에이전트가 작업을 수행하는 동안 생성하는 추론 단계를 분석합니다. 이러한 추론 기록은 학습과 배포 단계 모두에서 유용한 지표를 제공해, 모니터링 시스템이 에이전트의 행동이 안전하지 않거나 사용자의 의도와 어긋날 수 있는 순간을 찾아내는 데 도움을 줍니다.

현재로서는 모델의 추론 과정이 대체로 해석 가능하며, 모니터링하기도 쉽습니다⁠. 하지만 앞으로는 여러 다양한 이유⁠(새 창에서 열기)로 모니터링 가능성이 저하될 수 있습니다. 여기서는 그중 한 가지 경로에 집중합니다. 에이전트가 자신이 모니터링되고 있다는 사실을 알 때, 의도적으로 자신의 추론을 바꾸거나 흐리게 만들 수 있게 된다면, 평가가 시스템의 정렬(alignment)이나 안전성을 과대평가할 수 있고, 모니터링 시스템의 신뢰성도 떨어질 수 있습니다.

이번 연구에서는 현재의 추론 모델이 모니터링 가능성을 낮추는 방식으로 자신의 chain-of-thought(CoT) 를 제어할 수 있는지 살펴봅니다. 이 역량을 이해하는 일은, AI 시스템의 역량이 커지더라도 CoT 모니터링이 견고한 안전장치로 남을 수 있는지 확인하는 데 중요합니다. 우리는 현재의 추론 모델들이, 모니터링되고 있다고 알려줘도, 자신의 CoT를 제어하는 데 어려움을 겪는다는 사실을 발견했습니다. 더 큰 모델일수록 제어 가능성은 높지만, 더 오래 추론하도록 요구하거나 추가적인 사후 학습을 거치면 제어 가능성은 떨어집니다. 우리의 결과는, 현재로서는 CoT 제어 가능성이 CoT 모니터링 가능성에 중대한 위험을 초래할 가능성이 낮다는 점을 시사하지만, 모델이 발전함에 따라 지속적인 평가가 중요하다는 점도 보여줍니다.

chain-of-thought는 AI 에이전트가 과제를 해결하는 동안 생성하는 중간 추론 단계를 뜻합니다. 이러한 추론 기록은 유용한 안전 신호를 제공해, 모니터링 시스템이 에이전트의 행동이 안전한지, 정렬되어 있는지를 평가하는 데 도움을 줍니다.

CoT 제어 가능성은 추론 모델이 모니터링 가능성을 떨어뜨리는 방식으로 자신의 CoT 속성을 제어할 수 있는 능력을 말합니다. 실제 환경에서 예상되는, 모니터를 회피하려는 다양한 유인 전체를 아우르는 방식으로 이 능력을 측정하는 것은 어렵습니다. 대신 우리는 실용적인 대리 지표를 사용합니다. 모델이 자신의 CoT에 관한 사용자 지시를 얼마나 잘 따르는지 측정하는 것입니다. 예를 들어, 눈에 보이는 출력만 바꾸는 것이 아니라, 내부 추론에 영향을 미치는 지시—소문자만 사용하기, 특정 키워드를 피하기, 특정 문구를 덧붙이기 등—를 모델이 얼마나 잘 따르는지 테스트합니다.

이를 연구하기 위해 우리는 추론 모델의 CoT 제어 가능성을 측정하는 오픈소스 평가 모음인 CoT-Control을 소개합니다. CoT-Control에는 GPQA, MMLU-Pro, HLE, BFCL, SWE-Bench Verified⁠ 같은 기존 벤치마크를 기반으로 만든 13,000개 이상의 과제가 포함되어 있습니다. 각 과제는 하나의 벤치마크 문제에, CoT에서 특정 문제 관련 키워드를 피하기, 소문자만 사용하기, 각 문장에 주어진 단어를 덧붙이기 같은 CoT 지시 하나를 짝지어 만듭니다.

우리는 13개의 추론 모델을 평가한 결과, 모두 자신의 CoT를 안정적으로 제어하는 데 어려움을 겪는다는 사실을 발견했습니다. 우리는 CoT 제어 가능성을, 모델이 CoT 지시를 성공적으로 따르는 추론 기록의 비율로 측정했습니다. 최첨단 모델 전반에서 CoT 제어 가능성 점수는 낮았으며, 0.1%에서 시작해 우리가 테스트한 어떤 현재 최전선 모델도 15.4%를 넘지 못했습니다.

이런 한계는 과제를 이해하지 못해서 생기는 것이 아닙니다. 모델은 CoT 안에서 자신이 받은 CoT 지시를 지키지 못하고 있다는 사실을 자주 인식하지만, 그 사실을 깨달은 뒤에도 계속 실패합니다. 놀라울 정도로 낮은 이 성능은 CoT 모니터링 가능성 측면에서는 좋은 소식입니다. 모델이 모니터를 피하기 위해 자신의 추론을 숨기거나 왜곡하는 능력도 비슷하게 부족할 수 있음을 시사하기 때문입니다.

우리는 제어 가능성이 모델 규모와 함께 증가한다는 점도 관찰했지만, 사후 학습과 테스트 시 연산량이 늘어날수록 빠르게 감소한다는 사실도 발견했습니다. 두 개의 오픈 웨이트 모델 계열을 살펴보면, 더 큰 모델이 자신의 chain-of-thought를 다소 더 잘 제어했지만, 이 효과는 더 큰 규모에서는 줄어들었습니다. 반면, 모델이 긴 추론을 수행하도록 하면, 그 chain-of-thought를 제어하는 능력은 오히려 떨어졌습니다. OLMo-3-7B-RL-Zero-Math의 RL 학습에서도 비슷한 경향을 보았습니다. 학습이 진행되는 동안 이 모델의 제어 가능성 점수는 10배 이상 감소했습니다.

오픈 웨이트 모델에서는 규모가 커질수록 제어 가능성이 증가하지만, 추론이 길어지고 RL 학습이 많아질수록 제어 가능성은 떨어집니다.

현실적인 모니터 회피 유인을 모사하기 위해, 우리는 모델에게 자신이 모니터링되거나 평가되고 있다고 알려줬을 때의 제어 가능성을 측정했습니다. 이는 제어 가능성을 약간이지만 눈에 띄게 높였습니다. 또한 자동 프롬프트 최적화를 사용해, 높은 제어 가능성을 이끌어내는 프롬프트를 찾았습니다. 최적화기는 학습 세트에서는 제어 가능성을 높일 수 있었지만, 단어 사이 공백을 없애라는 것처럼 새로운 지시 유형으로는 이런 향상이 잘 옮겨가지 않았습니다.

CoT-Control의 과제는 실용적인 대리 지표입니다. 이상적인 CoT 제어 가능성 평가는, 자연스럽게 정렬되지 않은 목표를 추구하는 모델이 모니터링을 피하기 위해 자신의 CoT를 제어할 수 있는지를 테스트하는 것입니다. 대신 우리는, 에이전트가 자신의 CoT에 관한 지시를 얼마나 잘 따르는지를 측정해 CoT 제어 능력을 추정합니다. 또한 모델은 CoT의 일부 특징은 다른 특징보다 더 잘 제어할 수 있고, CoT-Control은 제한된 유형의 제어만 측정하기 때문에 제어 가능성을 과대 혹은 과소 추정하고 있을 수 있습니다.

낮은 CoT 제어 가능성은 문제가 아니라 하나의 특징입니다. 현재 추론 모델의 낮은 제어 가능성은 CoT 모니터링을 더 신뢰할 수 있는 안전장치로 만들어 줍니다. 동시에, 왜 현재 추론 모델의 제어 가능성이 낮은지, 그리고 모델의 역량이 커져도 이 특성이 유지될지는 아직 잘 알지 못합니다. 따라서 CoT 제어 가능성 평가는, 모델이 자신의 추론을 바꾸거나 숨기는 능력이 향상되고 있는지를 알려주는 조기 경보 지표(canary eval)로 볼 수 있습니다.

우리의 결과는, 현재로서는 CoT 제어 가능성이 CoT 모니터링 가능성에 중대한 위험을 초래할 가능성이 낮다는 점을 시사합니다. 그러나 낮은 제어 가능성만으로 높은 모니터링 가능성이 보장되지는 않습니다. CoT에 대한 직접적인 최적화 압력처럼 다른 메커니즘으로 인해 모니터링 가능성이 떨어질 수도 있기 때문입니다.

이러한 동학을 장기적으로 추적하기 위해, 우리는 앞으로 나올 최첨단 모델의 시스템 카드에서, GPT‑5.4 Thinking부터 시작해, CoT 모니터링 가능성⁠과 함께 CoT 제어 가능성을 보고할 예정입니다. 이는 최첨단 추론 모델의 CoT에 직접적인 최적화 압력을 가하지 않겠다는 우리의 지속적인 약속⁠을 바탕으로 합니다.