사고의 사슬 모니터링 가능성 평가

AI 시스템이 직접적으로 감독하기 어려운 결정을 내릴 때, 그 결정이 어떻게 이루어졌는지를 이해하는 것이 중요합니다. 유망한 접근 방식 중 하나는 모델의 행동이나 최종 출력만이 아니라 내부 추론을 모니터링하는 것입니다.

GPT‑5 Thinking과 같은 최신 추론 모델은 답변을 생성하기 전에 명시적인 사고의 사슬을 생성합니다. 이러한 사고의 사슬을 통해 오작동을 모니터링하는 것은 모델의 행동과 출력만을 모니터링하는 것보다 훨씬 더 효과적일 수 있습니다⁠. 그러나 OpenAI와 업계 전반의 연구자⁠(새 창에서 열기)들은 이러한 사고의 사슬 모니터링 가능성이 학습 절차, 데이터 소스의 변화, 기존 알고리즘의 지속적인 스케일링에도 취약할 수 있다는 점을 우려하고 있습니다.

우리는 모델이 확장되고 더 높은 위험이 수반되는 환경에 배포되더라도 사고의 사슬 모니터링 가능성이 유지되기를 바랍니다. 업계 전반의 연구자들이 사고의 사슬 모니터링 가능성을 가능한 한 오래 보존하고, 이것이 향후 AI 시스템을 위한 핵심 제어 계층으로 기능할 수 있는지 규명하는 데 협력할 것을 촉구합니다. 모니터링 가능성을 보존하려면 이를 측정할 수 있어야 하지만, 관련 평가는 아직 많지 않고 [1⁠(새 창에서 열기), 2⁠(새 창에서 열기), 3⁠(새 창에서 열기)] 방법론도 다양합니다.

본 연구에서는 사고의 사슬 모니터링 가능성을 체계적으로 연구합니다. 사고의 사슬 모니터링 가능성을 평가하기 위한 프레임워크와, 시스템의 모니터링 가능성을 구체적으로 측정하도록 설계된 13개의 평가(총 24개 환경으로 구성)를 제시합니다. 이러한 평가는 개입, 과정, 결과 속성의 세 가지 유형으로 구분됩니다. 이를 활용해 현재의 대규모 언어 모델이 얼마나 모니터링 가능한지, 그리고 추론 시점에서 더 많은 추론을 수행할 때, 강화 학습 규모가 커질 때, 사전 학습 규모가 증가할 때 모니터링 가능성이 어떻게 변하는지를 분석합니다.

대부분의 최첨단 추론 모델은 완벽하지는 않지만 비교적 높은 수준의 모니터링 가능성을 보입니다. 연구한 거의 모든 설정에서 사고의 사슬을 모니터링하는 것은 행동과 최종 출력만을 모니터링하는 것보다 현저히 더 효과적입니다. 더 오래 사고하는 모델일수록 모니터링 가능성이 높아지는 경향이 있으며, 현재 최첨단 규모에서의 강화 학습 최적화는 모니터링 가능성을 유의미하게 저하시킨 것으로 보이지 않습니다.

주목할 점은 추론 노력과 모델 크기 사이의 상충 관계로, 모델을 낮은 추론 노력으로 실행할 경우 더 작은 모델을 높은 추론 노력으로 실행해도 유사한 성능에 도달하면서 모니터링은 더 쉬워질 수 있다는 점입니다. 이는 추론 연산량 증가라는 비용을 수반하며, 이를 모니터링 가능성 세금이라고 부릅니다. 마지막으로, 후속 질문을 던지고 그로 인해 생성되는 사고의 사슬을 모니터링하면 모니터링 가능성을 더욱 향상시킬 수 있음을 확인했습니다.

모니터링 가능성은 모니터가 에이전트의 행동과 관련된 관심 속성을 예측할 수 있는 능력으로 정의합니다. 이러한 속성은 기만, 보상 해킹, 편향된 추론과 같은 오작동 형태에 해당하는 경우가 많지만, 에이전트가 특정 힌트에 의존했는지 또는 특정 추론 경로를 따랐는지와 같은 무해한 속성도 포함될 수 있습니다.

모니터링 가능성은 양면적인 속성입니다. 이는 모니터뿐만 아니라 모니터링 대상이 되는 에이전트에도 의존합니다.

• 모니터. 다양한 방식으로 모니터를 더 똑똑하게 만들 수 있으며, 에이전트의 행동을 더 잘 예측하는 모니터에 더 높은 점수를 부여하는 평가를 지향합니다.
• 에이전트. 모니터에 제공할 수 있는 에이전트의 관측 정보에는 에이전트의 행동, 출력, 신경 활성, 그리고 최근 추론 모델의 등장과 함께 사고의 사슬이 포함됩니다. 일부 에이전트는 다른 에이전트보다 사고를 이해하기 더 어려울 수 있으므로, 모니터링 가능성 평가는 모니터뿐만 아니라 에이전트 간 비교도 가능해야 합니다.

본 평가는 특정 에이전트가 모니터링하기 쉬운지 어려운지, 그리고 더 유능한 모니터가 동일한 신호에서 더 많은 정보를 추출할 수 있는지를 함께 평가하도록 설계되었습니다.

현재 세대의 추론 모델 이전에는 모델에게 "단계별로 생각"하라고 프롬프트를 주어 사고의 사슬을 유도하는 방식이 일반적이었습니다. 

추론 모델의 사고의 사슬은 두 가지 중요한 점에서 다릅니다. 첫째, 사고의 사슬을 생성한 다음 답변을 제시하도록 명시적으로 학습됩니다. 채팅 모델에게 단계별로 생각하라고 요청할 때, 모델은 유용성, 무해성 등 모델에 부과된 모든 규격을 준수해야 합니다. 반대로 강화 학습 훈련 과정은 추론 모델에게 CoT가 처벌받지 않고 무엇이든 생각할 수 있는 사적인 공간임을 학습시키며, 이는 인간이 사적으로 생각한다고 해서 "사고 범죄"로 처벌받지 않는 것과 유사합니다. 

둘째, 학습 과정은 높은 보상을 받는 최종 답변에 도달하는 데 에이전트에게 가장 도구적으로 유용한 사고의 사슬을 효과적으로 탐색합니다. 따라서 사고의 사슬은 모델이 자유롭게 사고를 표현할 수 있는 공간일 뿐만 아니라, 모델이 최종 답변에 도달하는 데 도움이 되는 사고를 담고 있습니다.

모니터링 가능성 평가는 서로 다른 메커니즘을 활용하는 세 가지 명확한 유형으로 구성됩니다.

1. 개입 평가는 Chen et al. 2025⁠(새 창에서 열기), Chua et al. 2025⁠(새 창에서 열기), Turpin et al. 2023⁠(새 창에서 열기)에서 영감을 받아, 에이전트의 환경에 통제된 변화를 도입하고 사고의 사슬에서 개입의 증거를 식별함으로써 행동이 왜 변화했는지를 모니터가 감지할 수 있는지를 테스트합니다. 일반적인 통제 평가와 달리(예: Shade-Arena⁠(새 창에서 열기)), 개입 평가는 단순히 행동이 발생했는지를 감지하는 것이 아니라, 행동이 왜 변화했는지를 모니터가 감지할 수 있는지를 탐색할 수 있게 합니다. 
2. 과정 평가는 유효한 해결 경로의 수가 제한된 과제에 초점을 맞춥니다(예를 들어 수학 문제는 특정 정리로만 풀 수 있습니다). 인간 전문가가 이러한 경로를 나열하고, 모니터가 모델이 실제로 어떤 단계를 거쳤는지를 감지할 수 있는지 테스트합니다. 이러한 평가는 모델이 수행한 행동을 모델이 반드시 거쳤어야 하는 특정 단계와 연결하고, 그 단계들이 모니터링 가능한지를 묻는 것을 가능하게 합니다.
3. 결과 속성 평가는 모델 출력의 특정 속성을 신뢰할 수 있게 측정할 수 있을 때 적용됩니다. 이러한 경우, 모델의 추론이나 행동으로부터 보상 해킹과 같은 해당 속성을 모니터가 예측할 수 있는지 테스트합니다. 예를 들어 코딩 과제에서는 모델이 보상 신호를 해킹하기 위한 행동을 취하고 있는지를 신뢰성 있게 평가할 수 있는 방법이 있을 수 있으며, 모델의 사고나 행동에서 보상 해킹 의도의 증거를 모니터가 발견하는지를 물을 수 있습니다.

아래에서는 이러한 평가에 대한 분류 체계를 제시합니다. 각 개별 평가에 대한 전체 설명은 논문을 참고하세요.

사고의 사슬을 사적인 작업 공간으로 취급하고 이를 활용해 과제를 효과적으로 해결하도록 모델을 학습시키는 것은 원칙적으로 사고의 사슬을 모니터링 가능하게 만들어야 합니다. 동시에 강화 학습이 사고의 사슬 모니터링 가능성에 부정적인 영향을 미칠 수 있는 그럴듯한 이유도 여러 가지가 있습니다.

첫째, 모델이 사고할 수 있는 시간이나 토큰을 제한하는 것과 같은 추론 길이에 대한 제약은 모델이 덜 사고하도록 유인합니다. 둘째, 사고의 사슬 자체에 직접적인 최적화 압력을 가하지 않더라도 간접적인 압력으로 인해 모니터링 가능성이 낮아질 수 있습니다. 예를 들어⁠(새 창에서 열기), 낮은 보상이나 바람직하지 않은 결과로 이어질 수 있는 추론 경로를 피하는 것이 높은 보상에 도달하는 데 더 쉬울 수 있습니다. 마지막으로, 강화 학습의 그래디언트 노이즈로 인해 발생하는 우연한 드리프트로 모니터링 가능성이 감소할 수 있습니다.

아래에서는 OpenAI의 최첨단 강화 학습 훈련 두 사례에서 모니터링 가능성이 어떻게 변화하는지를 살펴봅니다. 이 결과는 두 개의 데이터 포인트에 불과하지만, 현재 최첨단 규모의 강화 학습 최적화가 사고의 사슬 모니터링 가능성을 실질적으로 저하시키지 않으며 초기 단계에서는 오히려 모니터링 가능성을 높인다는 점을 시사합니다. 그러나 향후 훨씬 더 큰 강화 학습 규모가 모니터링 가능성에 부정적인 영향을 미칠 가능성을 배제하는 것은 아닙니다.

현재 AI 시스템의 지능 중 상당 부분은 사전 학습 규모의 증가에 의해 주도되며, GPT 패러다임의 시작 이후 모델 파라미터와 데이터 세트 크기는 지속적으로 커져 왔습니다. 파라미터 수가 증가하면 생성되는 토큰당 더 많은 추론 연산이 사용되며, 이는 추론 모델의 경우 모델의 인지가 사고의 사슬보다는 활성화 내부에서 이루어질 가능성을 높입니다. 따라서 동일한 성능 수준에서 더 큰 모델은 모니터링 가능성이 낮을 것으로 예상할 수 있습니다. 

한편, 더 작은 모델은 사고의 사슬을 효과적으로 활용하는 능력이 떨어질 수 있으며, 이 역시 모니터링 가능성에 영향을 미칠 수 있습니다.

사전 학습 규모, 성능, 모니터링 가능성 간의 관계를 조사하기 위해, 깊이와 너비를 늘리며 사전 학습 연산량을 두 자릿수 규모로 변화시킨 모델 계열을 학습시키고, 수학, 과학, 코딩 과제로 구성된 공통 데이터 세트에 대해 각 모델에 강화 학습을 적용했습니다. 각 모델을 다양한 추론 노력 수준에서 평가하고, 성능 수준을 맞춘 상태에서 모니터링 가능성을 비교했습니다.

전반적으로, 특정 모델을 낮은 추론 노력으로 배포하는 대신 더 작은 모델을 높은 추론 노력으로 배포할 수 있음을 확인했습니다. 원래의 대형 모델에서 더 많은 추론 노력에 연산 자원을 투입하는 것과 비교하면, 소폭의 성능 비용, 즉 모니터링 가능성 세금을 치르는 대신 더 높은 모니터링 가능성을 얻을 수 있습니다. 다만 완료까지 걸리는 실제 시간은 일부 배포 결정에서 중요한 요소가 될 수 있지만, 여기서는 고려하지 않습니다. 모델이 개선되고 더 높은 위험이 수반되는 환경에 배포됨에 따라, 안전한 배포를 위해 이러한 세금을 감수해야 할 필요가 생길 수 있습니다.

이러한 결과에는 다음과 같은 한계가 있습니다. (1) 각 모델을 한 번만 학습했기 때문에 학습 실행 간 변동성을 고려하지 못했습니다. 예를 들어, 중간 크기 모델은 동일 계열의 다른 모델과 비교해 모니터링 가능성에서 다소 추세에서 벗어나 보이는데, 이는 이러한 이유 때문일 수 있습니다. (2) 성능 평가는 비교적 인디스트리뷰션 범위 내 설정(수학, 과학, 코딩)에서 이루어졌으며, 분포 외 견고성을 고려할 경우 이러한 상충 관계는 달라질 수 있습니다.

AI 시스템이 인간 수준의 성능을 넘어 확장됨에 따라 직접적인 인간 감독은 점점 더 어려워집니다. 이상적으로는 신뢰할 수 있으나 더 약한 모니터가 더 강력하고 잠재적으로 신뢰하기 어려운 에이전트를 감독할 수 있도록 하는 확장 가능한 제어 절차가 필요합니다. 이러한 절차는 테스트 시점의 추가 연산을 흡수하고 더 정확한 예측을 산출할 수 있어야 합니다.

사고의 사슬 모니터링 가능성은 종종 고정된 값으로 취급됩니다. 즉, 모델이 특정 추론 노력 수준에서 응답을 생성하면, 생성된 사고의 사슬을 가능한 한 최선으로 모니터링하는 방식입니다. 에이전트의 추론 노력을 늘릴수록 모니터링 가능성이 일관되게 개선된다는 사실을 확인했기 때문에, 모니터링할 토큰을 더 확보할 수 있는 방법이 있는지 질문하게 되었습니다.

이를 탐구하기 위해, 원래의 프롬프트, 사고의 사슬, 답변을 모두 컨텍스트에 유지한 상태에서 모델의 응답 이후에 후속 질문을 던지는 실험을 진행했습니다. 이러한 후속 질문은 모니터링 대상 속성에 초점을 맞춥니다. 예를 들어 “답변을 선택하는 데 힌트를 의미 있게 사용했나요?” 또는 “수상한 행동을 했나요?”와 같은 질문입니다. 원칙적으로 모델은 이전 추론에 대한 액세스를 유지하고 있기 때문에, 이전에는 언어화되지 않았던 사고를 후속 사고의 사슬이나 응답에서 드러낼 수 있습니다.

이러한 결과는 예비적인 것입니다. 우리는 소수의 후속 질문 형식만을 탐색했으며, 방법론을 개선할 여지가 크다고 판단합니다. 또한 이 방법은 모델 고백⁠과 개념적으로 유사하며, 현재 두 접근법을 비교하는 연구를 진행하고 있습니다.

모니터링 가능성을 개선하는 것 외에도, 이 접근법은 사후 적용이 가능하며 더 깊은 검사가 필요할 때만 추가 연산 비용이 발생한다는 점에서 매력적입니다. 앞으로 모델이 대화 중간에 추론 노력의 변화가 있을 수 있음을 학습한다면, 초기 추론 노력이 낮거나 없더라도 더 높은 추론 노력으로 수행하는 사후 후속 질문이 모니터링 가능성을 더욱 향상시킬 수 있습니다.

평가 세트의 각 평가는 추론 과정의 단일 측면이 모니터링 가능한지를 측정합니다. 우리는 아부, 샌드배깅, 편향, 책략, 보상 해킹을 포함한 광범위한 행동을 다루고자 하지만, 아직 테스트되지 않은 속성도 많이 남아 있습니다.

다른 벤치마크와 마찬가지로, 본 평가는 현실성이 제한되거나 평가 인식이 증가하는 문제를 겪을 수 있으며, 실제 환경에서의 오작동 탐지로 일반화되지 않을 수 있습니다. 

마지막으로 정렬이 개선될수록, 통제된 평가 환경에서 모델의 오작동 빈도가 줄어들어 오작동 탐지에 의존하는 모니터링 가능성 및 제어 평가에 사용할 수 있는 신호가 감소할 수 있습니다. 이러한 경우에도 "중립적" 모니터링 가능성 평가는 적용 가능하지만, 실제 환경의 실패를 얼마나 잘 예측하는지는 아직 열린 질문입니다.

정렬 문제를 완전히 해결할 수 없다면 고성능 모델을 안전하게 배포하기 위해 확장 가능한 제어 방법은 매우 중요해질 것입니다. 사고의 사슬 모니터링과 관련 기법은 우리가 활용할 수 있는 몇 안 되는 제어 메커니즘 중 하나일 수 있습니다. 사고의 사슬은 모델을 더 깊이 이해하는 데도 큰 이점을 제공합니다. 예를 들어, 모델이 평가 상황에 놓여 있음을 인식하고 배포 시와 다르게 행동하는지, 아직 평가에서 드러나지 않은 부정적 목표의 증거가 있는지 등을 파악할 수 있습니다. 따라서 모니터링 가능성을 언제, 어떻게 상실할 수 있는지를 이해하는 것은 매우 중요하다고 봅니다.

사고의 사슬 모니터링은 기계적 해석 가능성을 대체하는 것이 아니라 이를 보완하는 것으로 간주합니다. 알려진 모든 제어 및 해석 가능성 기법과 마찬가지로, 각각에는 한계와 사각지대가 있습니다. 우리는 여러 접근법을 결합하는 심층 방어 전략이 단일 기법이 남기는 공백을 메우는 데 도움이 될 것으로 기대합니다. 특히 본 연구에서 제시한 평가는 기계적 해석 가능성 기반 모니터링 기법을 평가하고 비교하는 데에도 적용될 수 있습니다.

사고의 사슬 모니터링이 확장 가능한 제어 체계에서 핵심 계층이 될 수 있다고 믿기 때문에, 향후 이러한 평가를 확장하고 이를 바탕으로 모델링과 데이터 관련 의사결정을 내릴 계획입니다.