언어 모델이 고백을 통해 정직성을 유지하는 방법

AI 시스템의 능력이 높아질수록 답을 도출하는 과정과 그 이유까지 더 깊이 이해할 필요가 생깁니다. 모델이 때로는 지름길을 택하거나 잘못된 목표에 맞춰 최적화하더라도 최종 출력은 겉보기엔 정상처럼 보일 수 있습니다. 이런 순간을 분명하게 드러낼 수 있다면 실제 서비스 중인 시스템을 더 효과적으로 모니터링하고 훈련 과정을 개선하며 결과물에 대한 신뢰를 높일 수 있습니다.

OpenAI를 비롯한 여러 기관의 연구에서 AI 모델이 환각⁠을 일으키거나 보상 체계를 악용하고 부정확한 답변을 생성할 수 있음이 확인되었습니다. 현 시점에서 의도적 기만⁠(새 창에서 열기)처럼 가장 우려되는 오작동은 스트레스 테스트나 적대적 평가에서만 드러나는 수준입니다. 그러나 모델의 능력과 자율성이 높아질수록 드물게 일어나는 불일치조차 큰 문제로 이어질 수 있기 때문에 OpenAI는 이러한 위험을 더 정확히 탐지하고 이해하며 완화할 수 있는 방법을 찾기 위해 계속해서 투자하고 있습니다. 

OpenAI 팀이 진행한 이번 연구는 모델이 바람직하지 않은 행동을 했을 때 이를 명확히 인정하도록 훈련하는 방식인 고백(confessions) 기법을 탐구합니다.

고백은 사용자에게 제공되는 본 답변과는 별도로 생성되는 두 번째 출력입니다. 본 답변은 정확성, 표현 방식, 유용성, 정책 준수, 안전성 등 여러 기준으로 평가되며 모델은 이렇게 다양한 신호를 기반으로 더 나은 답변을 생성하도록 훈련됩니다. 반면 고백은 오직 정직성 하나만을 기준으로 평가되고 훈련됩니다. 고해성사 구조에서 착안하여 고백에 담긴 내용은 훈련 과정에서 모델에게 불리하게 작용하지 않습니다. 모델이 테스트를 악용했거나 성능을 일부러 낮췄거나 지시를 위반했다는 사실을 솔직히 인정할수록 오히려 더 높은 보상을 받습니다. 이 기법의 목표는 모델이 실제 수행한 행동을 숨기지 않고 정확하게 보고하도록 만드는 것입니다. 

실험 결과, 이 고백 기법은 모델의 잘못된 행동을 훨씬 명확하게 드러내는 데 도움이 되는 것으로 나타났습니다. 의도적으로 오작동을 유도하는 평가의 결과를 검토했을 때 지시를 따르지 않았음에도 고백하지 않는 ‘위음성’의 확률은 4.4%에 불과했습니다.

위 도표는 여러 적대적 데이터셋에서 수행한 실험을 통해 개념 증명 단계의 고백 모델이 어느 정도의 정확도를 보였는지 나타냅니다. 결과는 지시를 따르고 고백하지 않은 경우(진음성), 지시를 따르고 고백한 경우(위양성), 지시를 따르지 않고 고백하지 않은 경우(위음성), 지시를 따르지 않고 고백한 경우(진양성) 네 가지로 구분됩니다.

고백은 모델이 주어진 명시적·암묵적 지침을 제대로 따랐는지, 그리고 그 과정에서 편법을 쓰거나 평가 체계를 악용했는지, 정책을 어겼는지, 기대에 미치지 못한 부분이 있었는지를 스스로 점검해 보고하는 과정입니다. 연구 결과, 모델이 이러한 부족함을 솔직하게 드러내도록 훈련하는 것이 가능하다는 점이 확인되었습니다. 이번 연구에서는 GPT‑5 Thinking의 한 버전에 고백 기능을 학습시킨 뒤 속임수, 해킹, 지시 위반, 환각 같은 행동을 유도하도록 설계된 훈련 범위 밖 스트레스 테스트 데이터셋으로 이를 평가했습니다. 평가 결과, 모델이 바람직하지 않은 행동을 실제로 수행했을 때 이를 고백할 가능성이 높다는 점이 드러났습니다. 위 도표는 고백 방식이 다양한 데이터셋과 작업 전반에서 효과적으로 기능함을 보여줍니다.

사용자와 모델의 상호작용이 모델의 답변으로 끝난 후 모델에 시스템 메시지를 보내 고백을 요청할 수 있습니다. 이 보고서는 모델이 마지막으로 생성한 답변을 대상으로 하며, (1) 해당 답변이 충족해야 했던 모든 명시적·암묵적 지시와 제약, 목표의 목록 (2) 각 목표를 실제로 충족했는지에 대한 솔직하고 객관적인 분석 (3) 답변을 생성하는 과정에서 모델이 겪은 불확실성, 모호함, 판단이 어려웠던 지점에 대한 설명이 포함됩니다. 훈련 과정에서 고백은 별도의 보상 모델로 평가되며 이 보상 모델은 목표 충실도, 정책 준수 분석의 정확성, 불확실성의 포착 정도만을 기준으로 점수를 산정합니다. 이 보상은 오직 고백 출력에만 적용되며 본 답변의 보상에는 영향을 주지 않습니다. 앞서 설명했듯이 고백에 포함된 내용은 본 답변의 보상에 불이익(또는 혜택)을 주지 않도록 보장됩니다.

고백 기법의 이론적 배경은 단순합니다. 바람직하지 않은 모델 행동은 모델이 사용자 요구에 맞춰 여러 목표를 동시에 최적화해야 하는 상황에서 나타납니다. 강화학습에서는 모델이 프롬프트를 보고 답변을 생성한 뒤 보상을 받기 때문에, 시간이 지나면서 보상을 잘 받는 방향으로 학습이 이루어집니다. 문제는 이 보상 신호가 여러 요소를 동시에 반영해야 한다는 점입니다. 답변의 정확성, 유용성, 제품 기준 및 정책 준수 여부, 안전성 충족, 사용자 선호 반영 등 다양한 기준이 함께 작용하며 이 신호들이 서로 얽히면 모델이 의도치 않은 행동을 학습할 가능성이 생깁니다.

예를 들어 환각⁠ 관련 연구에서는 일부 데이터셋이 불확실성을 솔직히 인정하는 답변보다 자신 있게 추측한 답변에 더 높은 보상을 주는 경향이 있음이 확인되었습니다. 아부⁠ 현상 연구에서는 사용자 선호 신호가 지나치게 강하면 모델이 과도하게 맞장구치는 경향이 생길 수 있다는 점이 드러났습니다. 또 다른 연구⁠(새 창에서 열기)에서는 모델이 보상 체계의 허점을 찾아 실제로 의도한 작업을 수행하지 않고도 높은 점수를 얻는 ‘보상 해킹’이 가능하다는 사실도 확인되었습니다. 이런 지름길은 실제 배포 환경에서 더 큰 문제로 이어질 위험이 있습니다⁠(새 창에서 열기).

고백 기법은 모델 답변에서 목표를 완전히 분리함으로써 이러한 문제를 예방합니다. 본 답변은 기존과 마찬가지로 여러 요소를 종합적으로 최적화하지만 고백은 오직 정직성 하나만을 기준으로 평가됩니다. 고백에 담긴 내용은 모델에게 불이익이 되지 않으며 본 답변의 보상에도 영향을 주지 않습니다. 따라서 모델이 본 답변에서 속임수를 쓰거나 지름길을 택했더라도 고백에서는 이를 솔직하게 밝힐 유인이 유지됩니다. 실제 실험에서도 모델이 본 답변에서 숨긴 행동을 고백에서는 드러내는 경향이 관찰되었습니다. 고백이 실패하는 경우는 대체로 악의적 속임수가 아니라 지시가 모호했거나 모델이 자신의 실수를 인지하지 못해 혼란이 생긴 상황이었습니다. 특히 초기 결과에 따르면 본 답변을 사고 과정의 표현 없이 생성했을 때도 고백의 정직성은 유지되는 것으로 보였습니다. 이는 고백의 신뢰성이 내부 판단 과정의 노출 여부에 의존하지 않는다는 사실을 시사하며, 향후 다른 모델 구조에서도 활용될 수 있음을 보여줍니다.

고백 훈련은 지침 준수 여부를 판단할 기준 정보가 없어도 가능합니다. 여기서 ‘기준 정보’란 모델이 지시를 따랐는지, 또는 위반했는지를 외부에서 확정적으로 판단할 수 있는 근거를 말합니다. 실제 작업에서는 이러한 정보가 없는 경우가 많습니다. 애초에 모델이 규칙을 어겼다는 사실을 확실히 알 수 있다면 고백에 의존하지 않고 직접 페널티를 부여하여 문제를 해결할 수 있을 것입니다. 고백 기법에서는 모델이 스스로 수행했다고 판단한 행동을 구조화해 근거 있는 설명으로 제시할 때 보상을 받습니다. 연구진은 이러한 설정에서 정직성이 자연스럽게 나타나는 경향이 있다고 보고합니다. 모델에게는 심사를 통과할 만큼 그럴듯한 거짓 서사를 꾸미는 것보다 사실을 기반으로 설명하는 편이 훨씬 쉽기 때문입니다. 논문은 이러한 핵심 가정과 함께 고백이 실패하는 경우, 즉 위음성과 위양성이 어떤 상황에서 발생하는지도 다룹니다.

논문은 고백 기법의 효과를 보여주는 초기 근거를 제시하지만 이를 결정적인 증거로 보기는 어렵습니다. 이번 연구에서는 최첨단 모델(GPT‑5 Thinking)을 활용했으나 실험 규모가 크지 않았고 계산량과 데이터도 제한적이었습니다. OpenAI 팀은 앞으로 연구를 확장해 고백 훈련을 대규모로 적용했을 때도 정직성이 유지되는지 검증할 계획입니다.

OpenAI 연구진은 실험의 일환으로, 더 약한 모델을 이용해 의도적으로 ‘해킹 가능한’ 보상 신호를 만들고 이를 기반으로 고백 모델을 훈련했습니다. 이 보상 신호는 본 답변 보상과 고백 보상 모두에 적용되었습니다. 모델은 약한 보상 체계를 빠르게 악용하는 법을 익혔고, 그 결과 약한 모델의 평가에서는 겉보기 정확도가 높아졌지만 더 강력한 평가자가 판단한 실제 정확도는 오히려 떨어졌습니다.

그러나 동일하게 약한 보상 신호로 훈련된 고백 채널은 정반대의 방향으로 변화했습니다. 모델은 고백 보상을 높이는 가장 효과적인 방법이 본 답변에서 보상 해킹을 했을 때 이를 솔직하게 인정하는 것임을 학습했습니다. 그 결과 본 답변의 정확도는 점차 낮아졌지만 고백의 정확도는 오히려 시간이 지날수록 높아졌습니다.

논문⁠(새 창에서 열기)에는 이 밖에도 다양한 실험과 결과가 제시되어 있습니다. 연구진은 고백 기법을 적용해 학습한 모델과 동일한 방식으로 학습하되 고백 채널이 없는 대조 모델을 비교했으며, 고백이 실패한 사례들도 함께 분석했습니다. 이러한 실패 사례 대부분은 모델이 실제로 혼란을 겪은 상황, 즉 지시가 모호했거나 자신의 실수를 인지하지 못했을 때 발생한 것으로 나타났습니다. (상기 위음성 예시⁠ 참고)

고백 방식에도 한계가 있습니다. 이 기법은 잘못된 행동을 예방하는 것이 아니라 어디에서 그런 행동이 발생했는지를 드러내는 데 초점이 맞춰져 있기 때문입니다. 고백의 핵심 가치는 훈련 과정과 실제 배포 환경 모두에서 모니터링과 진단 도구로 활용될 수 있다는 점에 있습니다. 고백은 모델의 사고 과정 모니터링⁠과 비슷하게 겉으로 드러나지 않는 추론 과정을 더 투명하게 보여주는 역할을 합니다. 다만 고백은 모델이 지시를 위반했는지에 초점을 맞추고, 사고 과정 모니터링은 그 위반이 어떻게 일어났는지를 보여준다는 차이가 있습니다.

이번 연구는 아직 개념 증명 단계에 머물러 있습니다. 고백 메커니즘을 대규모로 훈련한 것은 아니며, 고백의 정확성도 아직 완전하지 않습니다. 앞으로 더 안정적이고 견고한 방식으로 발전시키고 다양한 모델군과 작업에 폭넓게 적용할 수 있도록 보완해야 할 부분이 많습니다.

이번 연구는 OpenAI가 추진하는 포괄적인 AI 안전 원칙⁠의 일환으로 수행되었습니다. 고백 기법은 숙고 기반 정렬⁠, 사고 과정 모니터링⁠, 지시 계층⁠ 등 여러 기법으로 구성된 더 큰 체계 안에서 작동하는 요소 중 하나입니다. 단일 기법만으로는 충분하지 않기 때문에 서로를 보완하는 다층적 점검 장치와 투명성 도구를 마련하는 것이 목표입니다. 고백 기법은 학습과 평가 과정에서 모델의 문제 행동을 진단하고, 실제 서비스 환경에서는 이를 모니터링하는 데 도움을 줍니다. 물론 고백만으로 여러 목표 간 균형 문제를 해결할 수는 없습니다. 하지만 모델이 오직 정직성에 집중하는 ‘진실 모드’를 제공함으로써 전반적인 정직성과 안전성을 높이는 데 기여하는 중요한 도구임은 분명합니다.

모델의 능력이 높아지고 더 높은 중요도를 지닌 환경에 배포될수록, 모델이 어떤 행동을 왜 수행하는지 이해하기 위한 더 나은 도구가 필요합니다. 고백 기법이 완전한 해결책은 아니지만, 투명성과 감시 체계를 강화하는 데 의미 있는 역할을 합니다. OpenAI는 앞으로 고백 기법을 더 큰 규모로 확장할 계획입니다. 또한 사고 과정 모니터링과 숙고 기반 정렬 같은 투명성·안전 기법과 함께 적용해 모델이 모델 사양⁠(새 창에서 열기)을 비롯한 모든 지시와 정책을 충실히 따르고 자신의 행동을 정확히 보고할 수 있도록 발전시킬 것입니다.