프런티어 LLM의 명령 계층 구조 개선

AI 시스템은 여러 소스에서 명령을 받는 경우가 많습니다. 여기에는 시스템 메시지의 안전 정책, 개발자의 제품 지침, 사용자 요청, 온라인에서 발견한 정보가 포함될 수 있습니다. 여러 출처 가운데 신뢰도가 가장 높은 명령을 우선시하도록 모델을 학습시키는 것은 안전한 배포를 위해 반드시 필요한 작업입니다.

이러한 우선순위 체계가 제대로 작동하지 않으면 여러 가지 AI 안전 및 신뢰성 문제가 발생할 수 있습니다. 모델은 허용되지 않은 콘텐츠나 개인 정보 노출을 유도하는 요청을 받을 수 있으며, 온라인 데이터에 숨겨진 프롬프트 인젝션 공격을 접할 수도 있습니다. 이런 상황에서 모델이 적절하게 행동하지 못하는 근본 원인은 동일합니다. 모델이 잘못된 명령을 따르기 때문입니다.

여러 명령이 서로 충돌할 때 모델은 어떤 명령을 우선할지 판단해야 합니다. 신뢰할 수 없는 명령을 권위 있는 지시로 받아들이면 정책을 위반하거나 개발자와 사용자의 의도에 어긋나는 방식으로 동작할 수 있습니다.

OpenAI는 적절히 설계한 명령 계층 과제를 바탕으로 신뢰 수준에 따라 명령의 우선순위를 정하도록 모델을 훈련할 경우, 실제 환경에서 여러 안전 성능을 개선할 수 있다는 사실을 확인했습니다. 이러한 과제로 학습한 모델은 시스템 프롬프트에 포함된 안전 규정을 더 잘 따르며(안전 조정성 향상), 도구 출력에 포함된 프롬프트 인젝션 공격에도 더 강건하게 대응합니다.

충돌 상황을 처리하기 위해 OpenAI 모델은 다음과 같은 명확한 명령 계층 구조를 따르도록 학습됩니다.

시스템 > 개발자 > 사용자 > 도구

모델은 우선순위가 높은 명령을 더 신뢰하며, 우선순위가 높은 제약 조건과 충돌하지 않을 때에만 우선순위가 낮은 명령을 따를 수 있습니다. 이러한 원칙은 OpenAI 모델 사양⁠(새 창에서 열기)에도 명시되어 있습니다.

예를 들어 시스템 메시지에 안전 정책이 포함된 상황에서 사용자가 안전 정책을 위반하라고 요청할 경우, 모델은 이를 거부해야 합니다. 도구 출력에 악의적인 명령이 포함된 경우에도 이를 명령으로 받아들이지 않고 무시해야 합니다.

이 원칙을 올바르게 지키는 것은 안전성과 보안, 신뢰성을 확보하는 데 중요한 기반이 됩니다.

강화 학습은 명령 계층을 훈련하는 데 적합한 방법입니다. 서로 충돌하는 명령이 포함된 대화를 생성하고 모델에 응답을 요청한 뒤, 올바른 명령을 따랐을 때 보상을 주는 방식으로 구성됩니다.

그러나 이 방식을 단순하게 적용하면 다음과 같은 세 가지 문제가 발생할 수 있습니다.

• 명령 수행 실패가 명령 계층을 잘못 이해한 결과처럼 나타날 수 있습니다. 그러나 모델이 명령 충돌을 해결하지 못하는 이유는 역할 간 계층 구조를 이해하지 못해서가 아니라, 명령 자체가 지나치게 복잡하기 때문일 수 있습니다.
• 명령 간 충돌은 미묘하게 나타나며 주관적인 판단이 필요한 경우도 있습니다. 일반적으로는 별도의 LLM 평가 모델이 훈련 중인 LLM에 보상을 부여하는 방식을 사용하지만, 심판 모델 역시 오류를 범할 수 있습니다.
• 모델은 높은 보상을 얻기 위한 지름길을 학습하는 경향이 있지만, 이런 방식은 실제 환경에서는 쓸모가 없습니다⁠(새 창에서 열기). 대표적인 사례가 과도한 거부입니다. 모델은 안전성을 극대화하기 위해 정상적인 요청까지 거부하는 방식을 학습할 수 있습니다.

OpenAI는 앞서 언급한 문제를 해결하기 위해 강화 학습용 학습 데이터셋인 IH-Challenge를 설계했습니다. 데이터셋에는 다음과 같은 원칙이 적용되었습니다.

• 과제는 명령 수행 과정이 단순하도록 구성합니다
• 간단한 Python 스크립트로 객관적인 채점이 가능하도록 합니다
• 모든 과제에서 높은 보상을 보장하는 지름길이 없도록 합니다

IH-Challenge의 모든 과제는 기본적으로 다음과 같은 메시지를 포함한 대화 형태로 구성됩니다.

• 높은 권한을 가진 역할에서 전달되는 명령 메시지(예: "'예' 또는 '아니요'로만 답하시오")
• 낮은 권한을 가진 역할에서 전달되는 명령 메시지. 모델이 상위 권한 메시지의 지시를 위반하도록 유도하는 내용.

이후 이어지는 메시지는 훈련 중인 모델이 생성합니다. OpenAI는 모델의 응답이 상위 수준의 제약 조건을 충족하는지 프로그램으로 확인할 수 있도록 과제와 환경을 설계했습니다.

OpenAI는 IH-Challenge로 모델을 훈련해 GPT‑5 Mini-R이라는 내부 모델을 개발했으며, 다음과 같은 성능 개선을 확인했습니다. 

• 명령 계층 벤치마크에서 더 높은 성능 발휘
• 훈련에 사용되지 않은 테스트와 적대적 명령 계층 테스트에서도 개선된 성능 유지
• 과도한 거부 없이 전반적인 유용성 유지

IH-Challenge 과제를 통해 모델이 명령 충돌을 올바르게 해결하도록 훈련할 경우, 새로운 공격이나 상황에서도 명령 계층에 대한 성능 개선을 유지할 수 있기 때문에 안전성 측면에서 특히 의미가 있습니다.

명령 계층이 강화되면 안전 조정성과 프롬프트 인젝션 대응력을 비롯한 여러 안전상 이점을 얻을 수 있습니다.

안전 조정성은 시스템 프롬프트에 범주별 안전 규정을 추가한 뒤 OpenAI의 안전 프로덕션 벤치마크(실제 ChatGPT 서비스 환경을 대표하는 안전 관련 대화 집합)에서 모델의 행동을 측정해 평가합니다.

IH-Challenge로 훈련된 모델은 일관된 개선을 보였습니다. 안전 규정이 존재할 경우, 금지된 범주 전반에서 거부율과 안전한 응답 완료율이 더 높게 나타났습니다. 이는 명령 계층이 더 잘 작동할수록 낮은 우선순위의 명령에서 안전하지 않은 요청이 들어올 때 충돌을 더 정확하게 해결할 수 있음을 보여줍니다. 또한 이러한 개선이 유용성 감소로 이어지지는 않았습니다. 즉, 단순히 더 많이 거부하는 방식으로 유용성이 낮아진 것은 아니라는 의미입니다.

도구 출력에 포함된 악의적인 명령으로 인한 프롬프트 인젝션을 방지하는 데에도 명령 계층은 중요한 역할을 합니다. OpenAI는 IH-Challenge로 훈련된 모델을 두 가지 프롬프트 인젝션 벤치마크에서 평가했습니다. 하나는 학술 벤치마크인 CyberSecEval 2이며, 다른 하나는 이전 버전의 ChatGPT Atlas⁠에서 시연된 공격과 유사한 사례로 구성된 OpenAI 내부 프롬프트 인젝션 벤치마크입니다.

기준 모델과 비교했을 때 IH-Challenge로 훈련된 GPT‑5 Mini-R 모델은 두 벤치마크 모두에서 프롬프트 인젝션 대응력이 향상되었으며, 이번 실험의 OpenAI 내부 정적 프롬프트 인젝션 평가에서도 성능이 크게 개선되었습니다.

모델의 에이전트 성능이 고도화되어 스스로 도구를 호출하고 신뢰할 수 없는 문서를 확인하거나 현실 환경에서 작업을 수행하는 상황이 늘어날수록 신뢰할 수 있는 명령을 지속적으로 우선시하는 능력은 안전을 유지하는 데 필수적인 요소가 됩니다.

이번 연구는 특별히 설계된 훈련 환경을 통해 명령 계층 훈련 과정에서 나타나는 여러 한계를 극복할 수 있음을 보여줍니다. IH-Challenge 데이터셋은 겉보기에는 단순해 보이지만, 이 환경에서 모델이 학습한 명령 계층 행동은 더 현실적이며 객관적으로 채점하기 어려운 벤치마크에서도 그대로 효과를 보입니다.

명령 계층을 강화하면 신뢰성이 높아질 뿐 아니라 여러 안전 및 보안 측면의 이점을 동시에 얻을 수 있습니다. 이는 AI 시스템이 점점 더 뛰어난 능력과 자율성을 갖추게 될수록 더욱 중요해지는 기반입니다.

이 분야의 추가적인 연구를 지원할 수 있도록 OpenAI는 IH-Challenge 데이터셋을 이곳⁠(새 창에서 열기)에서 공개합니다.