요약
문제
레드팀 테스트는 모델의 취약점을 발견하고 견고성을 높이는 데 필수적입니다. 그러나 현재의 접근 방식은 확장성이 부족해 안전성 개선의 병목으로 작용하고 있습니다.
널리 사용되는 견고성 평가는 최신 모델에서 이미 한계에 도달했습니다.
모델 성능이 발전하는 속도에 맞춰 안전성과 정렬도 함께 확장할 수 있는 새로운 방법이 필요합니다.
OpenAI의 접근 방식
OpenAI는 더 넓은 범위로 모델을 배포하기 전에 취약점을 찾아 수정할 수 있도록, 취약점 탐지 역량을 확장하는 자동화된 레드팀 모델인 GPT‑Red를 학습시켰습니다.
GPT‑Red는 강력한 레드팀 모델이며, 이전 세대 모델들은 GPT‑Red의 프롬프트 인젝션 공격에 매우 취약했습니다.
OpenAI는 GPT‑Red를 활용한 적대적 학습을 통해 GPT‑5.6을 학습시켜 프롬프트 인젝션에 대한 견고성을 크게 향상시켰습니다.
앞으로도 사람과 서드파티가 수행하는 레드팀 테스트, 다층 보호 조치, 실시간 모니터링과 함께 이러한 접근 방식을 지속적으로 발전시켜 나갈 예정입니다.
AI 시스템은 브라우저, 연결된 앱, 로컬 파일, 기타 툴 등을 통해 제3자 데이터를 자주 접합니다. 이러한 기능은 실제 작업을 수행하는 데 필수적이지만, 동시에 악의적인 행위자가 모델의 동작에 영향을 미칠 기회도 늘어납니다. 예를 들어 악의적인 제3자는 이메일, 웹페이지, 툴의 응답 또는 코드 저장소에 민감한 데이터를 외부 서버로 업로드하도록 모델을 속이기 위해 정교하게 작성된 지시를 숨겨 둘 수 있습니다.
사람이 수행하는 레드팀 테스트는 OpenAI의 안전성 확보 작업에서 중요한 역할을 합니다. 이를 통해 모델을 배포하기 전에 취약점을 발견하고 적절한 보호 조치를 마련할 수 있습니다. 하지만 사람이 수행하는 레드팀 테스트만으로는 확장에 한계가 있습니다. 이러한 테스트를 설계하고 수행하는 데는 많은 시간과 노력이 필요하기 때문에 새로운 실패 사례를 신속하게 발견하고 이를 더 강력한 보호 조치에 반영하기 어렵습니다. 또한 이러한 테스트는 유용한 공격 사례를 제공하지만, 모델을 학습시켜 견고성을 높이는 데 필요한 만큼 충분히 많고 다양한 적대적 데이터를 만들어 내지는 못합니다.
모델의 성능이 빠르게 향상되는 만큼 레드팀 테스트도 이에 맞춰 확장되어야 합니다. 이를 위해 OpenAI는 배포 전에 취약점을 찾아내고 모델 학습 과정에서 공격을 생성해 견고성을 높이는 내부 전용 자동화 레드팀 모델을 개발해 왔습니다. OpenAI는 자동화된 레드팀 테스트가 안전성 향상을 위한 중요한 자기 개선 방식을 가능하게 한다고 보고 있습니다. 즉, 현재의 모델을 활용해 미래의 모델을 직접 더 안전하게 만드는 것입니다.
GPT‑Red는 이러한 노력의 결실이자 현재 OpenAI에서 가장 뛰어난 자동화 안전 레드팀 모델입니다. 사람 레드팀 담당자가 공격을 설계하는 것처럼, GPT‑Red도 프롬프트를 보내고 GPT 모델의 반응을 관찰한 뒤 이를 반복하며 더욱 효과적인 공격을 찾아 목표를 달성합니다. OpenAI는 GPT‑Red를 가장 큰 규모의 후속 학습 실행과 맞먹는 수준의 컴퓨팅 리소스를 투입해 학습시켰으며, 이는 안전성 향상만을 위해 사용된 컴퓨팅 리소스로는 전례 없는 규모입니다.
OpenAI는 GPT‑Red를 프로덕션 모델의 학습 과정에 직접 활용하고 있습니다. 그 결과 GPT‑5.6 Sol은 현재까지 프롬프트 인젝션에 가장 강한 모델이 되었으며, 가장 어려운 직접 프롬프트 인젝션 벤치마크에서 불과 4개월 전에 출시한 최고 성능의 프로덕션 모델보다 실패 횟수를 6분의 1 수준으로 줄였습니다. 이러한 접근 방식은 뛰어난 확장성을 갖추고 있어, 앞으로 더 강력한 레드팀 모델을 학습할수록 더욱 큰 성과를 거둘 것으로 기대하고 있습니다.
GPT‑Red는 셀프 플레이 기반 강화학습으로 학습됩니다. 이 과정에서는 GPT‑Red와 다양한 방어 LLM을 광범위한 레드팀 테스트 시나리오에서 동시에 학습시킵니다. GPT‑Red는 프롬프트 인젝션 성공과 같이 의미 있는 실패 사례를 만들어 내면 보상을 받고, 방어 모델은 공격을 방어하면서 원래의 작업을 성공적으로 수행하면 보상을 받습니다. 방어 모델의 견고성이 높아질수록 GPT‑Red는 더욱 강력하고 다양한 공격 기법을 찾아낼 수밖에 없습니다.
셀프 플레이 학습을 지원하기 위해 프롬프트 인젝션이 삽입될 수 있는 다양한 실제 상황을 반영한 시나리오를 구축했습니다. 각 환경에는 GPT‑Red가 제어할 수 있는 대상과 공격 성공 기준을 정의하는 위협 모델이 포함됩니다. 예를 들어 GPT‑Red는 로컬 파일의 일부, 웹페이지 배너, 이메일 본문 또는 툴의 출력 결과 등을 제어할 수 있습니다.
학습을 마친 GPT‑Red는 매우 강력한 공격 모델이 됩니다. GPT‑5.5를 포함한 내부 모델과 프로덕션 모델 등 거의 모든 대상 모델을 무력화할 수 있습니다. GPT‑Red 학습이 완료된 이후에는 GPT‑5.6 학습에 사용할 프롬프트 인젝션을 생성하는 데 GPT‑Red를 활용했으며, 그 결과 GPT‑5.6은 GPT‑Red의 공격에 매우 강한 내성을 갖추게 되었습니다.
OpenAI는 GPT‑Red를 실제 배포하는 모델과 분리해 운영합니다. 이를 통해 GPT‑Red에 의도적으로 학습시킨 악의적인 공격 능력이 악의적인 행위자에게 악용되는 것을 방지하는 동시에, 프로덕션 모델에는 이러한 공격에 대한 견고성만 반영합니다.
GPT‑Red는 학습에 사용된 방어 모델과 레드팀 테스트 시나리오에서 매우 높은 성능을 보입니다. 또한 OpenAI 전반의 안전성 향상에 기여할 범용 레드팀 테스트 에이전트로도 활용할 수 있는지 평가하고 있습니다. 이를 위해 새로운 안전성 평가 환경과 다양한 대상 모델에서 GPT‑Red의 성능을 검증했습니다.
먼저 Dziemian 외(2025)의 간접 프롬프트 인젝션 평가 환경(새 창에서 열기)을 재현한 버전을 사용해 GPT‑Red가 새로운 레드팀 테스트 시나리오에도 일반화할 수 있는지를 평가했습니다. 이 과제에서는 사람 레드팀 담당자와 GPT‑Red가 미리 정의된 환경을 대상으로 각각 독립적으로 GPT‑5.1 공격을 설계했습니다. 이때 사용된 레드팀 테스트 시나리오와 목표는 GPT‑Red 학습에 사용된 것과는 서로 다릅니다. GPT‑Red는 사람의 성공률인 13%를 크게 웃도는 84%의 시나리오에서 공격에 성공하며 훨씬 높은 공격 성공률을 기록했습니다.
GPT‑Red는 자동화된 레드팀 모델로서 뛰어난 성능을 보여줍니다. Dziemian 외(2025)의 간접 프롬프트 인젝션 평가 환경을 내부적으로 재현한 테스트에서 GPT‑Red는 사람 레드팀 담당자보다 훨씬 더 많은 시나리오에서 GPT‑5.1 공격에 성공했습니다.
레드팀 모델의 진정한 성능은 시스템의 기반 모델이나 하네스 설계에 대한 정보가 제한된 상태에서도 실제 에이전트 시스템을 대상으로 의도한 공격 목표를 달성할 수 있는지에 달려 있습니다. 이를 검증하기 위한 첫 번째 실험에서는 Andon Labs가 개발한 OpenAI 사무실의 AI 기반 자판기(Project Vend(새 창에서 열기)와 유사)를 대상으로 GPT‑Red를 테스트했습니다. OpenAI는 GPT‑Red에 시스템 설명을 제공하고, 실제 배포 환경을 충실히 재현한 시뮬레이션 에이전트에 공격을 수행하며 툴 호출을 관찰할 수 있도록 했습니다. 여러 차례 공격을 반복하며 개선한 뒤 GPT‑Red는 실제 프로덕션 에이전트에 공격을 적용했고, 다음 세 가지 공격 목표를 모두 달성했습니다.
- 재고가 있는 고가 상품의 가격을 허용되는 최저가인 $0.50로 변경
- $100 이상의 신규 상품을 주문한 뒤 $0.50에 판매
- 다른 고객의 주문 취소
OpenAI는 이러한 취약점을 공개했으며, 이를 방지하기 위한 새로운 보호 조치를 현재 검증하고 있습니다.
GPT‑Red는 자판기를 관리하는 실제 운영 중인 자율형 에이전트인 Vendy를 무력화할 수 있습니다. GPT‑Red는 먼저 시뮬레이션 환경에서 공격을 검증한 뒤 이를 실제 운영 중인 에이전트에 적용해 고가 상품의 가격을 낮추고 다른 고객의 주문을 취소하도록 만들었습니다.
또한 GPT‑Red를 사용해 GPT‑5.4 Mini 기반의 Codex CLI 에이전트를 대상으로 학습에 사용하지 않은 데이터 유출 시나리오 10개를 평가했습니다. OpenAI는 학습 방식이 새로운 레드팀 테스트 환경에서도 효과를 발휘하는지 확인하기 위해 프롬프트만 제공한 GPT‑5.5 기준 모델과 성능을 비교했습니다. GPT‑Red는 더 많은 시나리오에서 에이전트가 민감한 데이터를 유출하도록 만드는 데 성공했을 뿐 아니라 토큰 사용 효율도 더 뛰어났습니다.
GPT‑Red는 실제 운영 중인 Codex 에이전트를 무력화하는 데 있어 더욱 효과적이고 효율적입니다. 평가는 GPT‑5.4 Mini를 기반으로 하는 Codex 에이전트를 대상으로, 데이터 유출 시나리오 10개로 구성된 맞춤형 평가 세트에서 수행했습니다.
GPT‑Red의 궁극적인 목표는 OpenAI 모델의 견고성을 높이는 것입니다. 지난 6개월 동안 OpenAI는 더 많은 컴퓨팅 리소스를 활용해 GPT‑Red의 전신인 레드팀 모델들을 단계적으로 강화해 왔으며, GPT‑5.3 이후 출시된 모든 프로덕션 모델의 학습 과정에 이러한 모델을 활용했습니다. 그 결과 GPT는 버전이 거듭될수록 더욱 견고해졌습니다.
예를 들어 GPT‑Red의 초기 버전은 '가짜 추론 과정(Fake Chain-of-Thought)' 공격이라고 불리는 새로운 유형의 직접 프롬프트 인젝션 공격을 발견했습니다. 이 공격은 GPT‑5.1에서 95%가 넘는 성공률을 기록했지만, 현재 GPT‑5.6 Sol에서는 성공률이 10% 미만으로 낮아졌습니다. 마찬가지로 개발자 도구와 브라우징 환경을 겨냥한 여러 간접 프롬프트 인젝션 벤치마크에서도 최신 모델은 97% 이상의 정확도를 기록하며 사실상 한계 수준에 도달했습니다.
GPT‑Red 자체에 대한 견고성도 크게 향상되었습니다. 다양한 견고성 평가 환경에서 GPT‑Red의 공격 성공률은 시간이 지날수록 꾸준히 감소했습니다. 최신 모델인 GPT‑5.6 Sol은 GPT‑Red의 직접 프롬프트 인젝션 공격 가운데 단 0.05%에서만 실패했습니다.
프롬프트 인젝션을 위한 셀프 플레이 학습 규모를 지속적으로 확대하는 과정에서 기존 모델을 무력화할 수 있는 새로운 위협을 발견했습니다. 동시에 학습 규모를 확대한 덕분에 이러한 공격에 대한 모델의 견고성도 크게 향상되었습니다. 공격 성공률은 학습에 사용하지 않은 환경에서 GPT‑Red가 수행한 모든 공격 시도의 평균 성공률로 계산합니다.
모델이 더 많은 요청을 거부하거나 성능이 저하되면 더 안전해 보일 수 있습니다. 하지만 수행하는 기능이 적은 모델은 공격하기도 어려울 뿐이며, 이는 의미 있는 견고성이라고 할 수 없습니다.
OpenAI는 최첨단 모델의 전반적인 성능과 함께, 과도한 요청 거부를 평가하기 위해 자체 설계한 과제를 종합적으로 평가했습니다. 그 결과 일반적인 성능은 그대로 유지하면서도 견고성은 크게 향상된 것으로 나타났습니다. 이는 툴을 잘못 사용하거나 정상적인 요청을 기본적으로 거부한 결과가 아니라, 악의적인 지시에 대한 저항력이 향상되면서 견고성이 높아졌음을 보여줍니다.
AI 에이전트는 이미 차세대 모델의 성능을 높이는 데 활용되고 있습니다. OpenAI는 GPT‑Red를 통해 안전성 분야에서도 이와 같은 선순환 구조를 구축하기 시작했다고 보고 있습니다. 즉, 현재의 모델을 활용해 미래의 모델을 더욱 견고하고, 더 잘 정렬되며, 더 신뢰할 수 있도록 만들 수 있게 된 것입니다. OpenAI는 앞으로도 컴퓨팅 리소스와 데이터를 지속적으로 확대하는 동시에 알고리즘을 개선해, 현재보다 더 강력한 GPT‑Red를 학습시켜 나갈 예정입니다. 그리고 이러한 모델은 앞으로 출시될 GPT를 더욱 안전하게 만드는 데 기여할 것입니다.
이번 주 후반에는 보다 자세한 내용을 담은 사전 공개 논문을 공개할 예정입니다.
