OpenAI

프런티어 AI 위험 관리: 학습부터 배포까지

2026년 11월 18일 · 안전

프런티어 모델의 역량은 빠르게 발전하고 있으며, 모델을 이해하고 정렬하며 안전하게 보호하는 우리의 능력은 그보다 앞서 나가야 합니다. OpenAI는 모델의 개발과 출시 속도를 조절하고 있습니다. 안전 기준을 충족하는 데 시간이 더 필요하면 내부 학습⁠(새 창에서 열기)을 일시 중단하거나 GPT‑6.1 Astra 같은 모델의 출시를 보류하기도 합니다. 안전성 입증과 같은 새로운 절차를 도입했으며, 학습 전반에 걸쳐 정렬된 행동을 보여주는 더 강력한 근거를 요구하고 있습니다. 이러한 요건은 모델 출시 속도를 늦추지만, 더 큰 확신을 가지고 안전하게 나아갈 수 있게 해줍니다.

7월의 Hugging Face 사고⁠ 이후, 모델 학습·테스트·배포에 적용하는 안전장치와 정렬 요건을 강화했습니다. 이 글에서는 엄격히 격리된 샌드박스 학습 환경부터 사용자의 컴퓨터에서 이용하는 Codex 배포 환경까지, 각 단계에서 위험을 평가하고 관리하는 방법을 설명합니다. 각 단계에서 모델과 안전장치를 모두 평가하며, 다음 단계로 넘어가려면 안전 검토를 거쳐야 합니다.

모델 수명 주기 전반의 심층 방어

OpenAI는 여러 보호 계층으로 이루어진 심층 방어를 활용해 단일 안전장치에 대한 의존도를 줄입니다. 한 계층이 실패하더라도 다른 계층이 피해를 예방하고 영향을 제한하거나, 우리가 개입할 수 있도록 경고합니다.

보호 체계는 다음 네 계층으로 구성됩니다.

효과적인 모니터링은 모델의 모니터링 가능성에 달려 있습니다. 즉, 모니터가 모델의 추론과 행동에서 실수나 안전하지 않은 행동을 얼마나 신뢰성 있게 탐지할 수 있는지가 중요합니다. 예를 들어, 추론 과정(CoT)에서 부정행위를 하려는 의도를 말로 드러내는 모델은 이러한 정보를 생략하는 모델보다 모니터링하기 쉽습니다. OpenAI는 학습 중과 배포 전에 모니터링 가능성을 평가하고, 더 나은 측정 방법⁠(새 창에서 열기)을 개발하며, 이에 영향을 미치는 요인을 연구⁠(새 창에서 열기)합니다.

Hugging Face 사고는 고성능 모델을 격리하는 데 샌드박싱에만 의존해서는 안 되는 이유를 보여주었습니다. 이제 OpenAI는 도구를 사용하는 모든 내부 배포를 포함해, 대부분의 내부 및 외부 배포 환경에서 프런티어 모델을 모니터링합니다.

각 계층의 역할은 모델 개발 및 배포의 세 단계에 따라 달라집니다.

  • 연구: 샌드박스 환경에서 모델을 학습시키고 테스트하며 사용합니다.

  • 내부 배포: OpenAI 직원들이 실제 업무에 모델을 사용합니다.

  • 외부 배포: 더 많은 사람과 조직이 모델을 사용할 수 있게 됩니다.

단계마다 의존하는 계층이 다릅니다. 정렬에 대한 확신이 낮은 학습 중에는 샌드박싱과 모니터링에 더 많이 의존합니다. 배포 과정에서 모델의 접근 범위가 넓어질수록 정렬과 시스템 수준의 통제가 점점 더 중요해집니다. 각 단계에서 보호 수단을 종합했을 때 모델의 역량과 접근 범위에 비추어 충분한지 평가합니다. 이러한 판단은 안전 자문 그룹과 함께 검토할 수 있으며, OpenAI Foundation 이사회의 안전 및 보안 위원회가 감독할 수 있습니다.

연구 중: 모델을 샌드박스 환경에 격리

연구 단계에서는 모델을 평가하여 정렬 특성에 대한 확신을 쌓습니다. 아직은 피해 예방을 정렬에 전적으로 맡길 수 없으므로, 보안과 샌드박싱에 크게 의존해 모델의 접근 대상과 수행 가능한 행동을 제한합니다.

정렬 연구, 모니터링 시스템, 인터넷 인프라 보안의 현재 수준을 고려할 때, 실제 인터넷에 연결하지 않고 프런티어 모델을 학습시키는 것이 책임 있는 접근이라고 판단합니다. Hugging Face 사고 이후, 다음 수단으로 모델을 격리하도록 내부 연구 시스템을 대대적으로 재구성했습니다.

  • 모델의 권한을 제한하는 샌드박스

  • 워크로드를 기반 컴퓨터에서 한층 더 격리하는 가상 머신

  • 전체 클러스터를 인터넷에서 차단하는 네트워크 및 클라우드 경계

가장 뛰어난 모델들로 팀을 구성해 실제 인터넷에 접속하거나, 보안 경계를 벗어나거나, 서로 격리되어야 하는 에이전트와 통신하도록 시도하게 하며 이 시스템에 대한 레드팀 테스트를 지속적으로 수행합니다. 이를 통해 격리 체계가 통제 대상 모델의 역량을 상대로 제대로 유지되는지 테스트할 수 있습니다.

추가 방어 계층으로 프런티어 모델의 모든 추론 실행을 모니터링하여, 모델이 항상 유지되어야 하는 보안 제약을 우회했는지 탐지합니다. 모니터링을 통해 모델의 인터넷 접속이 탐지되면 보안팀에 긴급 알림을 보내고 워크로드를 자동으로 일시 중단합니다.

모니터링은 격리가 실패했을 때 핵심적인 최후 방어선 역할을 합니다. 최근 비정렬 보고서에서는 모니터가 내부 연구 모델이 DNS 설정 오류를 악용하는 것을 탐지⁠(새 창에서 열기)한 사례를 공유했습니다. 이 모델은 해당 오류를 이용해 제한적으로 인터넷에 접근했습니다. 9월 20일부터 10월 1일까지 가장 뛰어난 모델들의 학습과 평가를 일시 중단하고, 사건을 조사하며 보안 허점을 보완했습니다.

신속하고 확실한 개입을 위해 Control Room⁠을 구축했습니다. 이 중앙 시스템은 연구 워크로드를 추적하고, 작업 중단 지시를 받은 뒤 35초 이내에 모델의 추가 출력을 멈춥니다. 이러한 통제는 추론 인프라에서 직접 집행되므로, 각 연구 워크로드가 자체 종료 메커니즘을 구현했는지에 좌우되지 않습니다. 프런티어 모델 연구 워크로드에서는 Control Room을 사용할 수 없게 되는 경우에도 이 통제 장치가 모델 출력을 중단합니다.

레드팀 테스트와 모니터링은 서로 보완하는 역할을 합니다. 샌드박스가 절대 뚫리지 않는다고 보장할 수는 없지만, 레드팀 테스트를 통해 모델이 탈출하는 데 얼마나 많은 노력이 필요한지 평가할 수 있습니다. 모델에 더 많은 노력이 필요할수록, 모니터가 이를 탐지하고 중단할 기회도 많아집니다.

연구 단계에서 강력한 보안 및 모니터링 통제를 의무화하는 데에는 몇 가지 이유가 있습니다.

  • 모델은 아직 평가 중입니다. 일부 모델은 공개 출시에 필요한 안전 학습, 정렬 감사, 검토를 아직 마치지 않았습니다.

  • 프런티어 연구 환경은 위험을 증폭시킬 수 있습니다. 일부 연구 과제에는 더 과감한 구성이 필요하며, 이로 인해 모델이 일반적인 외부 배포 환경에서보다 더 끈질기게 작업하거나 더 뛰어난 능력을 발휘하게 됩니다. 예를 들어, 나비에–스토크스 문제를 푸는 데에는 에이전트 10,000개로 구성된 팀이 필요했습니다.

  • 학습은 사람의 직접적인 감독이 적은 상태에서 대규모로 진행됩니다. 일반적인 Codex 세션과 달리, 학습 워크로드에서는 사람이 각 상호작용을 지켜보지 않는 상태에서 모델이 수많은 행동을 수행합니다.

내부 배포: 정렬을 테스트하고 행동을 면밀히 모니터링

광범위한 출시에 앞서, 직원들은 샌드박스에서 연구용으로 쓰던 프런티어 모델을 샌드박스 밖의 내부 업무에 사용하기 시작합니다. 예를 들어 직원들이 ChatGPT에서 모델에 접근할 수 있도록 합니다. 이를 통해 모델이 실제 환경에서 어떻게 행동하는지⁠(새 창에서 열기) 더 잘 이해하고, 배포에 관한 의사결정에 반영할 수 있습니다.

이 단계에서는 모델에 광범위한 인터넷 접근 권한과 OpenAI의 Slack, 코드베이스, 내부 인프라에 대한 접근 권한을 부여합니다. 이제 모델의 행동이 OpenAI의 개발 및 운영에 사용하는 시스템에 직접적인 영향을 미치므로, 위험 측면에서 중대한 변화가 생깁니다. 내부 배포 중에는 보안 통제보다 모델 정렬, 시스템 안전장치, 모니터링에 더 많이 의존해야 합니다.

프런티어 모델을 샌드박스 밖에 배포하려면 먼저 정렬 테스트와 모니터링 가능성 테스트⁠(새 창에서 열기)를 거쳐야 합니다. OpenAI는 일련의 정렬 평가를 통해 안전 및 보안 제한 우회와 같은 특정 정렬 실패 유형을 테스트하고, 내부 Codex 실행 궤적을 재샘플링해 비정렬 여부를 확인하는 방식으로 전반적인 행동 성향도 측정합니다. 정렬 및 모니터링 가능성 평가에 관한 자세한 내용은 최신 GPT‑6 Astra 시스템 카드⁠(새 창에서 열기)에서 확인할 수 있습니다.

실제 서비스 환경의 구성을 본떠, 사이버 악용이나 생물무기화처럼 프런티어 모델이 초래할 수 있는 위해를 막도록 설계된 시스템 수준 분류기로 방어 계층을 하나 더 추가합니다. 또한 Codex를 사용하는 직원에게는 일반적으로 Auto-Review⁠(새 창에서 열기) 사용을 의무화합니다. 이 기능은 잠재적으로 위험한 행동을 평가하고 사용자가 판단하도록 전달합니다.

마지막으로, 내부 배포 중 프런티어 모델의 모든 추론 실행에서 비정렬 행동이 나타나는지 모니터링합니다. 이제 모델의 권한이 확대되고 내부 정보와 시스템에 접근할 수 있으므로, 민감한 데이터를 허가되지 않은 대상으로 전송하는 등의 데이터 유출 위험을 탐지하는 일이 특히 중요해집니다. 모니터링은 새로운 형태의 비정렬⁠(새 창에서 열기)을 조사하는 데에도 도움이 됩니다.

외부 배포: 대규모 악용 및 비정렬 방지

공개 배포를 통해 모델은 훨씬 더 많은 사용자, 작업, 환경을 접하게 되며, 위험의 규모와 종류도 늘어납니다. 이 단계에서는 모델에 의도적으로 해로운 행동을 지시하는 잠재적 악성 행위자에 대한 방어도 필요합니다.

공개 출시 전에 모델과 시스템 안전장치는 OpenAI의 외부 배포 안전 요건을 충족해야 합니다. 다음과 같은 방식으로 이를 평가합니다.

  • 더 폭넓은 정렬 및 안전 평가를 수행합니다. 프런티어 모델의 경우, 내부 자동화 레드팀 테스트 에이전트로 적응형 테스트⁠를 새롭게 수행해 모델의 견고성을 극한 조건에서 검증하는 과정이 포함됩니다. 역량 및 안전 평가 결과는 시스템 카드⁠(새 창에서 열기)에 공개합니다.

  • 가장 뛰어난 모델은 제3자와 함께 테스트도 수행하여, 악용 방지 안전장치와 모델의 근본적인 정렬 상태를 모두 극한 조건에서 검증합니다.

  • 내부 배포 단계에서 모니터링으로 포착한 경고를 검토하여 기본 모델의 근본적인 정렬 상태에 변화가 있는지 추적합니다.

모델 안전 학습, 시스템 분류기 등의 ‘동기식’ 안전장치에 더해, 외부 배포에서는 실시간 처리와 별도로 이루어지는 사후 제재와 조사도 활용합니다. 담당 팀은 대규모 조사 에이전트와 사람의 검토를 결합해 사이버 악용, 생물무기화, 증류⁠와 관련된 잠재적 위협 행위자를 탐지하고 식별하며, 모델 자체의 비정렬도 살핍니다. 사후 제재는 여러 계정에 걸쳐 정보를 수집하여 잠재적 위협을 더 종합적으로 파악하는 데 특히 유용합니다.

Daybreak, Rosalind⁠ 같은 신뢰 기반 접근 프로그램은 보안 계층을 하나 더 제공합니다. 잠재적 공격자의 접근은 제한하면서, 방어 담당자와 정당한 연구자의 작업을 가속화합니다.

사고 대응 및 공개

안전 계층 중 하나가 제대로 작동하지 않은 사실을 발견하면, 실제 피해 발생 여부와 관계없이 신속히 조사하고 우선순위를 판단하며, 가능하고 적절한 경우 해당 실패를 외부에 공개하고자 합니다. 비정렬 보고⁠ 정책에 따라 모든 직원은 사고를 공개 검토 대상으로 제기할 수 있습니다. 이러한 보고는 조사 대상이 되며, 외부 공개 여부에 의견이 갈리면 안전 자문 그룹에 결정을 상정합니다. 직원 보고에 의존하는 데 그치지 않고, 비정렬 사고를 선제적으로 찾아 해결하고 조사 결과를 공유합니다.

OpenAI의 비정렬 보고서는 여기⁠(새 창에서 열기)에서 확인할 수 있습니다.

​


​

이 작업에는 연구의 진전과 엄격한 운영이 모두 필요합니다. 통제를 올바르게 구성하고, 통제 수단들이 서로 어떻게 작용하는지 테스트하며, 실패할 경우 단호하게 대응해야 합니다. 네트워크 서비스의 설정 오류나 자동 중단 기능의 실패는 그 밖의 보호 수단이 아무리 강력해도 전체 보호 체계를 약화시킬 수 있습니다.

모델이 새로운 역량을 갖춰갈수록 안전장치의 바탕이 되는 가정을 계속 의심하고, 필요한 부분을 개선해야 합니다. 연구, 내부 사용, 공개 배포에서 얻은 교훈은 다음 모델의 학습·평가·배포 방식에 반영되어야 합니다.

앞으로도 시스템 카드, 사고 보고서, 내부 배포 위험 보고서⁠(새 창에서 열기), 외부 평가⁠를 통해 결과를 공유하겠습니다. 이를 통해 외부에서도 한계를 포함한 OpenAI의 접근 방식을 면밀히 검토할 수 있도록 하겠습니다. 그 근거가 우리가 정한 안전 기준에 미치지 못하면, 요건이 충족될 때까지 다시 학습을 일시 중단하거나 출시를 보류하겠습니다.

관련 연구 및 자료

안전 기준 수립

정렬된 행동의 정의와 평가

모델 격리 및 안전장치 개선

사고 대응 및 공개

연구의 진전과 응용

  • 연구 가속화: OpenAI 내부에서 바라본 변화 — 사용 확대, 점점 더 복잡해지는 작업, 실험에 미치는 영향 등 코딩 에이전트가 OpenAI 내부 연구를 어떻게 바꾸고 있는지 보여주는 초기 근거를 소개합니다.

  • 나비에–스토크스 밀레니엄 문제에 관하여 — 내부 AI 시스템이 도출한 수학적 증명과 Lean 형식화를 함께 제시하며, 대규모 연구 배포의 역량을 보여줍니다.

  • Daybreak — 검증된 방어 담당자에게 고급 AI 역량, 보안 도구, 지원을 제공하여 취약점을 찾고 방어를 강화하도록 돕는 OpenAI의 사이버 보안 프로그램입니다.

  • 생명과학 연구를 위한 GPT‑Rosalind 소개⁠ — 생물학, 신약 발굴, 중개 의학에 특화된 모델로, 신뢰 기반 접근 프로그램을 통해 자격을 갖춘 조직에 제공됩니다.