프런티어 AI 위험 관리: 학습부터 배포까지
2026년 11월 18일 · 안전
프런티어 모델의 역량은 빠르게 발전하고 있으며, 모델을 이해하고 정렬하며 안전하게 보호하는 우리의 능력은 그보다 앞서 나가야 합니다. OpenAI는 모델의 개발과 출시 속도를 조절하고 있습니다. 안전 기준을 충족하는 데 시간이 더 필요하면 내부 학습(새 창에서 열기)을 일시 중단하거나 GPT‑6.1 Astra 같은 모델의 출시를 보류하기도 합니다. 안전성 입증과 같은 새로운 절차를 도입했으며, 학습 전반에 걸쳐 정렬된 행동을 보여주는 더 강력한 근거를 요구하고 있습니다. 이러한 요건은 모델 출시 속도를 늦추지만, 더 큰 확신을 가지고 안전하게 나아갈 수 있게 해줍니다.
7월의 Hugging Face 사고 이후, 모델 학습·테스트·배포에 적용하는 안전장치와 정렬 요건을 강화했습니다. 이 글에서는 엄격히 격리된 샌드박스 학습 환경부터 사용자의 컴퓨터에서 이용하는 Codex 배포 환경까지, 각 단계에서 위험을 평가하고 관리하는 방법을 설명합니다. 각 단계에서 모델과 안전장치를 모두 평가하며, 다음 단계로 넘어가려면 안전 검토를 거쳐야 합니다.
OpenAI는 여러 보호 계층으로 이루어진 심층 방어를 활용해 단일 안전장치에 대한 의존도를 줄입니다. 한 계층이 실패하더라도 다른 계층이 피해를 예방하고 영향을 제한하거나, 우리가 개입할 수 있도록 경고합니다.
보호 체계는 다음 네 계층으로 구성됩니다.
효과적인 모니터링은 모델의 모니터링 가능성에 달려 있습니다. 즉, 모니터가 모델의 추론과 행동에서 실수나 안전하지 않은 행동을 얼마나 신뢰성 있게 탐지할 수 있는지가 중요합니다. 예를 들어, 추론 과정(CoT)에서 부정행위를 하려는 의도를 말로 드러내는 모델은 이러한 정보를 생략하는 모델보다 모니터링하기 쉽습니다. OpenAI는 학습 중과 배포 전에 모니터링 가능성을 평가하고, 더 나은 측정 방법(새 창에서 열기)을 개발하며, 이에 영향을 미치는 요인을 연구(새 창에서 열기)합니다.
Hugging Face 사고는 고성능 모델을 격리하는 데 샌드박싱에만 의존해서는 안 되는 이유를 보여주었습니다. 이제 OpenAI는 도구를 사용하는 모든 내부 배포를 포함해, 대부분의 내부 및 외부 배포 환경에서 프런티어 모델을 모니터링합니다.
각 계층의 역할은 모델 개발 및 배포의 세 단계에 따라 달라집니다.
연구: 샌드박스 환경에서 모델을 학습시키고 테스트하며 사용합니다.
내부 배포: OpenAI 직원들이 실제 업무에 모델을 사용합니다.
외부 배포: 더 많은 사람과 조직이 모델을 사용할 수 있게 됩니다.
단계마다 의존하는 계층이 다릅니다. 정렬에 대한 확신이 낮은 학습 중에는 샌드박싱과 모니터링에 더 많이 의존합니다. 배포 과정에서 모델의 접근 범위가 넓어질수록 정렬과 시스템 수준의 통제가 점점 더 중요해집니다. 각 단계에서 보호 수단을 종합했을 때 모델의 역량과 접근 범위에 비추어 충분한지 평가합니다. 이러한 판단은 안전 자문 그룹과 함께 검토할 수 있으며, OpenAI Foundation 이사회의 안전 및 보안 위원회가 감독할 수 있습니다.
연구 단계에서는 모델을 평가하여 정렬 특성에 대한 확신을 쌓습니다. 아직은 피해 예방을 정렬에 전적으로 맡길 수 없으므로, 보안과 샌드박싱에 크게 의존해 모델의 접근 대상과 수행 가능한 행동을 제한합니다.
정렬 연구, 모니터링 시스템, 인터넷 인프라 보안의 현재 수준을 고려할 때, 실제 인터넷에 연결하지 않고 프런티어 모델을 학습시키는 것이 책임 있는 접근이라고 판단합니다. Hugging Face 사고 이후, 다음 수단으로 모델을 격리하도록 내부 연구 시스템을 대대적으로 재구성했습니다.
모델의 권한을 제한하는 샌드박스
워크로드를 기반 컴퓨터에서 한층 더 격리하는 가상 머신
전체 클러스터를 인터넷에서 차단하는 네트워크 및 클라우드 경계
가장 뛰어난 모델들로 팀을 구성해 실제 인터넷에 접속하거나, 보안 경계를 벗어나거나, 서로 격리되어야 하는 에이전트와 통신하도록 시도하게 하며 이 시스템에 대한 레드팀 테스트를 지속적으로 수행합니다. 이를 통해 격리 체계가 통제 대상 모델의 역량을 상대로 제대로 유지되는지 테스트할 수 있습니다.
추가 방어 계층으로 프런티어 모델의 모든 추론 실행을 모니터링하여, 모델이 항상 유지되어야 하는 보안 제약을 우회했는지 탐지합니다. 모니터링을 통해 모델의 인터넷 접속이 탐지되면 보안팀에 긴급 알림을 보내고 워크로드를 자동으로 일시 중단합니다.
모니터링은 격리가 실패했을 때 핵심적인 최후 방어선 역할을 합니다. 최근 비정렬 보고서에서는 모니터가 내부 연구 모델이 DNS 설정 오류를 악용하는 것을 탐지(새 창에서 열기)한 사례를 공유했습니다. 이 모델은 해당 오류를 이용해 제한적으로 인터넷에 접근했습니다. 9월 20일부터 10월 1일까지 가장 뛰어난 모델들의 학습과 평가를 일시 중단하고, 사건을 조사하며 보안 허점을 보완했습니다.
신속하고 확실한 개입을 위해 Control Room을 구축했습니다. 이 중앙 시스템은 연구 워크로드를 추적하고, 작업 중단 지시를 받은 뒤 35초 이내에 모델의 추가 출력을 멈춥니다. 이러한 통제는 추론 인프라에서 직접 집행되므로, 각 연구 워크로드가 자체 종료 메커니즘을 구현했는지에 좌우되지 않습니다. 프런티어 모델 연구 워크로드에서는 Control Room을 사용할 수 없게 되는 경우에도 이 통제 장치가 모델 출력을 중단합니다.
레드팀 테스트와 모니터링은 서로 보완하는 역할을 합니다. 샌드박스가 절대 뚫리지 않는다고 보장할 수는 없지만, 레드팀 테스트를 통해 모델이 탈출하는 데 얼마나 많은 노력이 필요한지 평가할 수 있습니다. 모델에 더 많은 노력이 필요할수록, 모니터가 이를 탐지하고 중단할 기회도 많아집니다.
연구 단계에서 강력한 보안 및 모니터링 통제를 의무화하는 데에는 몇 가지 이유가 있습니다.
모델은 아직 평가 중입니다. 일부 모델은 공개 출시에 필요한 안전 학습, 정렬 감사, 검토를 아직 마치지 않았습니다.
프런티어 연구 환경은 위험을 증폭시킬 수 있습니다. 일부 연구 과제에는 더 과감한 구성이 필요하며, 이로 인해 모델이 일반적인 외부 배포 환경에서보다 더 끈질기게 작업하거나 더 뛰어난 능력을 발휘하게 됩니다. 예를 들어, 나비에–스토크스 문제를 푸는 데에는 에이전트 10,000개로 구성된 팀이 필요했습니다.
학습은 사람의 직접적인 감독이 적은 상태에서 대규모로 진행됩니다. 일반적인 Codex 세션과 달리, 학습 워크로드에서는 사람이 각 상호작용을 지켜보지 않는 상태에서 모델이 수많은 행동을 수행합니다.
광범위한 출시에 앞서, 직원들은 샌드박스에서 연구용으로 쓰던 프런티어 모델을 샌드박스 밖의 내부 업무에 사용하기 시작합니다. 예를 들어 직원들이 ChatGPT에서 모델에 접근할 수 있도록 합니다. 이를 통해 모델이 실제 환경에서 어떻게 행동하는지(새 창에서 열기) 더 잘 이해하고, 배포에 관한 의사결정에 반영할 수 있습니다.
이 단계에서는 모델에 광범위한 인터넷 접근 권한과 OpenAI의 Slack, 코드베이스, 내부 인프라에 대한 접근 권한을 부여합니다. 이제 모델의 행동이 OpenAI의 개발 및 운영에 사용하는 시스템에 직접적인 영향을 미치므로, 위험 측면에서 중대한 변화가 생깁니다. 내부 배포 중에는 보안 통제보다 모델 정렬, 시스템 안전장치, 모니터링에 더 많이 의존해야 합니다.
프런티어 모델을 샌드박스 밖에 배포하려면 먼저 정렬 테스트와 모니터링 가능성 테스트(새 창에서 열기)를 거쳐야 합니다. OpenAI는 일련의 정렬 평가를 통해 안전 및 보안 제한 우회와 같은 특정 정렬 실패 유형을 테스트하고, 내부 Codex 실행 궤적을 재샘플링해 비정렬 여부를 확인하는 방식으로 전반적인 행동 성향도 측정합니다. 정렬 및 모니터링 가능성 평가에 관한 자세한 내용은 최신 GPT‑6 Astra 시스템 카드(새 창에서 열기)에서 확인할 수 있습니다.
실제 서비스 환경의 구성을 본떠, 사이버 악용이나 생물무기화처럼 프런티어 모델이 초래할 수 있는 위해를 막도록 설계된 시스템 수준 분류기로 방어 계층을 하나 더 추가합니다. 또한 Codex를 사용하는 직원에게는 일반적으로 Auto-Review(새 창에서 열기) 사용을 의무화합니다. 이 기능은 잠재적으로 위험한 행동을 평가하고 사용자가 판단하도록 전달합니다.
마지막으로, 내부 배포 중 프런티어 모델의 모든 추론 실행에서 비정렬 행동이 나타나는지 모니터링합니다. 이제 모델의 권한이 확대되고 내부 정보와 시스템에 접근할 수 있으므로, 민감한 데이터를 허가되지 않은 대상으로 전송하는 등의 데이터 유출 위험을 탐지하는 일이 특히 중요해집니다. 모니터링은 새로운 형태의 비정렬(새 창에서 열기)을 조사하는 데에도 도움이 됩니다.
공개 배포를 통해 모델은 훨씬 더 많은 사용자, 작업, 환경을 접하게 되며, 위험의 규모와 종류도 늘어납니다. 이 단계에서는 모델에 의도적으로 해로운 행동을 지시하는 잠재적 악성 행위자에 대한 방어도 필요합니다.
공개 출시 전에 모델과 시스템 안전장치는 OpenAI의 외부 배포 안전 요건을 충족해야 합니다. 다음과 같은 방식으로 이를 평가합니다.
더 폭넓은 정렬 및 안전 평가를 수행합니다. 프런티어 모델의 경우, 내부 자동화 레드팀 테스트 에이전트로 적응형 테스트를 새롭게 수행해 모델의 견고성을 극한 조건에서 검증하는 과정이 포함됩니다. 역량 및 안전 평가 결과는 시스템 카드(새 창에서 열기)에 공개합니다.
가장 뛰어난 모델은 제3자와 함께 테스트도 수행하여, 악용 방지 안전장치와 모델의 근본적인 정렬 상태를 모두 극한 조건에서 검증합니다.
내부 배포 단계에서 모니터링으로 포착한 경고를 검토하여 기본 모델의 근본적인 정렬 상태에 변화가 있는지 추적합니다.
모델 안전 학습, 시스템 분류기 등의 ‘동기식’ 안전장치에 더해, 외부 배포에서는 실시간 처리와 별도로 이루어지는 사후 제재와 조사도 활용합니다. 담당 팀은 대규모 조사 에이전트와 사람의 검토를 결합해 사이버 악용, 생물무기화, 증류와 관련된 잠재적 위협 행위자를 탐지하고 식별하며, 모델 자체의 비정렬도 살핍니다. 사후 제재는 여러 계정에 걸쳐 정보를 수집하여 잠재적 위협을 더 종합적으로 파악하는 데 특히 유용합니다.
Daybreak, Rosalind 같은 신뢰 기반 접근 프로그램은 보안 계층을 하나 더 제공합니다. 잠재적 공격자의 접근은 제한하면서, 방어 담당자와 정당한 연구자의 작업을 가속화합니다.
안전 계층 중 하나가 제대로 작동하지 않은 사실을 발견하면, 실제 피해 발생 여부와 관계없이 신속히 조사하고 우선순위를 판단하며, 가능하고 적절한 경우 해당 실패를 외부에 공개하고자 합니다. 비정렬 보고 정책에 따라 모든 직원은 사고를 공개 검토 대상으로 제기할 수 있습니다. 이러한 보고는 조사 대상이 되며, 외부 공개 여부에 의견이 갈리면 안전 자문 그룹에 결정을 상정합니다. 직원 보고에 의존하는 데 그치지 않고, 비정렬 사고를 선제적으로 찾아 해결하고 조사 결과를 공유합니다.
OpenAI의 비정렬 보고서는 여기(새 창에서 열기)에서 확인할 수 있습니다.
이 작업에는 연구의 진전과 엄격한 운영이 모두 필요합니다. 통제를 올바르게 구성하고, 통제 수단들이 서로 어떻게 작용하는지 테스트하며, 실패할 경우 단호하게 대응해야 합니다. 네트워크 서비스의 설정 오류나 자동 중단 기능의 실패는 그 밖의 보호 수단이 아무리 강력해도 전체 보호 체계를 약화시킬 수 있습니다.
모델이 새로운 역량을 갖춰갈수록 안전장치의 바탕이 되는 가정을 계속 의심하고, 필요한 부분을 개선해야 합니다. 연구, 내부 사용, 공개 배포에서 얻은 교훈은 다음 모델의 학습·평가·배포 방식에 반영되어야 합니다.
앞으로도 시스템 카드, 사고 보고서, 내부 배포 위험 보고서(새 창에서 열기), 외부 평가를 통해 결과를 공유하겠습니다. 이를 통해 외부에서도 한계를 포함한 OpenAI의 접근 방식을 면밀히 검토할 수 있도록 하겠습니다. 그 근거가 우리가 정한 안전 기준에 미치지 못하면, 요건이 충족될 때까지 다시 학습을 일시 중단하거나 출시를 보류하겠습니다.
안전 기준 수립
사이버 보안에 중대한 영향을 미치는 AI 역량이 등장한 시대의 모델 개발 속도 조절하기 — 격리를 강화하고 모니터링을 확대하며 정렬에 대한 더 강력한 근거를 요구하는 동안, 프런티어 모델의 학습 속도를 어떻게 늦췄는지 설명합니다.
프런티어 AI 학습의 안전성 입증을 향해 — 기술적 안전장치, 운영 관행, 비정렬 조사를 아우르는 근거 기반 안전성 논증의 초기 지침입니다.
효과적인 제3자 평가를 위한 우선순위와 원칙 — 안전성 입증, 안전장치, 평가, 모델 행동을 독립적으로 검토하기 위해 OpenAI가 제안하는 접근 방식입니다.
내부 사용의 재앙적 위험 평가 정기 요약(새 창에서 열기) — 2026년 6~9월을 다룬 공개 보고서로, 프런티어 모델의 내부 배포, 평가된 위험, 안전장치 및 거버넌스의 변화를 설명합니다.
정렬된 행동의 정의와 평가
더 유능하고 유익한 AI를 위한 모델 사양 업데이트 — 모델의 판단과 행동을 이끌고 인간의 감독을 존중하도록 다섯 가지 핵심 가치를 중심으로 모델 사양을 어떻게 업데이트했는지 설명합니다.
에이전트 안전성의 평가·실서비스 간 행동 격차와 평가 인식의 역할(새 창에서 열기) — 안전 평가 결과와 실제 서비스 환경의 행동 차이를 연구합니다. 모델이 평가 목표를 해석하는 방식이 성능에 미치는 영향도 다룹니다.
g-mean²를 넘어: 모니터링 가능성을 위한 보완 지표(새 창에서 열기) — 모니터가 모델 출력을 거부하는 시뮬레이션 시스템에서 모니터링 가능성을 비교하고 잔여 위험을 추정하기 위한 새로운 지표를 소개합니다.
GPT‑6 Astra 시스템 카드(새 창에서 열기) — Astra의 역량, 안전성, 정렬, 모니터링 가능성에 대한 상세 평가와 배포 안전장치 및 한계를 다룹니다.
모델 격리 및 안전장치 개선
프런티어 모델 학습 환경의 보안 강화 — 격리를 강화하고 오프라인 연구 환경을 구축하며, 가장 뛰어난 모델로 격리 경계를 테스트한 방법을 설명합니다.
안전과 정렬을 위한 활성화 분류기 학습(새 창에서 열기) — 분류기가 모델의 내부 활성화를 활용해 잠재적으로 해로운 행동을 탐지하고 응답이나 도구 호출을 중단하는 방식을 설명합니다.
사람의 실시간 감독 없이 에이전트 행동 자동 검토하기(새 창에서 열기) — 별도의 검토 에이전트가 샌드박스 경계를 넘는 행동을 평가하여, 잠재적으로 해롭거나 허가되지 않은 행동을 차단하면서 코딩 에이전트의 자율적인 작업을 돕는 방식을 설명합니다.
GPT‑Red: 견고성 향상을 위한 자기 개선의 가능성을 열다 — 자기 대전을 통해 자동화 레드팀 테스트 에이전트를 학습시켜 취약점을 발견하고, 프롬프트 인젝션에 대한 모델의 견고성을 높이는 방법을 설명합니다.
Control Room — 연구 인프라 전반의 워크로드를 추적하고, 안전 또는 보안 문제로 개입이 필요할 때 모델 출력을 신속하게 중단시키는 방법을 설명합니다.
사고 대응 및 공개
프런티어 모델의 비정렬을 탐지하는 방법 — OpenAI의 모니터링 시스템은 활성화 프로브, 모델 기반 검토, 자동 조사, 사람의 대응을 결합해 우려되는 행동을 탐지하고 조사합니다.
Hugging Face 사고와 앞으로의 방향 — Hugging Face 사고의 조사 결과와 그에 따른 보안, 모니터링, 정렬 전반의 변화를 다룹니다.
DNS를 이용해 외부 챗봇에 접속한 에이전트(새 창에서 열기) — 연구 모델이 불충분한 DNS 필터링을 통해 인터넷 제한을 우회한 방식, 모니터링이 이를 탐지한 과정, 이후 추가된 통제를 설명합니다.
조직적인 모델 증류 활동 저지 — 계정 제재, 기술적 통제, 파트너와의 공조를 통해 보호된 모델 추론을 추출하려는 시도를 조사하고 저지한 방법을 설명합니다.
모델 비정렬 보고 프레임워크 — 원인이나 중요성이 아직 불확실한 사례를 포함하여, 우려되는 모델 행동을 추적하고 조사하며 공개하는 절차를 설명합니다.
비정렬 보고서 및 공지(새 창에서 열기) — 비정렬이 어떻게 발생하고 안전장치가 어디에서 성공하거나 실패하는지 보여주는 공개 사고 보고와 공지를 모았습니다.
연구의 진전과 응용
연구 가속화: OpenAI 내부에서 바라본 변화 — 사용 확대, 점점 더 복잡해지는 작업, 실험에 미치는 영향 등 코딩 에이전트가 OpenAI 내부 연구를 어떻게 바꾸고 있는지 보여주는 초기 근거를 소개합니다.
나비에–스토크스 밀레니엄 문제에 관하여 — 내부 AI 시스템이 도출한 수학적 증명과 Lean 형식화를 함께 제시하며, 대규모 연구 배포의 역량을 보여줍니다.
Daybreak — 검증된 방어 담당자에게 고급 AI 역량, 보안 도구, 지원을 제공하여 취약점을 찾고 방어를 강화하도록 돕는 OpenAI의 사이버 보안 프로그램입니다.
생명과학 연구를 위한 GPT‑Rosalind 소개 — 생물학, 신약 발굴, 중개 의학에 특화된 모델로, 신뢰 기반 접근 프로그램을 통해 자격을 갖춘 조직에 제공됩니다.






