오늘, 안전 분류 작업을 위한 개방형 가중치 추론 모델인 gpt-oss-safeguard의 리서치 프리뷰를 출시합니다. gpt-oss-safeguard-120b와 gpt-oss-safeguard-20b의 두 가지 규모로 제공됩니다. 두 모델은 gpt-oss 개방형 모델을 파인튜닝한 버전이며, 사용 제약이 적은 동일한 Apache 2.0 라이선스로 제공되어 누구나 자유롭게 사용, 수정 및 배포할 수 있습니다. 두 모델 모두 오늘 Hugging Face(새 창에서 열기)에서 다운로드할 수 있습니다.
gpt-oss-safeguard 모델은 추론을 사용하여 개발자가 제공한 정책을 추론 시점에 직접 해석함으로써 개발자의 필요에 따라 사용자 메시지, 응답, 전체 채팅을 분류합니다. 개발자는 항상 어떤 정책을 사용할지 결정하므로 개발자의 사용 사례에 더 적합한 맞춤형 응답을 제공할 수 있습니다. 모델은 추론 과정을 사용합니다. 개발자는 이 추론 과정을 검토하여 모델이 어떻게 결정에 도달했는지 이해할 수 있습니다. 또한, 정책을 모델에게 학습시키는 것이 아니라 추론 중에 제공하므로 개발자가 성능을 높이기 위해 반복적으로 정책을 수정하기도 쉽습니다. 애초에 내부 사용을 위해 개발한 이 접근법은 레이블이 지정된 다량의 예시로부터 결정 경계를 간접적으로 추론하기 위해 분류기를 훈련하는 기존의 방법보다 훨씬 더 유연합니다.
gpt-oss-safeguard를 사용하면 개발자는 각자의 사용 사례에 가장 적합한 정책의 기준선을 정할 수 있습니다. 예를 들어, 비디오 게임에 관한 토론 포럼에서는 게임 내 부정 행위에 대해 논의하는 게시물을 분류하고 싶을 수 있고, 제품 리뷰 사이트에서는 자체 정책을 사용하여 가짜로 보이는 리뷰를 가려내고 싶을 수 있습니다.
모델은 두 개의 입력, 즉 정책과 해당 정책에 따라 분류할 콘텐츠를 한 번에 받아 콘텐츠가 어느 범주에 해당하는지에 대한 결론과 그 추론 근거를 출력합니다. 개발자는 이러한 결론을 자체 안전 파이프라인에 사용할지 여부와, 사용한다면 어떤 방식으로 사용할지를 직접 결정합니다. 이 추론 기반 접근법은 다음과 같은 상황에서 특히 성능이 뛰어납니다.
- 잠재적인 피해가 새롭게 등장하거나 변화하고 있어 그에 따라 정책을 빠르게 조정해야 할 경우
- 도메인에 미묘한 차이가 많고 작은 분류기로는 처리하기 어려운 경우
- 플랫폼의 각 위험에 대한 고품질 분류기를 훈련할 샘플이 개발자에게 충분하지 않은 경우
- 레이턴시보다 고품질의 설명 가능한 레이블을 생성하는 것이 더 중요한 경우
리서치 및 안전 커뮤니티로부터 피드백을 받아 모델 성능을 지속적으로 개선하기 위해 gpt-oss-safeguard의 이번 프리뷰를 출시합니다. OpenAI는 수개월에 걸쳐 ROOST(새 창에서 열기)와 협력하여 개발자의 주요 요구 사항을 파악하고 모델을 테스트하며 개발자 문서를 제작하는 등 이번 개방형 가중치 모델 출시를 준비했습니다. 이번 출시의 일환으로 ROOST는 온라인 공간을 보호하기 위한 개방형 AI 모델을 연구하는 모델 커뮤니티(새 창에서 열기)를 오늘 출범합니다. 이 출시와 함께 짧은 기술 보고서도 게시합니다. 여기에는 해당 프리뷰 모델의 안전 성능이 상세히 나와 있습니다.
안전과 관련하여 OpenAI는 심층 방어가 중요하다고 생각합니다. OpenAI는 모델이 안전하게 응답하도록 훈련하고, 안전 정책에 따라 잠재적으로 안전하지 않은 입력과 출력을 감지하고 대응하기 위한 추가 보호 계층을 구현합니다. 특정 위험 영역에서 안전한 콘텐츠와 안전하지 않은 콘텐츠를 구분하는 안전 분류기는 오랫동안 OpenAI 및 다른 대규모 언어 모델의 주요 방어 계층으로 사용되어 왔습니다.
Moderation API(새 창에서 열기)를 통해 제공되는 것과 같은 기존 안전 분류기는 사전 정의된 안전 정책에 따라 안전한 콘텐츠와 안전하지 않은 콘텐츠의 예시 수천 개를 수작업으로 선별하여 개발합니다. 이 훈련 데이터로부터 분류기는 안전한 출력과 안전하지 않은 출력을 구분하는 방법을 학습합니다. 이 기존 방식에서는 분류기에 실제 안전 정책이 직접 제공되지 않습니다. 대신, 안전하지 않다고 레이블이 지정된 콘텐츠에서는 유사성을 찾고 안전하지 않은 콘텐츠와 안전한 콘텐츠의 차이점을 찾음으로써 예시에 레이블을 지정하는 데 사용된 기반 정책을 추론하려고 시도하는 것입니다.
기존 분류기는 레이턴시와 운영 비용이 낮으면서도 높은 성능을 낼 수 있습니다. 하지만 훈련 예시를 충분히 수집하려면 많은 시간과 비용이 들 수 있으며, 정책을 업데이트하거나 변경하려면 분류기를 재훈련해야 합니다.
gpt-oss-safeguard의 차별점은 추론 능력 덕분에 개발자가 자신이 직접 쓰거나 다른 소스에서 가져온 정책 등 어느 정책이든 적용할 수 있다는 점입니다. 또한 추론은 모델이 새롭게 작성된 정책에 대해 일반화하는 것을 돕습니다. 안전 정책 외에도 gpt-oss-safeguard를 사용하여 특정 제품과 플랫폼에 중요한 다른 기준에 따라 콘텐츠에 레이블을 지정할 수 있습니다.
현재 OpenAI의 주요 추론 모델은 안전 정책을 직접 학습하고, 추론 역량을 활용해 무엇이 안전한지 판단합니다. 숙고적 정렬이라고 하는 이 접근법은 이전의 안전 훈련 방법을 크게 개선한 것으로, 추론 모델의 역량이 향상되는 가운데서도 이전 세대의 비추론 모델보다 여러 측면에서 더 높은 안전성을 갖추도록 합니다. 그러나 추론은 모델 자체를 훈련하는 데만 유용하지 않습니다. 또한 심층 방어를 위한 새로운 가능성을 열어 줍니다. 추론 기반 접근법은 더 유연하고 이전 훈련의 세부 사항에 따른 제약도 적습니다. 이러한 장점은 때로 그에 수반되는 추가적인 컴퓨팅 비용과 레이턴시를 충분히 감수할 만한 가치가 있습니다.
gpt-oss-safeguard는 OpenAI가 내부적으로 개발하여 Safety Reasoner라는 도구에 적용한 접근법을 개방형 가중치로 구현한 모델입니다. 처음에는 정책 레이블 지정 작업에 강화 파인 튜닝을 실행하여 인간 전문가의 올바른 판단을 모사할 때 모델에 보상을 주는 것으로 시작했습니다. 이렇게 해서 모델은 정책이 어떻게 판단으로 이어지는지를 추론하도록 학습되었습니다. 현재 안전 추론기를 통해 OpenAI는 분류기를 재훈련하는 데 걸리는 시간보다 더 짧은 시간에 프로덕션 환경에서 안전 정책을 동적으로 업데이트할 수 있습니다. 그렇기 때문에 안전 추론기는 반복 배포를 위한 핵심 도구입니다. OpenAI는 새로운 모델을 프로덕션 환경에 배포할 때 대개 더 엄격한 정책으로 시작하고, 안전 추론기가 이러한 정책을 신중하게 적용할 수 있도록 필요한 경우 비교적 많은 컴퓨팅 자원을 사용합니다. 그런 다음, 프로덕션에서 위험에 대한 이해가 커짐에 따라 정책을 조정합니다. 최근 출시된 일부 모델에서는 전체 컴퓨팅 자원 중 안전성 추론에 사용되는 비중이 최대 16%에 달했습니다.
안전 추론기는 안전 스택에서 핵심적인 구성 요소가 되었습니다. 이미지 생성과 Sora 2에서 안전 추론기는 출력에 대해 동적이고 단계적인 평가를 수행하여 안전하지 않은 생성을 실시간으로 식별하고 차단합니다. 생물학 및 자해와 같은 영역에서는 Moderation API에 사용되는 것과 같은 모델을 작고 빠르며 재현율이 높은 분류기로 활용하여 어떤 콘텐츠가 대상 영역에 해당하는지 판단한 다음, 안전 추론기를 사용해 해당 콘텐츠를 검토합니다. 안전 추론기는 상세한 분류 체계에 따라 모델 출력을 분류하여 가장 적합한 응답을 결정하며, GPT‑5와 ChatGPT 에이전트 같은 시스템에서 다층적 안전 조치를 구성합니다. 이제 gpt-oss-safeguard 모델은 위와 동일한 접근법을 누구나 사용할 수 있게 합니다.
OpenAI는 gpt-oss-safeguard 모델을 내부 및 외부 평가 세트에서 평가했습니다.
내부 평가에서는 추론 시점에 gpt-oss-safeguard에 여러 정책을 동시에 제공했습니다. 각 테스트 입력마다, 포함된 모든 정책을 기준으로 gpt-oss-safeguard가 올바르게 분류하는지를 평가했습니다. 이 작업은 쉽지 않습니다. 포함된 모든 정책에 대해 모델의 결과가 정답으로 설정된 기준 레이블과 정확히 일치해야만 정확한 것으로 집계되기 때문입니다.
gpt-oss-safeguard 모델과 내부 안전 추론기는 다중 정책 정확도에서 gpt-5-thinking과 gpt-oss 개방형 모델보다 높은 성능을 보였습니다. gpt-oss-safeguard 모델이 gpt-5-thinking보다 뛰어난 성능을 보인다는 점은 gpt-oss-safeguard 모델의 작은 크기를 고려하면 특히 놀랍습니다.
또한 이 모델들을 2022년 리서치 페이퍼(새 창에서 열기)와 함께 공개한 Moderation 데이터세트(새 창에서 열기)와 오픈 소스 챗봇의 사용자 쿼리를 기반으로 한 공개 벤치마크인 ToxicChat(새 창에서 열기)에서 평가했습니다.
2022 Moderation 평가 세트에서는 내부 안전 정책을 사용해 평가했으며, 이후 발생한 변경 사항을 반영하기 위해 정책 하나를 조정했습니다. gpt-oss-safeguard는 내부 안전 추론기와 gpt-5-thinking을 비롯해 테스트된 다른 모델을 모두 약간의 차이로 뛰어넘었습니다. 그러나 안전 추론기와 gpt-oss-safeguard의 차이는 통계적으로 유의미하지 않습니다.
ToxicChat의 경우 내부 정책 일부를 바탕으로 직접 작성한 짧은 프롬프트를 사용해 평가했습니다. 이번에도 내부 안전 추론기는 gpt-5-thinking의 성능을 뛰어넘었지만 gpt-5-thinking과 안전 추론기 둘 다 gpt-oss-safeguard-120b와 gpt-oss-safeguard-20b보다 약간의 차이로 우세했습니다. gpt-oss-safeguard는 상대적으로 크기가 작기 때문에 여전히 이러한 유형의 작업에 더 적합하다고 봅니다.
gpt-oss-safeguard에는 두 가지 구체적인 제약사항이 있습니다. 첫째, 수만 개의 고품질 레이블 지정 샘플로 훈련된 분류기는 정책을 직접 추론하는 gpt-oss-safeguard보다 콘텐츠 분류에서 여전히 더 높은 성능을 보일 수 있다는 점을 확인했습니다. 더 복잡한 위험에 대해 더 높은 성능이 필요한 경우에는 시간을 들여 전용 분류기를 훈련하는 편이 더 나을 수 있습니다.
둘째, gpt-oss-safeguard는 많은 시간과 컴퓨팅 자원을 필요로 할 수 있어 플랫폼의 모든 콘텐츠에 적용할 수 있도록 확장하기가 어려울 수 있습니다. 내부적으로 안전 추론기를 통해 이를 여러 방식으로 처리합니다. (1) 더 작고 빠른 분류기를 사용해 평가할 콘텐츠를 결정하고, (2) 경우에 따라 안전 추론기를 비동기식으로 사용해 낮은 레이턴시의 사용자 경험을 제공하는 동시에, 안전하지 않은 콘텐츠가 감지되면 개입할 수 있도록 합니다.
gpt-oss-safeguard는 OpenAI가 커뮤니티와 함께 만든 첫 번째 안전 모델 세트입니다. 조기 테스트 시 SafetyKit, ROOST, Tomoro, Discord의 신뢰 및 안전 전문가들과 함께 gpt-oss-safeguard를 반복 개선했습니다. ROOST의 CTO Vinay Rao는 이렇게 말합니다. “gpt-oss-safeguard는 ‘자체 정책과 유해성 정의를 가져와 사용하는’ 방식으로 설계된 최초의 오픈 소스 추론 모델입니다. 조직은 자유롭게 핵심적인 안전 기술을 연구하고 수정하고 사용하며 혁신할 수 있어야 합니다. 테스트에서 이 모델은 각기 다른 정책을 이해하고, 추론을 설명하며, 정책의 미묘한 차이를 고려해 적용하는 능력이 뛰어났으며, 이러한 특성이 빌더와 안전 팀에 유용할 것으로 생각합니다.”
OpenAI는 ROOST Model Community(RMC)를 비롯해 커뮤니티와 지속적으로 협력하며 개방형 안전 도구를 개선해 나갈 것입니다. RMC는 안전 실무자와 연구원을 한데 모아 오픈 소스 AI 모델을 안전 워크플로에 적용하기 위한 모범 사례와 평가 결과, 모델 피드백을 공유합니다. RMC GitHub 저장소(새 창에서 열기)를 방문하여 이 파트너십과 참여 방법에 대해 자세히 알아보세요.
이 모델을 활용해 개발을 시작하려면 Hugging Face(새 창에서 열기)에서 모델을 다운로드하세요.
