SafetyKit은 OpenAI의 고성능 모델을 기반으로 리스크 에이전트를 확장하고 있습니다

SafetyKit⁠(새 창에서 열기)은 마켓플레이스, 결제 플랫폼, 핀테크 기업이 텍스트, 이미지, 금융 거래, 상품 목록 등 다양한 데이터에서 사기 및 금지 행위를 탐지하고 대응할 수 있도록 멀티모달 AI 에이전트를 구축합니다. 최근 모델의 추론 능력과 멀티모달 이해 성능이 크게 향상되면서 이러한 작업의 효과도 높아졌고, 리스크 관리와 규정 준수, 안전 운영의 새로운 기준을 제시하고 있습니다.

SafetyKit의 에이전트는 GPT‑5, GPT‑4.1, 심층 리서치, 컴퓨터 제어 에이전트(CUA)를 활용해 고객 콘텐츠를 100% 검토하며, SafetyKit 평가 기준으로 95% 이상의 정확도를 달성하고 있습니다. 이러한 에이전트는 사용자 보호, 사기 방지, 규제 벌금 회피를 지원하며, 지역별 규정, 사기 이미지에 포함된 전화번호, 노출 콘텐츠 등 기존 시스템이 놓칠 수 있는 복잡한 정책까지 적용할 수 있도록 돕습니다. 또한 자동화는 운영 담당자가 유해 콘텐츠에 노출되는 것을 줄이고, 더 정교한 정책 판단에 집중할 수 있도록 합니다.

SafetyKit의 에이전트는 사기부터 불법 상품까지 특정 리스크 유형을 처리하도록 각각 설계되어 있습니다. 모든 콘텐츠는 해당 위반 유형에 가장 적합한 에이전트로 전달되며, 그에 맞는 최적의 OpenAI 모델이 사용됩니다.

• GPT‑5는 텍스트, 이미지, UI 전반에 걸친 멀티모달 추론을 통해 숨겨진 리스크를 식별하고, 보다 정교하고 단계적인 의사결정을 지원합니다.
• GPT‑4.1은 세부적인 콘텐츠 정책을 안정적으로 준수하며, 대량의 콘텐츠 검수 워크플로를 효율적으로 처리합니다.
• 강화학습 기반 파인튜닝(RFT)은 기본 모델 대비 재현율과 정밀도를 높여 복잡한 안전 정책에서도 최상급 성능을 구현합니다.
• 심층 리서치는 판매자 리뷰와 검증 과정에 실시간 온라인 조사를 결합합니다.
• 컴퓨터 제어 에이전트(CUA)는 복잡한 정책 업무를 자동화하여 비용이 많이 드는 수작업 검수를 줄여줍니다.

이러한 모델 매칭 방식은 기존 솔루션보다 더 정교하고 높은 정확도로 멀티모달 콘텐츠 검수를 확장할 수 있도록 합니다.

예를 들어 스캠 감지 에이전트는 단순히 텍스트를 스캔하는 데 그치지 않습니다. 이 에이전트는 상품 이미지에 포함된 QR 코드나 전화번호와 같은 시각 요소까지 분석합니다. GPT‑4.1은 이미지 구조를 해석하고 레이아웃을 이해해 해당 콘텐츠가 정책 위반인지 판단할 수 있도록 지원합니다.

정책 공개 에이전트는 상품 목록이나 랜딩 페이지에 법적 고지나 지역별 규정 준수 안내와 같은 필수 문구가 포함되어 있는지 확인합니다. GPT‑4.1이 관련 내용을 추출하고, GPT‑5가 규정 준수 여부를 평가한 뒤 에이전트가 위반 사항을 표시합니다.

Graunke는 “우리는 에이전트를 특정 목적에 맞게 설계된 워크플로로 보고 있습니다.”라고 말합니다. “어떤 작업은 깊이 있는 추론이 필요하고, 어떤 작업은 멀티모달 맥락 이해가 필요합니다. OpenAI는 이 두 가지를 모두 안정적으로 수행할 수 있는 유일한 스택입니다.”

정책 판단은 미묘한 차이에 따라 달라지는 경우가 많습니다. 예를 들어 웰니스 제품에 대해 판매자가 고지 문구를 포함해야 하는 마켓플레이스를 생각해보면, 요구 사항은 제품의 주장 내용과 지역별 규정에 따라 달라집니다. 기존 솔루션은 키워드 기반 트리거나 고정된 규칙에 의존하기 때문에 이러한 판단에 필요한 맥락을 놓칠 수 있고, 그 결과 적용이 누락되거나 잘못되는 문제가 발생합니다.

SafetyKit의 정책 공개 에이전트는 먼저 내부 정책 라이브러리를 참고한 뒤 GPT‑5가 콘텐츠를 평가합니다. 치료 또는 예방에 대한 언급이 있는지, 해당 제품이 고지 의무가 있는 지역에서 판매되고 있는지, 그렇다면 필수 문구가 실제로 포함되어 있는지 확인합니다. 이 중 하나라도 기준을 충족하지 못하면 GPT‑5는 구조화된 결과를 반환하고, 에이전트는 이를 바탕으로 문제를 표시합니다.

Graunke는 “GPT‑5의 강점은 실제 정책을 기반으로 할 때 얼마나 정밀하게 판단할 수 있는지에 있습니다.”라고 말합니다. “다른 시스템이 놓치는 경계 사례에서도 정확하고 근거 있는 결정을 내릴 수 있게 해줍니다.”

SafetyKit은 새로운 OpenAI 모델을 가장 어려운 사례 기준으로 평가하고, 성능이 우수한 모델은 당일 바로 배포하기도 합니다. 엄격한 내부 평가를 통해 새로운 모델이 성능을 어떻게 개선할 수 있는지 빠르게 파악하고, 이를 핵심 인프라에 자연스럽게 통합합니다.

OpenAI o3가 출시되었을 때 SafetyKit은 이를 활용해 주요 정책 영역에서 경계 사례 성능을 향상시켰습니다. 이후 GPT‑5가 출시되자 며칠 만에 가장 까다로운 에이전트에 적용되었고, 고난도 비전 작업에서 벤치마크 점수를 10점 이상 끌어올렸습니다.

SafetyKit은 또한 개선 결과를 OpenAI와 직접 공유하며, 평가 결과와 경계 사례 실패, 정책별 인사이트를 전달해 안전이 중요한 워크로드에서 향후 모델 성능 개선에 도움을 주고 있습니다.

SafetyKit의 아키텍처는 대규모 환경에서도 정책을 일관되게 적용하며, 속도와 정밀도, 포괄적인 리스크 대응을 제공합니다. 현재 이 시스템은 하루 160억 토큰 이상을 처리하며, 6개월 전 2억 토큰 수준에서 크게 증가했음에도 정확도를 유지한 채 더 많은 콘텐츠를 분석하고 있습니다.

같은 기간 동안 SafetyKit은 결제 리스크, 사기 방지, 아동 착취 방지, 자금 세탁 방지 등으로 영역을 확장했으며, 수억 명의 최종 사용자를 보호하는 신규 고객도 확보했습니다. 이러한 기반을 통해 고객은 새롭게 등장하는 리스크에 신속하고 자신 있게 대응할 수 있습니다.

Graunke는 “OpenAI의 새로운 모델이 나올 때마다 우리의 역량이 곧바로 강화되는 구조를 만들었습니다.”라고 말합니다. “그래서 이 시스템은 지속적으로 발전하며 변화하는 리스크보다 항상 앞서 나갈 수 있습니다.”

• 고객 콘텐츠 100% 검토 기준 95% 이상 정확도
• 일일 160억 토큰 처리, 6개월 전 2억 토큰에서 증가
• 고난도 비전 작업에서 벤치마크 10점 이상 향상