Control Room

모델의 성능이 강력해지고 그에 따른 안전 및 보안 위험이 커질수록, 잠재적인 문제를 감지하고 필요할 때 모델을 신속하게 멈출 수 있는 능력이 더욱 중요해집니다. 이를 위해 Control Room을 구축했습니다.

Control Room은 연구 인프라 전반의 모델 워크로드를 추적하고, 안전이나 보안 문제가 우려될 때 신속하게 중단하는 중앙 시스템입니다. 모델 학습 및 평가를 위한 에이전트 기반 샘플링, 데이터 처리 등 모든 연구용 추론 워크로드가 이 시스템에 연결됩니다. 이 시스템은 비정렬 모니터링 시스템과 연동되며, 작업을 중단하거나 일시 중지하기 위해 개입하기로 결정한 시점부터 35초 이내에 모델 출력을 멈춥니다. 다른 시스템에 장애가 발생해도 계속 작동하며, Control Room 자체가 중단되면 모델 출력을 멈추도록 구축했습니다.

Control Room은 가장 필요성이 큰 연구 인프라 전반에 이미 배포되어 있습니다. 외부 서비스용 모델 서빙 스택은 본래 구조상 훨씬 더 중앙화되어 있으며, 필요할 때 모델 배포를 신속히 중단할 수 있는 운영 역량도 이미 잘 갖추고 있습니다.

Control Room은 워크로드, 추론 엔진, 중앙화된 Control Room 서비스라는 몇 가지 시스템을 연동해 작동합니다.

• 워크로드는 강화학습 실험, 평가, 대량 샘플링 또는 데이터 처리처럼 실행 중인 작업을 말합니다. 에이전트 기반 추론을 수행하는 모든 연구 워크로드는 승인된 안전성 입증 자료에 연결되어 있어야 합니다.

• 추론 엔진, 줄여서 엔진은 모델 자체를 말합니다. 엔진은 GPU에서 직접 실행되는 모델의 두뇌라고 생각하면 됩니다. 워크로드는 일반적으로 하나 이상의 모델을 사용하며, 이러한 모델은 하나 이상의 서로 다른 추론 엔진에서 실행될 수 있습니다. 여러 워크로드가 같은 추론 엔진을 사용할 수도 있습니다.

• Control Room 서비스는 작업을 추적하고, 해당 작업이 모델 출력을 계속 생성하도록 허용할지 제어합니다. 엔진은 요청을 처리하기 전에 Control Room 서비스에 승인을 확인합니다. 작업이 중단된 상태라면 서비스가 요청을 거부하여 추가 출력을 차단합니다.

Control Room은 다음과 같이 연동됩니다.

• 새 작업을 시작할 때 워크로드 코드는 Control Room에 새 job_id를 요청합니다.

• 워크로드가 모델에서 토큰을 샘플링해야 할 때마다, 해당 모델을 실행하는 추론 엔진에 job_id를 전달하며 요청을 보냅니다. 엔진은 Control Room에 job_id를 전달하고 해당 요청을 처리해도 되는지 승인을 요청합니다.

• Control Room은 해당 작업의 종료 여부를 확인하고, 종료된 작업이라면 추론 요청을 거부합니다. 엔진은 워크로드의 추론 요청에 거부 응답을 반환하여, 해당 작업의 모델 출력이 더 이상 생성되지 않도록 합니다.

모든 프런티어 강화학습 작업에는 모니터가 함께 실행됩니다. 모니터는 학습 중인 모델의 모든 행동을 점검하고, 문제가 감지되면 경고를 보내는 별도의 모델입니다. 예를 들어, 최근 발생한 DNS 관련 사건⁠(새 창에서 열기)도 모니터가 포착했습니다.

Control Room과 모니터링 시스템은 다음과 같이 연동됩니다.

• 모니터링 시스템이 잠재적인 문제를 감지하면, 그 내용과 심각도에 따라 작업 중단을 결정할 수 있습니다.

• 이 경우 모니터링 시스템은 job_id와 함께 작업 중단 메시지를 Control Room에 보냅니다. Control Room은 해당 작업이 종료되었음을 기록합니다.

• 이후 해당 job_id의 작업이 토큰을 더 샘플링하기 위해 추론을 요청하면, 어떤 엔진에서 실행되는 어떤 모델에 대한 요청이든 거부되어 추가 모델 출력이 중단됩니다.

Control Room이 작업 중단 명령을 받은 시점부터 해당 작업을 더 이상 진행할 수 없게 되는 시점까지 걸리는 시간은 최대 35초입니다. 이 35초의 지연은 필요한 트래픽 규모를 지원하기 위해 마련한 추론 승인 캐싱 계층에서 발생합니다. 작업을 즉시 종료할 수 있도록 이 시간을 0초로 줄이기 위해 노력하고 있습니다.

실험, 평가 작업 등의 워크로드는 일반적으로 연구자나 연구팀이 관리하고 운영합니다. 따라서 워크로드 코드는 자주 변경되며, 안전을 지탱하는 핵심 보호 장치를 구현하기에 적합한 곳이 아닙니다. 이 때문에 저희는 워크로드 코드에 버그나 오류가 있어도 안정적으로 작동하도록 시스템을 설계했습니다.

이를 위해 추론 계층에 종료 메커니즘을 구현했습니다. 워크로드 코드는 매우 다양하며 분산되어 있습니다. 반면 OpenAI의 전체 연구에서 사용하는 추론 코드 경로는 극소수에 불과하며, 배포 방식도 훨씬 더 중앙화되고 통일되어 있습니다. 따라서 추론 계층을 모든 요청이 거치는 관문으로 활용하면, 연구에서 실행하는 모든 모델 추론이 요청마다 Control Room의 승인 확인을 거치도록 확실하게 보장할 수 있습니다. 또한 에이전트와 프로그램을 활용해 지속적으로 점검하여, 사용자가 실수로든 악의적으로든 Control Room이 구현되지 않았거나 비활성화된 비인가 엔진 구현체를 실행하지 않는지 확인합니다.

마지막으로, 저희 시스템은 ‘장애 시 차단’ 방식으로 작동합니다. 즉, 시스템 오류나 악의적인 행위자의 조작을 포함한 다른 이유로 Control Room 서비스가 중단되거나 비활성화되면, 정상 운영이 재개될 때까지 모든 추론 요청을 거부하도록 엔진의 Control Room 연동을 구성했습니다. 현재 모든 프런티어 모델 연구 워크로드에 장애 시 차단 방식을 적용했으며, 나머지 모든 연구 워크로드에도 며칠 내로 적용을 완료할 예정입니다.

Control Room은 프런티어 모델의 안전한 학습과 배포를 위한 종합적인 접근 방식의 한 부분입니다. 앞으로 몇 달에 걸쳐 이 시스템을 계속 강화하고 확장하는 한편, 정렬되지 않은 행동과 보안 침해를 모니터링하는 데에도 투자할 예정입니다. AGI를 안전하게 개발하고 배포하며 보안을 지킬 수 있는 시스템을 함께 구축하고 싶으신가요? 저희는⁠ 인재를 모집하고 있습니다⁠!