컴퓨터 사용형 에이전트

오늘 웹으로 이동하여 작업을 수행할 수 있는 에이전트인 Operator⁠(새 창에서 열기)의 리서치 프리뷰를 선보였습니다. Operator는 GPT‑4o의 비전 기능과 강화 학습을 통한 고급 이성을 결합한 모델인 컴퓨터 사용형 에이전트(CUA)로 구동됩니다. CUA는 사람이 화면에서 보는 버튼, 메뉴, 텍스트 필드와 같은 그래픽 사용자 인터페이스(GUI)와 상호작용하도록 훈련되었습니다. 따라서 OS나 웹 전용 API를 사용하지 않고도 디지털 작업을 유연하게 수행할 수 있습니다. 

CUA는 멀티 모달 이해와 이성이 만나는 지점에서의 기초 연구를 수년간 진행해 온 토대에서 구축되었습니다. 고급 GUI 인식과 구조화된 문제 해결을 결합하여 작업을 여러 단계의 계획으로 나누고, 문제가 발생하면 적응하여 스스로 수정할 수 있습니다. 이러한 능력은 AI 개발의 다음 단계로, 모델이 인간이 일상적으로 사용하는 것과 동일한 도구를 사용할 수 있게 하고, 광범위한 새로운 분야에 활용할 수 있는 가능성을 열어줍니다.

CUA는 아직 초기 단계이며 한계가 있지만, 전체 컴퓨터 사용 작업의 경우 OSWorld에서 38.1%의 성공률을, 웹 기반 작업의 경우 WebArena에서 58.1%, WebVoyager에선 87%의 성공률을 달성하며 최첨단 벤치마크 결과를 새롭게 기록했습니다. 이러한 결과는 단일 일반 작업 공간을 사용하여 다양한 환경에서 탐색하고 운영할 수 있는 CUA의 능력을 잘 보여줍니다. 

Operator 시스템 카드에 자세히 설명되어 있는 것처럼, 우리는 에이전트가 디지털 세계에 액세스하여 발생하는 문제를 해결하기 위해 안전을 최우선 순위로 삼고 CUA를 개발했습니다. 점진적인 배포 전략에 따라 operator.chatgpt.com⁠(새 창에서 열기)에서 Operator 리서치 프리뷰를 통해 미국의 Pro⁠(새 창에서 열기) 등급 사용자에게 먼저 CUA를 공개합니다. 실제 피드백을 수집함으로써, 디지털 에이전트 사용이 증가하는 미래에 대비하여 안전 조치를 개선하고 지속적으로 향상할 수 있습니다.

CUA는 로우(Raw) 픽셀 데이터를 처리하여 화면에서 일어나는 일을 파악하고 가상 마우스와 키보드를 사용하여 작업을 완료합니다. CUA는 다단계 작업을 탐색하고, 오류를 처리하고, 예기치 않은 변경 사항에 적응할 수 있습니다. 이러한 능력을 통해 CUA는 특수 API 없이도 양식 작성과 웹사이트 탐색 등의 작업을 수행하며 다양한 디지털 환경에서 작동할 수 있습니다.

사용자가 지시하면 CUA는 지각, 추론, 행동을 통합하는 반복적인 루프를 통해 작동합니다.

• 지각: 컴퓨터의 스크린샷이 모델의 컨텍스트에 추가되어 컴퓨터의 현재 상태를 시각적인 스냅샷으로 보여줍니다. 
• 추론: CUA는 현재와 과거의 스크린샷과 행동을 고려하여 사고의 사슬을 통해 다음 단계를 추론합니다. 이러한 내적 독백은 모델이 관찰하여 평가하고 중간 단계를 추적하고 동적으로 적응할 수 있도록 하여 작업 성능을 향상시킵니다.
• 액션: 작업이 완료되었거나 사용자 입력이 필요하다고 판단할 때까지 클릭, 스크롤, 입력 등의 액션을 수행합니다. CUA는 대부분의 단계는 자동으로 처리하지만, 로그인 세부 정보를 입력하거나 CAPTCHA 양식에 응답하는 등 민감한 작업은 사용자에게 확인을 요청합니다.

CUA는 화면, 마우스, 키보드에 동일한 범용 인터페이스를 사용하여 컴퓨터 사용과 브라우저 사용 모두에서 새로운 벤치마크 결과를 달성합니다.

다음 시각 자료는 CUA가 표준화된 다양한 OSWorld 작업을 탐색하는 예시를 보여줍니다.

CUA는 브라우저에서 직접 액션을 취할 수 있는 능력을 갖춘 OpenAI 최초의 에이전트 제품 중 하나이므로, 새로운 위험과 해결해야 할 과제를 가지고 있습니다. Operator 배포를 준비하면서 오용, 모델 실수, 프론티어 위험, 이 세 가지의 주요 안전 위험 영역에 걸쳐 광범위한 안전 테스트를 수행하고 완화 조치를 구현했습니다. 안전에 대해 다층적인 접근 방식을 취하는 것이 중요하다고 생각하여 CUA 모델 자체, Operator 시스템, 배포 후 프로세스 등 전체 배포 상황에 걸쳐 안전장치를 구현했습니다. 목표는 각 계층에서 점진적으로 위험 프로필을 줄여가면서 완화 조치를 쌓아가는 형식으로 취하는 것입니다.

첫 번째 위험 카테고리는 오용입니다. 사용자에게 사용 정책을 준수하도록 요구하는 것 외에도, Operator의 오용으로 인한 피해 위험을 줄이기 위해 GPT‑4o에 대한 안전 작업을 기반으로 다음과 같은 완화 조치를 마련했습니다.

• 거부: CUA 모델은 여러 유해한 작업과 불법 또는 규제 활동을 거부하도록 훈련되었습니다.
• 차단 목록: Operator는 많은 도박 사이트, 성인 엔터테인먼트, 약물 또는 총기 소매업체 등 당사가 사전 예방으로 차단한 웹사이트에 액세스할 수 없습니다.
• 중재: 사용자 상호작용은 사용 정책을 준수하도록 설계되고, 금지된 활동에 대해 경고하거나 이를 차단할 수 있는 기능을 가지도록 설계된 자동화된 안전 검사기에 의해 실시간으로 검토됩니다. 
• 오프라인 감지: 또한 아동 안전 및 사기성 활동 등 우선 정책 영역에서 금지된 사용을 식별하기 위해 자동화된 감지 및 인적 검토 파이프라인을 개발하여 사용 정책을 시행할 수 있도록 했습니다.

두 번째 위험 카테고리는 모델 실수로, CUA 모델이 실수로 사용자가 의도하지 않은 행동을 취하여 사용자나 타인에게 피해를 주는 경우입니다. 이메일의 오타부터 잘못된 상품 구매, 중요한 문서의 영구 삭제까지, 다양한 심각도의 가상의 실수가 발생할 수 있습니다. 잠재적인 피해를 최소화하기 위해 우리는 다음과 같은 완화 조치를 개발했습니다.

• 사용자 확인: CUA 모델은 외부 부작용이 있는 작업(예 주문을 제출하거나 이메일을 보내기 전 등)을 완료하기 전에 사용자에게 확인을 요청하도록 훈련되어 모델의 작업이 실행되기 전에 사용자가 다시 확인할 수 있습니다.
• 작업 한계: 현재로서는 CUA 모델은 은행 거래나 민감한 의사 결정이 필요한 작업과 같은 특정 고위험 작업을 도와주는 것을 거부합니다.
• 감시 모드: 이메일처럼 특히 민감한 웹사이트에서는 Operator에 사용자의 적극적인 감독이 필요하며, 사용자가 모델의 잠재적인 실수를 직접 발견하고 해결할 수 있도록 해야 합니다.

특히 중요한 모델 실수 카테고리 중 하나는 웹사이트에 대한 적대적인 공격으로, 프롬프트 주입, 탈옥, 피싱 시도 등을 통해 CUA 모델이 의도하지 않은 액션을 수행하도록 합니다. 앞서 언급한 모델 실수에 대한 완화 조치 외에도 우리는 이러한 위험으로부터 보호하기 위해 몇 가지 추가적인 방어 계층을 개발했습니다.

• 신중한 탐색: CUA 모델은 웹사이트에 대한 프롬프트 주입을 식별하고 무시하도록 설계되어 있어 초기 내부 레드팀 테스트 세션에서 한 가지 사례를 제외한 모든 사례를 인식했습니다.
• 모니터링: Operator에서는 화면에서 의심스러운 콘텐츠를 감지하면 실행을 모니터링하고 일시 중지하는 추가 모델을 구현했습니다.
• 감지 파이프라인: 의심스러운 액세스 패턴을 식별하기 위해 자동화된 감지 기능과 인적 검토 파이프라인을 모두 적용하여 해당 패턴에 플래그를 지정하고 몇 시간 내에 신속하게 모니터에 추가할 수 있도록 하고 있습니다.

마지막으로, 자율 복제 및 생물학적 위험이 있는 도구와 관련된 시나리오를 포함하여 준비성 프레임워크⁠(새 창에서 열기)에 설명된 프론티어 위험에 대해 CUA 모델을 평가했습니다. 이 평가에서는 GPT‑4o 보다 위험이 증가하지는 않을 것으로 나타났습니다.

평가와 안전장치에 대해 더 자세히 알아보고 싶으시다면 당사의 안전 접근 방식과 지속적인 개선 사항에 대해 투명성을 제공하고 지속적으로 업데이트 되는 문서인 Operator 시스템 카드를 확인해 보시기 바랍니다.

Operator가 가진 많은 능력이 새로운 것인 만큼 우리가 구현한 위험 및 완화 접근 방식도 새로운 것입니다.  최첨단의 다양하고 상호 보완적인 완화 조치를 마련하는 것을 목표로 하고 있지만, 점점 더 많은 것을 알아가면서 이러한 위험과 접근 방식이 진화할 것으로 예상합니다. 이번 리서치 프리뷰 기간이 사용자 피드백을 수집하고, 안전장치를 개선하고, 에이전트의 안전성을 강화할 수 있는 기회가 되기를 기대합니다.

CUA는 멀티 모달리티, 추론, 안전 분야에서 쌓아온 수년간의 연구 발전을 기반으로 합니다. o-모델 시리즈를 통한 심화 이성, GPT‑4o를 통한 비전 능력, 강화 학습과 지시 계층 구조를 통해 견고성을 개선하는 새로운 기법 분야에서 상당한 진전을 이루었습니다. 다음으로 탐구하려는 도전 과제는 에이전트의 활동 공간을 확장하는 것입니다. 범용 인터페이스가 제공하는 유연성은 이러한 문제를 해결하여 에이전트가 인간을 위해 설계된 모든 소프트웨어 도구를 탐색할 수 있도록 지원합니다. CUA는 전문화된 에이전트 친화적인 API를 넘어 사용 가능한 어떤 컴퓨터 환경에도 적응할 수 있어, 대부분의 AI 모델이 도달할 수 없는 디지털 사용 사례의 ‘롱테일’을 진정으로 해결할 수 있습니다.

또한 개발자가 CUA를 사용하여 자신만의 컴퓨터 사용형 에이전트를 구축할 수 있도록 API⁠(새 창에서 열기)에서 CUA를 사용할 수 있게 하려고 노력하고 있습니다. CUA를 계속해서 개선해 나가면서 커뮤니티에서 발견하게 될 다양한 사용 사례를 보게 되기를 기대합니다. 이번 초기 프리뷰에서 수집한 실제 피드백을 활용해 CUA의 능력과 안전 완화 조치를 지속적으로 개선하여, 모든 이가 AI의 이점을 누릴 수 있게 한다는 우리의 사명을 안전하게 발전시켜 나갈 계획입니다.