OpenAI 레드팀 테스트 네트워크

OpenAI 레드팀 테스트 네트워크 참여자를 공개 모집합니다. OpenAI 모델의 안전성 향상에 관심 있는 각 분야 전문가 여러분의 참여를 기다립니다. 저희 AI 모델을 엄격하게 평가하고 레드팀 테스트를 수행할 다양한 분야의 전문가를 찾습니다.

레드팀 테스트^A는 저희의 반복적 배포 프로세스⁠에서 필수적인 부분입니다. 지난 몇 년간 저희의 레드팀 테스트는 OpenAI 내부의 적대적 테스트를 중심으로 한 활동에서 외부 전문가 그룹^B과 협력하는 방식으로 확대되었습니다. 이 협력을 통해 분야별 위험 분류 체계를 개발하고 새로운 시스템에서 유해할 수 있는 능력을 평가하고 있습니다. DALL·E 2⁠(새 창에서 열기)와 GPT‑4⁠(새 창에서 열기) 등의 모델에 관한 자료에서 외부 전문가와의 협력을 포함한 과거 레드팀 테스트 활동을 자세히 살펴볼 수 있습니다.^C

오늘 저희는 이러한 기반을 토대로 더욱 체계적인 활동을 시작합니다. 모델의 안전성을 높이기 위해 외부 전문가와의 협력을 한층 강화하고 확대하고자 합니다. 개별 전문가, 연구 기관, 시민사회 단체와의 협력은 이 과정에서 중요한 부분을 차지합니다. 저희는 이 활동이 제3자 감사처럼 외부에서 정한 거버넌스 관행을 보완한다고 봅니다.

OpenAI 레드팀 테스트 네트워크는 신뢰할 수 있고 경험이 풍부한 전문가들의 커뮤니티입니다. 주요 모델 배포 전에 일회성으로 전문가를 선정하고 협력하는 데 그치지 않고, 위험 평가와 완화 활동 전반에 폭넓은 의견을 제공할 수 있습니다. 네트워크 구성원은 각자의 전문성에 따라 모델 및 제품 개발 수명 주기의 여러 단계에서 레드팀 테스트 참여를 요청받게 됩니다. 모든 구성원이 각각의 새 모델이나 제품에 참여하는 것은 아닙니다. 참여 시간은 각 구성원과 개별적으로 정하며, 연간 5~10시간 정도만 참여할 수도 있습니다.

구성원들은 OpenAI가 의뢰한 레드팀 테스트 활동 외에도 일반적인 레드팀 테스트 방법과 결과에 대해 서로 의견을 나눌 기회를 갖게 됩니다. 더욱 다양한 의견을 지속적으로 수렴하고, 레드팀 테스트가 반복적으로 수행되는 과정으로 자리 잡도록 하는 것이 목표입니다. 이 네트워크는 연구자 액세스 프로그램⁠과 오픈 소스 평가⁠(새 창에서 열기) 등 AI 안전성을 위한 다른 협력 기회를 보완합니다.

이 네트워크는 더 안전한 AI 기술과 정책을 개발하고, AI가 우리의 생활과 업무, 상호작용 방식에 미칠 영향의 방향을 함께 만들어 갈 특별한 기회를 제공합니다. 네트워크에 참여하면 분야별 전문가 풀의 일원이 되어 모델과 시스템 배포의 여러 단계에서 평가를 요청받을 수 있습니다.

AI 시스템을 평가하려면 폭넓은 분야의 지식과 다양한 관점, 삶의 경험을 이해해야 합니다. 전 세계 전문가들의 지원을 환영하며, 선정 과정에서는 전문 분야뿐 아니라 지역의 다양성도 중요하게 고려합니다. 

주요 관심 분야는 다음과 같으며, 이 밖의 분야도 환영합니다.

AI 시스템이나 언어 모델을 다뤄본 경험이 필수는 아니지만 도움이 될 수 있습니다. 저희가 가장 중요하게 여기는 것은 AI 시스템의 영향을 평가하는 과정에 적극적으로 참여하고 자신만의 관점을 보태려는 의지입니다.

OpenAI 레드팀 테스트 네트워크의 모든 구성원은 레드팀 테스트 프로젝트에 참여하면 기여에 대한 보상을 받습니다. 네트워크에 소속되어 있어도 연구 결과를 발표하거나 다른 기회를 모색하는 데 제약은 없습니다. 다만 레드팀 테스트 및 기타 프로젝트 참여에는 비밀 유지 계약(NDA)이 적용되거나 기한 없이 비밀을 유지해야 하는 경우가 많다는 점을 고려해야 합니다.

지원이 마감되었습니다.

질문: 네트워크에 참여하면 어떤 활동을 하게 되나요?

답변: 네트워크에 참여하면 새 모델을 테스트하거나 이미 배포된 모델의 특정 관심 영역을 테스트할 기회에 대해 연락을 받을 수 있습니다. 네트워크 활동은 비밀 유지 계약(NDA)에 따라 진행됩니다. 다만 저희는 지금까지 많은 레드팀 테스트 결과를 시스템 카드와 블로그 게시물을 통해 공개해 왔습니다. 레드팀 테스트 프로젝트에 참여한 시간에 대해 보상을 받습니다.

질문: 네트워크 활동에 얼마나 많은 시간을 할애해야 하나요? 

답변: 참여 시간은 본인의 일정에 맞게 조정할 수 있습니다. 모든 구성원이 매번 참여 요청을 받는 것은 아닙니다. OpenAI는 각 레드팀 테스트 프로젝트에 적합한 구성원을 선정하며, 후속 레드팀 테스트 활동에서는 새로운 관점을 중요하게 고려합니다. 일 년에 단 5시간만 참여해 주셔도 저희에게는 큰 도움이 됩니다. 관심은 있지만 시간이 부족하더라도 주저하지 말고 지원해 주세요.

질문: 선정 결과는 언제 통보되나요?

답변: OpenAI는 네트워크 구성원을 수시로 선정하며, 지원은 2023년 12월 1일까지 가능합니다. 이번 모집이 종료되면 추가 모집 여부를 다시 검토할 예정입니다.

질문: 네트워크에 참여하면 모든 새 모델의 레드팀 테스트를 요청받게 되나요?

답변: 아닙니다. OpenAI는 각 레드팀 테스트 프로젝트에 적합한 구성원을 선정하므로, 모든 새 모델을 테스트하게 되는 것은 아닙니다.

질문: 네트워크 구성원은 어떤 기준으로 선정하나요?

답변: 주요 선정 기준은 다음과 같습니다.

• 레드팀 테스트 관련 특정 분야에서 입증된 전문성 또는 경험

• AI 안전성 향상에 대한 열정

• 이해 상충이 없을 것

• 다양한 배경과 그동안 참여가 부족했던 집단의 대표성

• 다양한 지역의 대표성 

• 두 개 이상의 언어를 유창하게 구사하는 능력

• 기술 역량(필수 아님)

질문: 안전성을 위해 협력할 수 있는 다른 기회도 있나요?

답변: 네트워크 참여 외에도 협력을 통해 AI 안전성에 기여할 수 있는 기회가 있습니다. 예를 들어 AI 시스템의 안전성 평가를 설계하거나 수행하고 그 결과를 분석할 수 있습니다.

GPT‑4 출시⁠와 함께 공개된 OpenAI의 오픈 소스 Evals⁠(새 창에서 열기) 리포지터리에는 이 과정을 쉽게 시작할 수 있도록 사용하기 편리한 템플릿과 방법 예시가 마련되어 있습니다.

평가는 간단한 질의응답 테스트부터 복잡한 시뮬레이션까지 다양하게 구성할 수 있습니다. 다음은 AI의 행동을 여러 각도에서 평가하기 위해 OpenAI가 개발한 구체적인 평가 예시입니다.

설득

• MakeMeSay⁠(새 창에서 열기): AI 시스템은 다른 AI 시스템을 속여 비밀 단어를 말하게 하는 데 얼마나 능숙한가?

• MakeMePay⁠(새 창에서 열기): AI 시스템은 다른 AI 시스템이 돈을 기부하도록 얼마나 잘 설득할 수 있는가?

• 투표 안건⁠(새 창에서 열기): AI 시스템은 다른 AI 시스템이 특정 정치적 안건을 지지하도록 얼마나 큰 영향을 미칠 수 있는가?

스테가노그래피(메시지 은닉)

• 스테가노그래피⁠(새 창에서 열기): AI 시스템은 다른 AI 시스템에 들키지 않고 비밀 메시지를 얼마나 잘 전달할 수 있는가?

• 텍스트 압축⁠(새 창에서 열기): AI 시스템은 비밀 메시지를 숨길 수 있도록 메시지를 얼마나 잘 압축하고 복원할 수 있는가?

• 셸링 포인트⁠(새 창에서 열기): AI 시스템은 직접 소통하지 않고도 다른 AI 시스템과 얼마나 잘 행동을 조율할 수 있는가?

AI 시스템을 평가할 때 창의적으로 접근하고 다양한 시도를 해보시기 바랍니다. 평가를 완성했다면 더 폭넓은 AI 커뮤니티에서 활용할 수 있도록 오픈 소스 Evals⁠(새 창에서 열기) 리포지터리에 기여해 주세요.

연구자 액세스 프로그램⁠에도 지원할 수 있습니다. 이 프로그램은 저희 제품을 활용해 책임 있는 AI 배포와 관련 위험 완화 분야를 연구하는 연구자들에게 크레딧을 제공합니다.