Hugging Face 사고와 정렬 불일치 모델이 제3자에게 미친 기타 영향
AI 시스템의 역량과 자율성이 높아질수록 정렬 불일치 행동이 사이버 보안 사고를 비롯해 개발자가 예상하지 못한 결과 등 현실 세계에 중대한 영향을 미치는 행동으로 이어질 수 있습니다. 따라서 이러한 행동이 어떻게 나타나고 심화되는지, 이를 어떻게 탐지하고 대응할지를 이해하는 일은 첨단 AI 시스템을 안전하게 개발하고 배포하는 데 갈수록 중요해지고 있습니다.
처음에는 Hugging Face 사고에 플랫폼 수준의 침해가 수반되었기 때문에 주로 보안 문제로 이해했습니다. 이는 지금까지 OpenAI 모델에서 확인된 이러한 유형의 활동 중 가장 심각하며, 주로 매우 유능한 내부 전용 연구 모델에 의해 발생했습니다. 이후 Hugging Face 기술 보고서에 기록된 대로, 어려운 과제를 해결하기 위해 모델이 정렬되지 않은 전략에 의존하면서 이 침해가 발생했음을 파악했습니다. 사이버 보안 사고는 이러한 위험이 드러나는 한 가지 형태입니다. 정렬 불일치는 OpenAI 모델이 제3자 사이트에 게시물을 올리는 것처럼 기존 보안 범주에 속하지 않는 예상 밖의 우려스러운 행동으로도 이어질 수 있으며, 이를 OpenAI는 ‘에이전트 스팸’이라고 부릅니다. 두 문제 모두 해결해야 합니다.
OpenAI는 더 심각한 사건을 우선시하는 한편, 에이전트 스팸을 비롯해 심각도가 낮은 정렬 불일치 활동으로 범위를 넓혀 전반적인 활동을 계속 검토해 왔습니다.
이 페이지에는 Hugging Face 사고에 관한 보고서와 업데이트, 관련 연구 및 공개 발표, 추가로 확인된 활동, 모델 정렬 불일치의 역할에 관해 알게 된 점, 시스템 강화를 위해 취하는 조치가 한데 정리되어 있습니다. 조사가 진전되는 대로 이 페이지를 업데이트하겠습니다.
제3자에게 영향을 미친 활동
이러한 예상 밖의 행동이 어느 범위에서 발생했는지 더 정확히 파악하기 위해 학습 및 평가 중 OpenAI 모델이 인터넷에서 수행한 활동을 광범위하게 검토하고 있습니다. 검토의 일환으로 다음에 해당하는 사례부터 제3자를 지속적으로 파악해 알리고 있습니다.
OpenAI 모델이 제3자의 보안 통제를 우회했거나 온라인 서비스의 가용성을 저해했을 가능성이 있는 사례 또는
정렬 불일치 사례가 제3자 웹사이트나 서비스에 부정적인 영향을 미친 경우.
현재까지 검토한 결과, 위 기준에 따라 수십 곳의 제3자에게 알렸습니다. 과거 활동에 대한 검토는 계속 진행 중이며 상당한 시간과 자원이 필요합니다. 검토를 진행하면서 추가 제3자에게 알리겠습니다.
아래에는 관찰한 정렬 불일치 활동의 유형을 설명하는 익명화된 요약이 나와 있으며, 추가 제3자에게 알리고 이해가 깊어지는 대로 설명을 업데이트하겠습니다. 검토 현황과 관련된 업데이트도 공유하겠습니다. 영향을 받은 당사자를 보호하기 위해 필요한 경우 이름과 기타 식별 정보를 대체로 생략하겠습니다. 다만 통지를 받은 당사자는 OpenAI가 제공한 정보를 공개적으로 공유할 수 있습니다.
관찰된 활동 요약
현재까지 검토 및 통지 과정에서 다음과 같은 활동 유형을 확인했습니다.
접근 통제 우회: 에이전트가 일반적으로 신원 확인, 특정 권한, 구독 또는 계정이 필요한 정보나 기능에 접근합니다. 예를 들어 다른 웹 주소를 사용하거나 요청의 세부 정보를 변경하거나, 예상보다 많은 접근 권한을 부여하는 로그인 세션을 이용했습니다.
노출된 인증 정보 사용: 에이전트가 공개된 로그인 정보나 액세스 키를 찾아 서비스에 접근하는 데 사용했습니다.
쿼리 또는 명령어 삽입: 에이전트가 웹사이트나 서비스에 텍스트를 입력했고, 서비스가 이를 일반 입력이 아닌 명령으로 처리했습니다. 그 결과 서비스가 서버에서 데이터베이스 쿼리, 애플리케이션 코드 또는 명령어를 실행할 수 있었습니다.
런타임 내부 요소 접근: 에이전트가 서비스 구현이 담긴 파일을 읽거나 내부용 백그라운드 시스템과 상호작용했습니다. 이러한 사례에서 에이전트는 원래 허용된 접근 범위를 벗어난 서비스 영역에 도달했습니다.
에이전트 스팸: 에이전트가 제3자 사이트의 정보를 변경해 정리가 필요할 수 있는 내용을 게시합니다. 공개 위키 페이지를 공유 메시지 게시판으로 사용하는 경우가 그 예입니다.