지난 6월 내부 학습 및 평가 과정에서 저희 모델이 허가받지 않은 방식으로 호주 정부 웹사이트에 접근했습니다. 이에 대한 저희의 대응도 더 나았어야 했습니다. 사과드립니다. 앞으로 더 나은 모습을 보이기 위해 노력하고 있습니다.
이 글에서는 지금까지 파악한 내용과 개선한 사항, 그리고 호주 국민의 신뢰를 회복하기 위해 앞으로 할 일을 설명드리고자 합니다. 이번 일은 새로운 유형의 사이버 사건으로, 전 세계가 새롭게 직면한 과제를 보여줍니다. 저희는 이번 상황에 책임을 다하기 위한 노력의 하나로 호주와 적극 협력하고자 합니다. 이를 통해 AI 개발사와 정부가 악의적이든 의도치 않았든 AI의 사이버 행동을 식별하고, 공개하고, 대응하는 데 필요한 실용적인 접근법을 마련하도록 돕겠습니다.
7월 Hugging Face 사건 이후, 저희는 영향을 받은 다른 조직이 있는지 확인하기 위해 이전의 학습 및 평가 활동을 검토하기 시작했습니다. 8월 중순, 이 검토를 통해 아래 호주 정부 웹사이트에 영향을 미친 활동을 확인했습니다.
증거를 바탕으로 파악한 내용은 다음과 같습니다.
호주 복지서비스청(Services Australia): OpenAI 모델이 해당 서비스의 비공개 영역에 접근하는 방법을 발견했고, 명령을 실행해 내부 파일, 인증 정보, 집계 통계를 가져왔으며 파일을 작성했습니다. 다만, 개별 환자나 서비스 이용자의 기록에는 접근하지 않았습니다. 이 사건은 아래에서 더 자세히 다루겠습니다.
뉴사우스웨일스주 범죄통계연구국(BOCSAR): OpenAI 모델이 공개 범죄 통계를 조사하기 위해 BOCSAR의 공개 범죄 지도 도구에 접근했습니다. 모델이 다양한 정보 조사 과제를 수행하는 이유는 아래에서 자세히 설명하겠습니다. 모델은 브라우저의 API 요청에 사용할 인증 정보를 제공하는 BOCSAR의 공개 도구를 통해 API 요청과 웹사이트 메타데이터 요청을 보냈습니다. BOCSAR 시스템은 애플리케이션 설정, 운영 작업 및 로그, 웹사이트 메타데이터를 반환했습니다. 개인의 범죄 기록에는 접근하지 않았습니다.
빅토리아주 보건부: OpenAI 에이전트가 노출된 액세스 키를 발견하고, 이를 이용해 빅토리아주 보건정보원(VAHI)의 보고 시스템을 조회하여 보고 설정과 집계된 설문조사 통계를 가져왔습니다. 이 정보가 어느 범위까지 접근 가능해야 했는지는 명확하지 않으며, VAHI의 접근 정책에 따라 달라집니다. 개별 의료 기록이나 개인을 식별할 수 있는 설문조사 응답에는 접근하지 않았습니다.
호주 보건복지연구원(AIHW): OpenAI 에이전트가 제3자 브라우징 및 다운로드 서비스를 이용해 AIHW 웹사이트 등을 비롯한 출처에서 집계 통계를 가져왔고, 차트 데이터를 직접 조회했습니다. 별도로 이루어진 접근 통제 우회 시도는 성공하지 못했습니다. 다운로드한 자료는 공개적으로 이용 가능한 자료였던 것으로 보입니다. 시스템 침해는 없었습니다. 개별 의료 기록에는 접근하지 않았습니다.
저희는 8월 중순 이러한 활동을 인지한 즉시 조사에 착수했습니다. 9월 10일 호주 복지서비스청과 빅토리아주 보건부에 통지했으며, 9월 18일에는 뉴사우스웨일스주 범죄통계연구국에 통지했습니다. 호주 보건복지연구원 관련 활동은 접근 방식이 공개 접근 범위에 부합하는 것으로 보여 저희의 공개 기준에 해당하지 않았습니다. 하지만 조사 결과를 공유하고 브리핑을 제안하기 위해 9월 24일 해당 기관에 통지했습니다.
저희는 조사를 완료한 뒤 영향을 받은 기관에 상세한 내용을 전달하고자 했습니다. 그러나 초기 조사 결과를 더 일찍 공유하고, 추가 사실이 드러날 때마다 호주 기관들에 최신 상황을 알렸어야 했습니다.
이후 저희는 호주 정부 기관들과 긴밀히 협력하며 지금까지 파악한 내용을 공유해 왔습니다. 영향을 받은 기관이 추가로 확인되면, 확보한 정보를 바탕으로 해당 기관에 신속하게 직접 통지하고 추가 사실이 드러나는 대로 최신 내용을 전달하겠습니다.
6월 내부 학습 및 평가 과정에서 저희는 외부 공개를 목적으로 하지 않는 내부 전용 실험용 OpenAI 모델을 실행하고 있었습니다. 이 모델에는 공개 제품에 적용되는 안전장치가 모두 갖춰져 있지는 않았습니다. 이 학습 및 평가 과정에서 모델은 호주 복지서비스청의 메디케어 통계 보고 서비스에 접근했습니다. 지금까지의 검토에서는 누구의 의료 기록에도 접근했다는 증거가 발견되지 않았습니다.
저희는 모델의 내부 학습 및 평가를 진행할 때, 여러 주제를 아우르는 폭넓은 조사 질문 모음에서 과제를 선정해 모델에 부여합니다. 이러한 과제에는 사용자가 물어볼 법한 구체적인 질문들이 반영됩니다. 이를 통해 모델은 공개적으로 이용 가능한 정보를 찾고, 해석하고, 분석하는 법을 학습하여 사람들에게 더 유용한 도움을 줄 수 있게 됩니다. 저희 모델은 공개된 통계를 이용해 이러한 질문에 답해야 합니다.
이 사례에서 모델에 주어진 과제 중 하나는 빅토리아주 지역사회의 피부 질환 치료제에 대한 정부의 1인당 지출액을 조사하는 것이었습니다. 모델은 해당 정보를 확보하는 데 어려움을 겪었고, 저희가 허용하지 않은 행동을 했습니다. 호주 복지서비스청(Services Australia)의 메디케어 통계 보고 서비스에서 이 정보를 찾던 중, 서비스의 비공개 영역에 접근할 수 있는 방법을 발견했습니다. 그런 다음 이를 이용해 해당 서비스와 관련된 시스템 기술 정보와 소스 코드를 살펴봤습니다. 이 모든 행동은 여전히 원래 찾으려던 정보를 확보하려는 목적에서 이루어졌습니다. 저희는 이러한 활동을 의도하지 않았으며, 해당 서비스에 대한 접근과 그에 따른 후속 활동은 일어나서는 안 되는 일이었습니다.
Hugging Face 사건 이후, 저희는 네트워크 제한을 추가하고 모니터링을 확대하는 등 연구 환경의 안전장치를 강화했습니다. 이러한 연구 환경에서 실시간 인터넷 접속을 차단하는 통제 조치를 도입했으며, 웹 접근은 캐시된 콘텐츠를 통해 이루어지도록 했습니다. 추가 보안 장치인 현재의 모니터링 시스템이 당시 적용되어 있었다면, 이러한 활동을 탐지하고 담당 팀에 사람의 긴급 검토가 필요하다는 알림을 보냈을 것입니다. 예를 들어, 최근 학습 실행 중(새 창에서 열기) 모델이 실시간 인터넷에 접속했을 때, 모니터링 시스템이 해당 활동을 탐지해 검토 담당자에게 알림을 보냈고 저희는 학습 실행을 중단했습니다. 저희는 이러한 보호 조치를 지속적으로 테스트하고 미비점을 보완하고 있습니다. 지금까지 저희가 확인한 가장 심각한 사건은 여전히 Hugging Face 사건입니다.
사람들은 AI가 안전하게 개발되고 있는지 알고 싶어 합니다. 이를 위해서는 저희와 같은 기업이 스스로 실천하는 일부터 시작해야 합니다. 저희는 최근 가장 뛰어난 역량을 갖춘 모델의 도구 사용을 수반하는 학습과 평가를 일시 중단했다고 공개했습니다(새 창에서 열기). 현재 추가 안전장치를 마련하고 있으며, 이러한 장치가 갖춰졌다는 확신이 들 때만 해당 모델의 학습을 재개할 예정입니다.
AI 시스템의 역량이 전반적으로 높아지면서, 조직들이 취약점을 찾아 해결하도록 도울 수 있는 시간도 줄어들고 있다고 보고 있습니다. 이를 위해서는 전 세계 사이버 방어 담당자들과 협력하는 공동 대응이 필요합니다.
저희는 기술, 사이버 보안, 핵심 인프라 분야의 여러 조직과 함께 사이버 방어를 위한 공동 대응을 촉구했습니다. 이 촉구는 안전장치 강화, 적시 공개, 영향을 받은 조직에 대한 실질적 지원 등 저희 자신의 책임에서 출발합니다. 또한 필수 서비스를 보호하는 팀들이 취약점을 찾고, 수정 사항을 검증하며, 효과적인 방법을 공유할 수 있도록 이들에 대한 투자를 촉구합니다.
호주에서는 영향을 받은 기관을 지원하고 방어 담당자들이 이러한 원칙을 실천할 수 있도록 다음과 같이 자원과 전문 역량을 투입하고 있습니다.
영향을 받은 기관을 위한 전담 지원. 영향을 받은 기관이 사건의 경위를 파악하고 그 영향을 평가할 수 있도록 필요한 자원을 투입하겠습니다. 여기에는 관련 기술 조사 결과를 공유하고, 적절한 정보 공유 체계를 통해 해당 기관이 저희 대응팀과 협의할 수 있도록 하는 것이 포함됩니다.
사이버 방어 강화를 위한 자금 및 지원. 10억 달러 규모의 일선 방어 담당자를 위한 Daybreak 기금에서 제공하는 크레딧과 기술 지원을 통해 호주의 정부와 산업계를 지원하겠습니다. 이를 통해 핵심 인프라와 기타 민감한 환경 전반의 사이버 방어를 강화하겠습니다. 정부 및 핵심 인프라 운영 기관과의 협력을 바탕으로, 점점 더 뛰어난 역량을 갖추는 AI 에이전트의 위험을 조직들이 더 잘 이해하고 탐지하며 대응할 수 있도록 돕겠습니다.
호주 태스크포스 구성. 호주의 독립적인 전문가들이 참여하는 태스크포스를 구성해, 갈수록 역량이 높아지는 AI 에이전트의 위험을 관리하기 위한 실질적인 정책 권고안을 마련하겠습니다. 태스크포스는 이번 사건들에서 얻은 교훈을 바탕으로 통지 절차 개선, AI 개발사와 정부 간 협력 강화, 정부 시스템을 더 효과적으로 보호할 수 있는 방안 도출에 집중할 것입니다. 태스크포스의 권고안은 OpenAI의 대응 방향에 반영되며, 호주 정부들의 AI 안전 및 사이버 보안 업무를 뒷받침할 것입니다. 연말까지 활동을 마칠 예정인 태스크포스는 유사 사건의 위험을 줄이기 위해 AI 기업이 취할 수 있는 실질적인 조치도 권고할 것입니다.
호주의 정부, 산업계, 시민들은 지금까지 OpenAI의 더없이 소중한 파트너였으며, 지금도 그렇습니다. 저희는 이 관계를 당연하게 여기지 않으며, 이번 일을 바로잡고자 합니다.
OpenAI의 최고전략책임자 제이슨 권(Jason Kwon)이 미국 본사에서 호주로 이동해 10월 6일 화요일 시드니에서 열리는 양원 합동 인공지능 특별위원회에 출석할 예정입니다. 그는 저희가 파악한 내용, 대응 과정, 지금까지 취한 조치, 앞으로의 개선 방안에 관한 질문에 답할 것입니다.
저희는 영향을 받은 기관 및 관계 정부들과 검증된 조사 결과를 계속 공유하겠습니다. 진행 중인 검토의 최신 내용과 이러한 약속의 이행 상황을 공개하겠습니다. 저희는 신뢰를 회복하기 위해 아직 해야 할 일이 많다는 것을 알고 있습니다. 또한 의미 있는 변화를 이루고 약속을 끝까지 이행하고 있음을 호주 국민에게 보여드릴 책임이 있다는 점도 잘 알고 있습니다.
