중국 연계 악용: 감시 및 영향력 공작

이 사례 연구는 OpenAI의 2025년 10월⁠(새 창에서 열기) 보고서에 처음 게재되었습니다.

중국 정부 기관과 연계된 것으로 보이는 이들이 개발, 프로파일링, 행정 업무에 ChatGPT를 활용했습니다.

지난 3월 미국 과학기술정책실의 ‘미국 AI 행동계획’에 제출한 의견서에서 밝혔듯이, AI가 최대한 많은 사람에게 혜택을 주려면 실제 피해로부터 사람들을 보호하기 위한 상식적인 규칙에 따라 AI를 활용할 수 있게 하고 민주적 AI를 구축해야 한다고 생각합니다. 민주적 AI란 미국이 오랫동안 지켜 온 민주주의 원칙에 따라 만들어지는 AI를 뜻합니다. 여기에는 권위주의 정권이 권력을 축적하고 국민을 통제하는 데 AI 도구를 사용하지 못하도록 하는 것도 포함됩니다.

권위주의 정권이 ChatGPT의 기능을 악용하려는 시도를 탐지하고 차단하기 위한 OpenAI의 투자는 현재 사람들을 보호할 뿐 아니라, 이러한 정권이 미래의 기능을 어떻게 악용할 수 있는지에 관한 중요한 통찰도 제공합니다. 이 섹션에서는 그러한 정권과 연계되었을 가능성이 있는 개인들에 관한 조사 결과 중 중국에 초점을 맞춘 사례를 다룹니다.

지난 6월에 밝힌 바와 같이, 중국은 독재적 형태의 AI를 발전시키는 데 실질적인 진전을 이루고 있습니다. 중국 정부 기관과 연계된 것으로 보이는 이들이 사용한 ChatGPT 계정을 차단하면서, 이러한 권위주의적 환경에서 AI가 현재 어떻게 사용되고 있는지 일부 파악할 수 있었습니다. 이러한 사용 중 일부는 온라인 또는 오프라인 트래픽을 대규모로 감시하는 데 목적이 있는 것으로 보였으며, 이 분야에서 발생할 수 있는 권위주의적 악용을 계속 주시해야 할 필요성을 보여 줍니다. 또 다른 일부 사용은 더 심층적인 프로파일링을 목적으로 한 것으로 보였습니다. OpenAI는 이 활동과 관련된 계정을 차단했으며, 이 보고서를 통해 관련 조사 결과를 공유합니다.

이 연구는 OpenAI가 식별하고 차단한 정책 위반 활동 사례 중 일부를 바탕으로 합니다. 이러한 활동은 기관이 OpenAI 모델을 대규모로 도입한 사례라기보다 개별 사용자가 ChatGPT를 사용한 양상에 가까웠습니다. 따라서 이는 이러한 맥락에서 여러 AI 모델이 어떻게 사용되는지를 제한적으로 보여 주는 단면에 불과합니다.

OpenAI가 차단한 계정 중 일부는 ChatGPT를 사용해 대규모 감시 도구를 개발하려 한 것으로 보였습니다. 이들은 주로 서구권이나 중국의 소셜 미디어 플랫폼에서 수집한 데이터 세트를 분석하려 했습니다. 지난 2월에는 운영자가 중국 보안 당국용이라고 주장한 AI 기반 소셜 미디어 모니터링 도구를 설계하려 한 사례를 보고했습니다. 이러한 사용자들은 대체로 ChatGPT에 해당 도구의 설계를 돕거나 홍보 자료를 생성해 달라고 요청했을 뿐, 실제 감시를 수행하도록 하지는 않았습니다.

예를 들어 최근에는 중국에서 VPN을 사용해 OpenAI 서비스에 접속했을 가능성이 있는 사용자를 차단했습니다. 이 사용자는 정부 고객이 사용할 것으로 알려진 소셜 미디어 모니터링 도구의 홍보 자료와 프로젝트 계획을 설계하는 데 ChatGPT의 도움을 요청했습니다. 이 도구는 소셜 미디어 ‘탐침’(探针)으로 설명되었으며, 사용자가 극단주의적 발언과 민족·종교·정치 관련 콘텐츠라고 지칭한 내용을 찾기 위해 Twitter/X, Facebook, Instagram, Reddit, TikTok, YouTube를 스캔할 수 있다고 주장했습니다. 이 사용자는 실제 소셜 미디어 감시를 수행하는 데 OpenAI 모델을 사용하지는 않았습니다. 이 도구가 중국 정부 기관에서 사용되었는지는 OpenAI가 독립적으로 확인할 수 없습니다.

이와 유사하게 정부 기관과 연계되었을 가능성이 있는 또 다른 사용자도 차단했습니다. 이 사용자는 자신이 ‘고위험 위구르 관련 인원 유입 조기경보 모델’(高危涉维吾尔关注人员流入预警模型)이라고 설명한 시스템의 제안서 작성을 ChatGPT에 요청했습니다. 제안서에는 교통편 예약 정보를 분석해 경찰 기록과 대조함으로써, 별도의 정의 없이 ‘위구르 관련 고위험군’으로 분류된 사람들의 이동을 조기에 경고하는 도구가 설명되어 있었습니다. 사용자는 이러한 도구의 구축을 도와 달라고 OpenAI 모델에 요청한 것이 아니라 일반적인 제안서 작성만 요청했습니다. 따라서 어떤 기술을 사용할 계획이었는지, 또는 이러한 도구가 중국 정부 기관에서 실제로 사용되었는지는 독립적으로 확인할 수 없습니다.

중국 정부 기관과 연계된 것으로 보이며, ChatGPT를 보다 개별적이고 표적화된 프로파일링과 온라인 조사에 활용하려 한 것으로 보이는 사용자들도 차단했습니다.

예를 들어 한 사용자는 중국 정부를 비판하는 X 계정의 자금 출처를 파악해 달라고 ChatGPT에 요청했습니다. 또 다른 사용자는 몽골에서 진행된 청원의 주최자를 파악해 달라고 ChatGPT에 요청했습니다. 두 사례 모두 OpenAI 모델은 공개적으로 이용 가능한 정보만 제공했으며, 여기에는 자금 출처나 청원 주최자의 신원과 같은 민감한 정보가 포함되지 않았습니다.

이러한 활동 중 일부는 과거 사용자들이 인터넷이나 소셜 미디어에서 검색했던 것과 비슷한 방식으로 OpenAI 모델을 공개 출처 조사 도구로 활용했습니다. 예를 들어 세 번째 사용자는 1989년 톈안먼 광장 학살 기념일과 달라이 라마의 생일 같은 민감한 주제를 포함해, 중국과 관련된 일일 속보를 찾아 요약해 달라고 ChatGPT에 요청했습니다.