이 사례 연구는 원래 OpenAI의 2024년 10월(새 창에서 열기) 보고서에 게재되었습니다.
행위자
OpenAI는 API를 사용해 댓글을 생성한 뒤 X와 Facebook에 게시하던, 이전에 보고된 적 없는 계정 집단을 차단했습니다. 이 댓글 중 다수는 아제르바이잔을 찬양하거나 아제르바이잔의 인권 실태를 옹호했지만, 매우 다양한 다른 주제도 다뤘습니다. 이는 상업적으로 운영된 작전일 가능성을 시사합니다. 아제르바이잔을 자주 찬양하고 작전의 여러 단계에서 AI를 사용하려 했다는 점을 고려해 OpenAI는 이 네트워크를 ‘A2Z’라고 명명했습니다.
활동 방식
OpenAI가 5월에 폭로하고 ‘Bad Grammar’라고 명명한 러시아어 Telegram 작전처럼, 이 작전도 소셜 미디어 댓글 활동에 OpenAI 모델을 사용했습니다. 이들은 AI를 활용해 가짜 소셜 미디어 인물을 관리하고, 프로필을 작성하고, 게시물과 댓글을 분석하고, 여러 언어로 답글 초안을 만든 뒤 교정했습니다. 이렇게 만든 답글은 X나 Facebook에 게시되었습니다. 콘텐츠 대부분은 짧은 댓글 형태였지만, 특정한 화풍으로 제작된 이미지도 포함되었습니다. 이러한 이미지는 1930년대 포스터 양식을 자주 사용했습니다. 따라서 사람들을 속이기보다는 관심과 참여를 끌어내도록 제작된 것으로 보입니다. 하지만 이러한 이미지가 포함된 일반적인 게시물의 참여 수는 각각 0~5회에 불과했습니다.

이 작전의 튀르키예어 계정 중 하나가 X에 올린 텍스트와 이미지가 포함된 게시물입니다. 둘 다 OpenAI 모델로 생성되었습니다. 이 게시물에는 답글, 공유, 좋아요가 하나도 없었습니다.

이 작전의 영어 계정 중 하나가 X에 올린 텍스트와 이미지가 포함된 게시물입니다. 둘 다 OpenAI 모델로 생성되었습니다. 이 게시물에는 답글, 공유, 좋아요가 하나도 없었습니다.
AI를 사용하면서 이 작전은 여러 소셜 미디어 계정을 동시에 관리할 수 있었습니다. OpenAI는 X와 Facebook에서 이 활동과 일치하는 계정 약 150개를 확인했으며, 의심되는 계정은 그보다 더 많았습니다. 또한 이 작전은 때때로 인터넷상의 실제 인물들과 댓글로 대화를 나눌 수 있었습니다. 실제 인물과 가짜 계정 사이에 짧은 대화가 오가는 사례도 간혹 관찰되었으며, 가짜 계정의 답글은 OpenAI 모델로 생성되었습니다.
![실제 인물 두 명과 OpenAI 모델로 생성한 콘텐츠를 사용하는 작전 계정 사이의 대화입니다. 튀르키예어 번역: [인물 1]: 알고 계신가요? 모든 아타튀르크주의자가 시온주의자인 것은 아니지만, 튀르키예의 모든 시온주의자와 이스라엘 지지자, 집단학살에 침묵하는 사람은 아타튀르크주의자입니다. 이 일반화에 해당하지 않는 사례가 있나요? [작전 계정]: 케말주의는 평화와 근대화를 지향합니다. 그러한 일반화는 위험하며 사람들을 오도합니다. [인물 2]: 무슨 평화요? 나의 아타튀르크가 살아 있었다면 모술, 키르쿠크, 서트라키아를 되찾았을 겁니다... 당신은 아타튀르크에 관해 글로만 읽고 있군요. 혹시 이을마즈 외즈딜의 셰블레비 먹는 이야기를 듣고 있나요? [작전 계정]: 역사는 아타튀르크가 평화와 근대화를 원했다는 것을 보여줍니다. 잘못된 정보에 휘둘리지 맙시다.](https://images.ctfassets.net/kftzwdyauwt9/6Sj1Lv6Z6mEERyaQoh2MrW/e67c8a94204ef521d8eaced6a98c9f14/october-2024-cross-platform-influence-operation-a2z-p31-fig3.png?w=3840&q=90&fm=webp)
실제 인물 두 명과 OpenAI 모델로 생성한 콘텐츠를 사용하는 작전 계정 사이의 대화입니다. 튀르키예어 번역: [인물 1]: 알고 계신가요? 모든 아타튀르크주의자가 시온주의자인 것은 아니지만, 튀르키예의 모든 시온주의자와 이스라엘 지지자, 집단학살에 침묵하는 사람은 아타튀르크주의자입니다. 이 일반화에 해당하지 않는 사례가 있나요? [작전 계정]: 케말주의는 평화와 근대화를 지향합니다. 그러한 일반화는 위험하며 사람들을 오도합니다. [인물 2]: 무슨 평화요? 나의 아타튀르크가 살아 있었다면 모술, 키르쿠크, 서트라키아를 되찾았을 겁니다... 당신은 아타튀르크에 관해 글로만 읽고 있군요. 혹시 이을마즈 외즈딜의 셰블레비 먹는 이야기를 듣고 있나요? [작전 계정]: 역사는 아타튀르크가 평화와 근대화를 원했다는 것을 보여줍니다. 잘못된 정보에 휘둘리지 맙시다.
AI가 등장하기 전에 이 정도 규모의 작전을 수행하려면 대규모 댓글 조작 인력과 그에 따른 모든 비용 및 정보 유출 위험이 필요했을 것입니다. 그러나 이 작전은 AI에 의존했기 때문에 OpenAI의 차단 조치에 유난히 취약하기도 했습니다. 공격 체인의 여러 연결 고리에서 AI를 활용했기 때문에 OpenAI의 차단 조치는 체인의 여러 부분을 한꺼번에 끊었습니다. OpenAI가 6월 초 이 활동을 차단한 뒤, 이 작전의 일부로 확인된 소셜 미디어 계정들은 EU, 영국, 프랑스의 선거 기간 내내 게시 활동을 중단했습니다. 일부 계정은 8월 말에 게시 활동을 재개했습니다. 이들이 올린 게시물 중 소수에는 AI로 생성되었을 가능성을 보여주는 흔적이 있었습니다. 그러한 흔적이 있는 콘텐츠는 OpenAI 모델에서 생성된 것이 아니었습니다.
생성 결과
이 캠페인은 매우 다양한 정치 주제에 초점을 맞춘 짧은 댓글을 생성했습니다. 가장 두드러진 주제는 아제르바이잔 정부와 국내·역내·국제 정치에서의 역할을 찬양하는 것이었습니다. 예를 들어 중앙아시아 국가 간 단결을 촉진하거나 유엔 기후변화회의를 개최한 점을 내세웠습니다. 영어와 이탈리아어 계정들은 유럽에 에너지를 공급하는 아제르바이잔의 역할을 찬양했으며, 때로는 아제르바이잔 정부의 인권 실태에 대한 비판에 대응해 이러한 주장을 펼쳤습니다.
![X의 댓글 대화입니다. [사용자 1, 사용자 이름에 ‘자유’라는 단어가 포함됨]: 이탈리아도 앞잡이 노릇을 하고 에르도안 같은 독재자를 환영하는 제국주의 군사 동맹을 해체하는 게 도대체 왜 그리 충격적인 일인가요? [사용자 2]: 이름만 자유롭고 실제로는 복종하는 분, NATO를 탈퇴하면 바로 다음 순간 러시아의 발밑에 놓이게 됩니다. 벨라루스, 조지아, 아제르바이잔, 카자흐스탄의 상황도 그리 좋아 보이지 않고요... 아, 정말 그런 운명을 원하는 건가요? [작전 계정]: 러시아의 발밑에 놓인다고요? 말도 안 됩니다. NATO가 우리를 보호합니다. 에너지 안보를 위해 아제르바이잔과 협력합시다. 이름만 자유롭고 실제로는 혼란스럽군요.](https://images.ctfassets.net/kftzwdyauwt9/1ogyzZzJO8BRkP5MdG3s6y/24e77bf30ce1c37bf8c069776cd62ac6/october-2024-cross-platform-influence-operation-a2z-p32-fig4.png?w=3840&q=90&fm=webp)
X의 댓글 대화입니다. [사용자 1, 사용자 이름에 ‘자유’라는 단어가 포함됨]: 이탈리아도 앞잡이 노릇을 하고 에르도안 같은 독재자를 환영하는 제국주의 군사 동맹을 해체하는 게 도대체 왜 그리 충격적인 일인가요? [사용자 2]: 이름만 자유롭고 실제로는 복종하는 분, NATO를 탈퇴하면 바로 다음 순간 러시아의 발밑에 놓이게 됩니다. 벨라루스, 조지아, 아제르바이잔, 카자흐스탄의 상황도 그리 좋아 보이지 않고요... 아, 정말 그런 운명을 원하는 건가요? [작전 계정]: 러시아의 발밑에 놓인다고요? 말도 안 됩니다. NATO가 우리를 보호합니다. 에너지 안보를 위해 아제르바이잔과 협력합시다. 이름만 자유롭고 실제로는 혼란스럽군요.
다른 활동들은 AI의 이점과 발전, 금융 시장, 생태 문제, 암호화폐, 더 폭넓은 기술 분야에 초점을 맞췄습니다. 한 계정 집단은 아랍에미리트에 초점을 맞춰 안정적인 투자처로 묘사했으며, 이를 미국의 정치적 불안정에 관한 주장과 자주 대비했습니다.

이 작전의 콘텐츠를 게시한 계정이 Bloomberg 보도에 X로 단 답글입니다.
일부 가짜 인물은 유럽이나 미국 정치에 초점을 맞췄습니다. 이 활동이 내세운 이념은 지역마다 달랐습니다. 예를 들어 미국에 초점을 맞춘 한 X 계정은 진보주의자로 가장해 트럼프 전 미국 대통령을 비판했습니다. 한편 프랑스어로 게시물을 올린 일부 Facebook 계정은 마크롱 대통령을 비판하고 국민연합(RN)을 지지했습니다. 때로는 국내 문제를 비판하며 해당 국가가 러시아의 우크라이나 침공을 비롯한 국제 문제에 개입해서는 안 된다고 주장했습니다.

이 작전의 콘텐츠를 반복해서 게시한 서로 다른 Facebook 계정 두 개의 댓글입니다. 독일어 댓글은 독일을 위한 대안(AfD) 소속 정치인 알렉산더 융블루트의 인터뷰에 달렸습니다. 내용은 다음과 같습니다. “융블루트는 진짜 문제를 논하고 있습니다. EU는 내부 문제부터 걱정해야 합니다! 그의 답변, 특히 우크라이나 분쟁에 관한 답변이 정말 인상적입니다.”
영향 평가
이 작전은 수백 개로 추정되는 계정을 통해 Facebook과 X에서 매우 활발하게 활동했습니다. X에서는 일부 계정에 유료 인증을 나타내는 파란색 체크 표시가 있었습니다. 두 플랫폼에서 표본으로 조사한 약 150개 계정 가운데 팔로워 수가 유의미하게 많은 계정은 없었습니다. 조사 중 확인한 X 계정의 최대 팔로워 수는 222명이었고, 일반적으로는 10명대 중반에서 20명대 초반이었으며, X의 일반적인 게시물은 한 자릿수의 참여만 얻었습니다. 마찬가지로 조사 중 관찰된 Facebook 게시물의 최대 반응 수는 36회였고, 일반적으로는 0~5회였습니다. 다만 이 작전의 게시물에 실제 인물이 답글을 단 사례도 일부 확인했습니다. 이러한 반응이 항상 긍정적이었던 것은 아니며 실제 인물이 가짜 계정의 주장에 반박하기도 했습니다. 하지만 이는 이 작전이 여러 플랫폼에서 여러 언어와 주제를 활용해 어느 정도 이용자의 참여를 끌어낼 수 있었음을 보여줍니다.

작전 계정(위 게시물)과 실제 인물(아래 게시물) 사이의 댓글 논쟁입니다. 위: 제럴드, 바로 그 점이 우리 사법 제도의 문제가 얼마나 뿌리 깊은지 보여줍니다. 지금이야말로 그 어느 때보다 트럼프를 지지해야 합니다! 답글: 법률이나 규정을 어긴 정치인이 사법부에 의해 ‘정치적인’ 이유로 ‘박해’를 받을 때마다, 바로 그 점이 정의에 대한 우리의 인식에 얼마나 심각한 문제가 있는지 보여주죠…
영향력 공작(IO)의 파급력을 최저 1등급부터 최고 6등급까지 평가하는 Breakout Scale을 적용하면, 이 작전은 2등급 최상단이며 3등급으로 확산될 위험이 있는 것으로 평가됩니다. 여러 플랫폼에서 게시 활동을 벌였고 실제 인물이 콘텐츠에 반응했다는 일부 증거가 있었기 때문입니다. 그러나 OpenAI가 이 작전의 모델 사용을 차단하고 동종 업계 관계자들과 정보를 공유한 뒤, 확인된 소셜 미디어 계정들은 여러 주 동안 활동을 멈췄습니다. 따라서 이 작전은 AI가 운영자의 역량을 강화하는 동시에, AI 모델에 의존할 경우 차단 조치에 더 취약해질 수 있음을 보여줍니다.