Operação "Doppelganger": atividade de influência russa contra a Ucrânia
A OpenAI baniu contas associadas à operação "Doppelganger", de origem russa, que usava IA para gerar comentários anti-Ucrânia em redes sociais, traduções e textos para sites em vários idiomas.
Este estudo de caso foi publicado originalmente no relatório da OpenAI de maio de 2024(abre em uma nova janela).
Agente
Banimos quatro grupos de contas que usavam nossos modelos e estavam vinculadas a pessoas que agiam em nome da operação de influência russa conhecida como "Doppelganger"(abre em uma nova janela). Cada grupo apresentou táticas, técnicas e procedimentos (TTPs) diferentes, o que condiz com uma operação formada por equipes com funções distintas.
Comportamento
Essa atividade teve como alvo públicos na Europa e na América do Norte e se concentrou na geração de conteúdo para sites e redes sociais.
O primeiro grupo de contas gerou comentários curtos em inglês, francês, alemão, italiano e polonês. Eles foram publicados no 9GAG e no X junto com memes, vídeos e links que aparentemente não foram gerados com nossos modelos. Alguns memes foram copiados de várias partes da internet e pareciam ter anos de existência.
No 9GAG, as contas que publicavam o conteúdo desta campanha normalmente usavam fotos de celebridades ou gatos no perfil. Elas publicavam seus memes e vídeos em diversos canais, incluindo o canal "Aleatório" e canais dedicados a animais de estimação, esportes, humor e até relacionamentos e encontros.
Comentário sobre a Ucrânia e vídeo sobre Gaza publicados no canal "Veículos motorizados" do 9GAG por uma conta que divulgava repetidamente conteúdo gerado por esta campanha. A referência à Ucrânia e à fronteira dos EUA foi gerada com nossos modelos. O vídeo era uma colagem de imagens de noticiários. A publicação recebeu 11 votos positivos e 93 votos negativos.
Sempre que a campanha publicava um meme ou vídeo no 9GAG, de três a cinco contas respondiam, geralmente com mensagens simples como "hahaha" ou "kkk". Cada uma dessas contas interagia somente com o conteúdo desta campanha; a maioria foi criada na mesma data. Esse comportamento costumava atrair comentários críticos de outros usuários, muitos dos quais denunciavam as contas como "bots".
Comentários sobre o vídeo mostrado acima. As três contas na parte inferior (autoras dos primeiros comentários) foram criadas no fim de abril de 2024 e publicaram, deram votos positivos ou comentaram repetidamente nas publicações desta campanha, mas em nenhuma outra. As três contas na parte superior, que denunciavam as falsificações, haviam sido criadas entre um e dez anos antes e apresentavam uma ampla variedade de atividades.
No X, os comentários da campanha eram publicados por contas que, em geral, faziam apenas uma ou duas publicações cada. Os comentários geralmente vinham acompanhados de um link aparentemente aleatório, como "solarpanelfor.sale". Esses links redirecionavam para um conjunto de sites repetidamente atribuídos ao Doppelganger. Os sites tinham restrição geográfica, de modo que apenas pessoas com um endereço IP no país-alvo podiam acessá-los. No entanto, os operadores parecem ter cometido um erro, fazendo com que alguns artigos em inglês, alemão e polonês só pudessem ser acessados por um IP francês.
Publicação no X com um comentário gerado por nossos modelos. A tradução do comentário é: "Um ato chocante! A política nunca deve estar associada à violência. Precisamos de diálogo, não de violência". O link incluído redireciona para a versão em alemão do site do Doppelganger, rrn.media. No entanto, em 20 de maio, ela só podia ser acessada por um IP francês.
Provavelmente para evitar a detecção, esse grupo acessou nossos modelos usando um serviço vinculado a empresas na Rússia e na República Tcheca. Esse serviço buscava permitir que pessoas na Rússia contornassem nossa política de acesso dos países compatíveis(abre em uma nova janela). Desativamos o acesso desse serviço à API.
O segundo grupo traduziu artigos do russo para o inglês e o francês; os textos em russo parecem ter sido composições originais. Muitos desses artigos foram publicados posteriormente em um site repetidamente atribuído ao Doppelganger: rrn.media. O mesmo grupo gerou comentários curtos sobre seus artigos, que depois apareceram nas redes sociais.
Publicação no X gerada com nossos modelos, acompanhada de um link para um artigo no rrn.media.
O terceiro grupo foi usado para gerar, revisar e corrigir artigos em francês. Os artigos foram então publicados em outro site atribuído ao Doppelganger, franceeteu.today.
O último grupo operava em alemão. Ele processou conteúdo de um site do Doppelganger, grenzezank.com, e o usou para gerar publicações curtas para um grupo e uma página do Facebook com o nome do site.
Conteúdo
A maior parte do conteúdo publicado on-line por esta campanha se concentrava na guerra na Ucrânia. O conteúdo retratava a Ucrânia, os EUA, a OTAN e a UE de forma negativa e a Rússia de forma positiva. Os comentários típicos afirmavam que a Rússia é um parceiro econômico importante para os países europeus; que os líderes ocidentais que criticam a Rússia estão desconectados de seus próprios eleitores; e que a Ucrânia é fraca, corrupta e/ou está à beira da derrota.
Em algumas ocasiões, agentes do Doppelganger tentaram fazer com que nossos modelos gerassem caricaturas de políticos europeus de destaque e críticos da Rússia. Nossos modelos recusaram essas solicitações.
Avaliação de impacto
Nenhuma das campanhas do Doppelganger que identificamos parece ter obtido um nível significativo de engajamento positivo de públicos autênticos.
No 9GAG, as publicações típicas receberam de 5 a 10 votos positivos — principalmente de contas que também publicavam o conteúdo desta campanha — e entre 15 e 200 votos negativos. No X, as publicações típicas tiveram cerca de mil compartilhamentos, nenhuma resposta e nenhuma curtida. Essa discrepância é tão grande que sugere uma amplificação inautêntica. Uma publicação recebeu três respostas, e todas a denunciaram como falsa.
Resposta no X a uma publicação do Doppelganger.
Usando a Escala de Disseminação(abre em uma nova janela) para avaliar o impacto das operações de influência, que as classifica em uma escala de 1 (menor) a 6 (maior), consideramos que a atividade relacionada ao uso de nossos modelos se enquadra na Categoria 2, caracterizada por publicações em várias plataformas, mas sem disseminação ampla ou engajamento significativo do público em nenhuma delas.