Operação "Spamouflage": atividade de influência ligada à China
A OpenAI baniu contas associadas à operação "Spamouflage", originária da RPC, que usava IA para pesquisar atividades em redes sociais, gerar publicações e depurar um site até então desconhecido.
Este estudo de caso foi publicado originalmente no relatório de maio de 2024(abre em uma nova janela) da OpenAI.
Agente
Banimos um pequeno número de contas associadas à operação de origem chinesa conhecida como "Spamouflage"(abre em uma nova janela). A Meta(abre em uma nova janela) atribuiu essa operação a "indivíduos associados às forças de segurança chinesas". O FBI(abre em uma nova janela) atribuiu parte da atividade dessa operação nas redes sociais a uma unidade do Ministério da Segurança Pública da China.
Comportamento
Essa rede tinha como alvo públicos de todo o mundo, especialmente membros da diáspora chinesa e críticos do governo chinês. Ela gerava conteúdo principalmente em chinês e, em menor escala, em inglês, japonês e coreano.
A rede usou nossos modelos para depurar código, buscar orientações sobre análise de redes sociais, pesquisar notícias e acontecimentos atuais e gerar conteúdo que depois era publicado em fóruns de blogs e redes sociais.
Por exemplo, em 2023, a rede usou nossos modelos para depurar o código que configurava o tema do WordPress para o site revealscum.com. Esse site publicava críticas em chinês e informações pessoais sobre membros da diáspora chinesa que criticavam o governo chinês. O site chamava esses críticos de "traidores". O conteúdo em si não foi gerado com nossos modelos.

Captura de tela do site revealscum.com, mostrando a página intitulada "汉奸" ("traidor"). Ocultamos os rostos das pessoas visadas pelo site.
A campanha também usou nossos modelos para criar conteúdo que depois foi publicado em plataformas de redes sociais e fóruns. Por exemplo, no fim de 2023, a operação gerou artigos que acusavam o Japão de prejudicar o meio ambiente marinho ao liberar águas residuais da usina de Fukushima. Identificamos os artigos em plataformas como Medium, Blogspot e ameblo.jp.
Em abril de 2024, a campanha publicou uma série de comentários em inglês criticando a dissidente chinesa Cai Xia. Identificamos uma conta no X que publicou o comentário inicial e um grupo de outras contas que publicou os demais comentários como respostas. Não vimos nenhuma conta real respondendo a eles.

Publicação e respostas atacando Cai Xia, com conteúdo gerado pela Spamouflage usando nossos modelos. Observe a ausência de republicações ou curtidas. Todos os dez comentários na publicação original vieram de contas que usaram conteúdo gerado pela Spamouflage.
A campanha também usou nossos modelos para realizar pesquisas em fontes abertas, como descobrir maneiras de solicitar contas de desenvolvedor em redes sociais ou pedir resumos de publicações feitas por críticos do governo chinês.
O uso de inteligência artificial pela rede parece ter representado apenas uma pequena parcela de sua produção total. Por exemplo, muitas das contas no X e no Medium que identificamos como responsáveis pela publicação de conteúdo gerado por nossos modelos publicaram um volume maior de conteúdo que parecia ter sido criado manualmente em inglês e chinês (como indicava, por exemplo, o uso pouco natural do inglês). Elas publicaram esse conteúdo antes e depois de publicar os comentários gerados por IA.

Publicação de 22 de abril de 2024 feita por uma das contas que publicou conteúdo gerado por IA em 19 de abril. Tanto o texto quanto a imagem parecem ter sido criados manualmente.
Conteúdo
Grande parte do conteúdo gerado por essa campanha estava em chinês. Os temas variavam de elogios à cooperação internacional do governo chinês na aplicação da lei a críticas contra abusos cometidos contra povos indígenas nos Estados Unidos. Parte do conteúdo criticava o governo dos EUA e a Microsoft por exporem as atividades do grupo de hackers chinês conhecido como "Volt Typhoon".
Outros conteúdos estavam em inglês. Em geral, esse conteúdo criticava figuras de destaque contrárias ao governo chinês, como o ator e ativista pela causa tibetana Richard Gere e a dissidente Cai Xia. Alguns artigos gerados no fim de 2023 em inglês, japonês, chinês, coreano e russo acusavam o Japão de poluir as águas do Pacífico com o descarte da usina nuclear de Fukushima(abre em uma nova janela) — um tema recorrente das operações de influência chinesas.
Um pequeno grupo de atividades se concentrou em gerar comentários positivos em chinês sobre uma visita do ministro da Segurança Pública da China ao Uzbequistão. Não há registros de que a Spamouflage tenha abordado esse tema anteriormente. Ele chama atenção diante da atribuição feita pelo FBI(abre em uma nova janela) de parte das atividades anteriores dessa operação nas redes sociais ao Ministério da Segurança Pública da China.
Parte das atividades da rede parece ter refletido os interesses pessoais dos operadores. Por exemplo, um operador usou nossos modelos para pesquisar lentes de câmeras. Outro usou nossos modelos para concluir o que parece ter sido uma tarefa de avaliação destinada a membros do Partido Comunista Chinês.
Avaliação de impacto
A Spamouflage tem sido uma das operações de influência mais intensamente pesquisadas do mundo desde que foi descrita publicamente pela primeira vez, em 2019(abre em uma nova janela). Há pouquíssimos relatos de que suas atividades tenham alcançado públicos autênticos.
O uso de conteúdo gerado por IA não parece ter mudado essa dinâmica. Entre os blogs, artigos e contas de redes sociais que identificamos em nossa investigação, nenhum obteve grande número de interações ou seguidores reais. Em alguns casos, os indicadores disponíveis mostram que as únicas visualizações das publicações vieram de nossa equipe de investigação.
Usando a Escala de Disseminação(abre em uma nova janela) para avaliar o impacto das operações de influência, que as classifica de 1 (menor) a 6 (maior), avaliaríamos esta como uma operação de Categoria 2, caracterizada por publicações em várias plataformas, mas sem evidências de amplificação significativa por pessoas de fora da rede.
Indicadores
Identificamos o domínio a seguir como associado a essa campanha.
revealscum.com