Pular para o conteúdo principal
OpenAI

1 de maio de 2024

Segurança

Operação "Zero Zeno": atividade de influência ligada a Israel

A OpenAI baniu contas ligadas a uma operação originada em Israel e até então desconhecida, que chamamos de "Zero Zeno" e que usava IA para gerar conteúdo anti-Hamas, anti-Catar, pró-Israel, anti-BJP e pró-Histadrut.

Carregando…

Este estudo de caso foi publicado originalmente no relatório de maio de 2024⁠(abre em uma nova janela) da OpenAI.

Agente

Banimos um grupo de contas operadas a partir de Israel que estavam sendo usadas para gerar e editar conteúdo para uma operação de influência realizada no X, Facebook, Instagram, YouTube e em sites. A rede era operada pela STOIC, uma empresa israelense de gestão de campanhas políticas. Em homenagem ao fundador da escola estoica de filosofia e como referência aos baixos níveis de engajamento atraídos pela rede, nós a apelidamos de "Zero Zeno".

Comportamento

Esta operação tinha como alvo públicos no Canadá, nos Estados Unidos e em Israel, com conteúdo em inglês e hebraico. No início de maio, ela começou a direcionar conteúdo em inglês ao público da Índia. Ela também parece ter se preparado para realizar uma campanha de operação de influência voltada ao público de Gana.

A operação usou nossos modelos para gerar artigos para a web e comentários para redes sociais, posteriormente publicados em várias plataformas, sobretudo Instagram, Facebook e X.

Comentários em inglês gerados por esta rede e publicados no Instagram. Tanto a publicação original quanto as respostas foram geradas por esta campanha.

Comentários em inglês gerados por esta rede e publicados no Instagram. Tanto a publicação original quanto as respostas foram geradas por esta campanha.

A operação também usou nossos modelos para criar identidades e biografias fictícias para redes sociais com base em variáveis como idade, gênero e localização, além de pesquisar pessoas em Israel que fizeram comentários públicos sobre a central sindical Histadrut. Nossos modelos se recusaram a fornecer informações pessoais em resposta a essas solicitações.

O conteúdo gerado por esta rede foi publicado em várias plataformas de redes sociais. Uma pesquisa em fontes abertas do Laboratório de Pesquisa Forense Digital do Atlantic Council⁠(abre em uma nova janela) identificou parte desse conteúdo no Facebook, Instagram e X. Quando essas contas foram desativadas, a operação adquiriu outras. Outros conteúdos apareceram em quatro sites que se apresentavam como grupos ativistas dedicados ao conflito em Gaza e a questões mais amplas das relações entre pessoas das religiões judaica e muçulmana: uc4canada.com, the-good-samaritan.com, ufnews.io e nonagenda.com.

Em alguns casos, identificamos contas falsas desta operação comentando em publicações feitas pela própria operação nas redes sociais, provavelmente para dar a impressão de engajamento do público.

Publicação no X feita por uma conta associada à atividade identificada inicialmente pelo DFRLab, acompanhada de respostas. Todas as respostas nesta imagem foram geradas por esta campanha.

Publicação no X feita por uma conta associada à atividade identificada inicialmente pelo DFRLab, acompanhada de respostas. Todas as respostas nesta imagem foram geradas por esta campanha.

Muitas das contas de redes sociais que publicaram conteúdo desta rede usavam fotos de perfil aparentemente criadas com um tipo anterior de inteligência artificial: redes adversárias generativas (GAN). Essas imagens podem ser facilmente baixadas da internet. Apesar da facilidade para criar essas imagens, identificamos várias contas desta rede nas redes sociais usando a mesma foto. Às vezes, duas ou mais contas com a mesma foto de perfil respondiam à mesma publicação nas redes sociais.

Fotos de perfil de contas no X que publicaram comentários gerados por esta rede. A imagem apresenta indícios visuais compatíveis com geração por GAN.

Fotos de perfil de contas no X que publicaram comentários gerados por esta rede. A imagem apresenta indícios visuais compatíveis com geração por GAN.

Conteúdo

Esta operação se dividia em várias campanhas temáticas, a maioria vagamente associada ao conflito em Gaza e à questão mais ampla das relações entre pessoas das religiões judaica e muçulmana. Em maio, interrompemos algumas atividades voltadas às eleições indianas menos de 24 horas depois de seu início.

Uma pesquisa em fontes abertas publicada em fevereiro⁠(abre em uma nova janela) descreveu esta rede criticando a agência da ONU de assistência aos palestinos, a UNRWA. O relatório do DFRLab publicado em março⁠(abre em uma nova janela) destacou conteúdo voltado ao Canadá que criticava as pessoas que as publicações da campanha descreviam como "islamistas radicais" no país. Outro grupo se concentrou em universidades dos Estados Unidos e acusou manifestantes pró-Palestina de promover antissemitismo e terrorismo. Um quarto grupo se concentrou no Catar e retratou os investimentos do país nos EUA como uma ameaça ao modo de vida americano. Um quinto grupo gerou publicações em hebraico para redes sociais. Em geral, elas elogiavam a central sindical Histadrut e sua liderança. Por fim, em maio, a rede começou a gerar comentários voltados à Índia, criticando o partido governista BJP e elogiando o oposicionista Partido do Congresso.

Às vezes, a rede parece ter mudado o foco de suas contas de um tema para outro. Por exemplo, contas que antes publicavam sobre o Canadá passaram a se concentrar nos EUA, na Índia, na Histadrut ou em mais de um desses temas.

Três comentários no X feitos por uma conta que publicou repetidamente conteúdo gerado por esta campanha, de 1º a 4 de maio de 2024. A publicação mais antiga (abaixo) parece ter sido uma tentativa de construir uma identidade fictícia. A segunda publicação se concentra no Canadá e incorpora uma publicação da principal conta desta rede voltada ao país. A terceira se concentra na Índia.

Três comentários no X feitos por uma conta que publicou repetidamente conteúdo gerado por esta campanha, de 1º a 4 de maio de 2024. A publicação mais antiga (abaixo) parece ter sido uma tentativa de construir uma identidade fictícia. A segunda publicação se concentra no Canadá e incorpora uma publicação da principal conta desta rede voltada ao país. A terceira se concentra na Índia.

Parte do conteúdo criado por esta rede foi publicada nas redes sociais em resposta a figuras ocidentais de destaque dos dois lados do espectro político. Em geral, essas respostas não tinham relação com a publicação original. Por exemplo, um comentário sobre o Catar estar "comprando" os Estados Unidos foi publicado em resposta a uma postagem sobre as preferências musicais do ex-presidente Trump.

Acima, publicação de Laura Ingraham sobre as preferências musicais do presidente Trump. Abaixo, publicação com um comentário gerado por esta rede. Observe a diferença nos números de engajamento entre a publicação original e a resposta.

Acima, publicação de Laura Ingraham sobre as preferências musicais do presidente Trump. Abaixo, publicação com um comentário gerado por esta rede. Observe a diferença nos números de engajamento entre a publicação original e a resposta.

Avaliação de impacto

A atividade da Zero Zeno parece ter atraído pouco ou nenhum engajamento, exceto o de suas próprias contas inautênticas. (Muitas contas já foram desativadas pela Meta e pelo X, portanto os números atuais de engajamento talvez não mostrem o quadro completo.)

Usando a Escala de Disseminação⁠(abre em uma nova janela) para avaliar o impacto das operações de influência, que as classifica de 1 (mais baixo) a 6 (mais alto), consideraríamos esta uma operação de Categoria 2, caracterizada por publicações em várias plataformas e sites, mas sem indícios de amplificação significativa por pessoas de fora da rede.

Canal do YouTube associado à campanha desta operação voltada ao Canadá. Em 25 de abril de 2024, ele havia publicado um vídeo, que não tinha nenhuma visualização.

Canal do YouTube associado à campanha desta operação voltada ao Canadá. Em 25 de abril de 2024, ele havia publicado um vídeo, que não tinha nenhuma visualização.

Indicadores

Identificamos os seguintes domínios como associados às campanhas da Zero Zeno.

  • nonagenda.com

  • the-good-samaritan.com

  • uc4canada.com

  • ufnews.io