Pular para o conteúdo principal
OpenAI

1 de maio de 2024

Segurança

"Gramática Ruim": comentários no Telegram ligados à Rússia

A OpenAI baniu contas ligadas a uma operação russa até então desconhecida, chamada "Gramática Ruim", que usava IA para gerar comentários em inglês e russo no Telegram sobre a política da Ucrânia, Moldávia, países bálticos e EUA.

Carregando…

Este estudo de caso foi publicado originalmente no relatório da OpenAI de maio de 2024⁠(abre em uma nova janela).

Agente

Banimos uma rede de contas até então desconhecida que usava nossos modelos para criar comentários que depois eram publicados no Telegram. Associamos essa atividade a indivíduos da Rússia. Devido ao foco no Telegram, às repetidas publicações em inglês com erros gramaticais e à dificuldade para conquistar público, chamamos essa rede de "Gramática Ruim".

Comportamento

Essa rede direcionava conteúdo em russo e inglês a públicos na Rússia, Ucrânia, Estados Unidos, Moldávia e nos países bálticos.

A rede usou nossos modelos e contas no Telegram para montar um fluxo de spam de comentários. Primeiro, os operadores usaram nossos modelos para depurar um código aparentemente criado para automatizar publicações no Telegram. Em seguida, geraram comentários em russo e inglês em resposta a publicações específicas no Telegram. Por fim, aparentemente usaram pelo menos uma dúzia de contas do Telegram para publicar esses comentários.

Comentário público no Telegram correspondente a um texto gerado por esta rede. A conta em questão publicou repetidamente comentários correspondentes ao conteúdo produzido pela rede.

Comentário público no Telegram correspondente a um texto gerado por esta rede. A conta em questão publicou repetidamente comentários correspondentes ao conteúdo produzido pela rede.

Em inglês, os operadores usaram nossos modelos para gerar comentários na voz de várias personas falsas, representando diferentes grupos demográficos dos dois lados do espectro político dos Estados Unidos. Em russo, eles preferiam instruções mais temáticas e menos baseadas em personas.

A rede comentava principalmente em publicações de um pequeno número de canais do Telegram. O canal mais mencionado era o pró-Rússia @Slavyangrad, seguido pelos canais em inglês @police_frequency e @SGTNewsNetwork. (Este último se apresenta como um veterano conservador dos Estados Unidos, mas, em novembro, a Meta informou⁠(abre em uma nova janela) que ele, na verdade, tinha origem no Irã.) Em uma amostra de atividades de fevereiro, a rede tentou gerar respostas para esses três canais com o dobro da frequência registrada nos dez canais seguintes mais mencionados, somados.

Conteúdo

Essa campanha gerou comentários curtos sobre alguns temas políticos. Tanto em inglês quanto em russo, os principais assuntos abordados pela campanha no Telegram eram a guerra na Ucrânia, a situação política na Moldávia e nos países bálticos e a política dos Estados Unidos.

Comentários típicos em russo no Telegram acusavam os presidentes da Ucrânia e da Moldávia de corrupção, falta de apoio popular e traição ao próprio povo em favor da "interferência" ocidental. Os comentários em inglês no Telegram abordavam temas como imigração, dificuldades econômicas e as principais notícias do dia. Esses comentários frequentemente usavam o contexto de acontecimentos recentes para argumentar que os Estados Unidos não deveriam apoiar a Ucrânia.

Comentário público no Telegram correspondente a um texto gerado por esta rede. A conta em questão publicou repetidamente comentários correspondentes a conteúdo gerado com nossos modelos.

Comentário público no Telegram correspondente a um texto gerado por esta rede. A conta em questão publicou repetidamente comentários correspondentes a conteúdo gerado com nossos modelos.

Às vezes, mais de uma persona comentava na mesma publicação, apresentando pontos de vista conflitantes. Essa abordagem de "duas caras", que consiste em se passar por vozes dos dois lados, já foi observada em operações russas e pode indicar o desejo de atrair públicos específicos ou fomentar divisões.

Comentários públicos no Telegram correspondentes a textos gerados por esta rede. As contas em questão publicaram repetidamente comentários correspondentes a conteúdo gerado com nossos modelos.

Comentários públicos no Telegram correspondentes a textos gerados por esta rede. As contas em questão publicaram repetidamente comentários correspondentes a conteúdo gerado com nossos modelos.

Após o ataque terrorista em Moscou, em 22 de março, e a detenção de quatro cidadãos tajiques, a campanha passou a usar um novo grupo de contas do Telegram voltadas ao Tajiquistão. Os comentários publicados defendiam a união entre tajiques e russos e o respeito à legislação russa.

Avaliação de impacto

O spam de comentários já era uma técnica comum em operações de influência antes do surgimento da IA generativa. Embora a Gramática Ruim tenha usado uma nova técnica para gerar comentários, seu sistema de distribuição teve dificuldade para atrair engajamento.

Pouquíssimos comentários receberam curtidas ou respostas. Os comentários da rede normalmente representavam uma minoria das respostas a cada publicação, o que significa que não abafavam outras opiniões, caso esse fosse o objetivo.

Ocasionalmente, a rede usou nossos modelos para gerar o que pareciam ser mensagens privadas, possivelmente trocadas com outro usuário do Telegram, mas os textos gerados sugerem que ela estava conversando com um golpista de criptomoedas.

Usando a Escala de Disseminação⁠(abre em uma nova janela) para avaliar o impacto das operações de influência, classificadas de 1 (menor) a 6 (maior), consideramos esta atividade como Categoria 1, caracterizada por publicações em uma única plataforma, sem evidências de amplificação significativa por pessoas de fora da rede.