Abuso ligado à RPC: atividades de vigilância e influência
A OpenAI baniu contas ligadas à RPC que usavam IA para apoiar o planejamento de vigilância, a elaboração de perfis direcionados e pesquisas sobre críticos e outras pessoas.
Este estudo de caso foi publicado originalmente no relatório de outubro de 2025(abre em uma nova janela) da OpenAI.
Indivíduos aparentemente ligados a órgãos do governo da RPC usaram o ChatGPT para auxiliar em tarefas de desenvolvimento, elaboração de perfis e funções burocráticas.
Como explicamos em nossa contribuição de março ao Plano de Ação para IA dos EUA, do Escritório de Política Científica e Tecnológica, acreditamos que garantir que a IA beneficie o maior número possível de pessoas significa viabilizá-la por meio de regras sensatas, voltadas a proteger as pessoas de danos reais, e desenvolver uma IA democrática. Por IA democrática, entendemos uma IA moldada pelos princípios democráticos que os Estados Unidos sempre defenderam. Isso inclui impedir que regimes autoritários usem ferramentas de IA para acumular poder e controlar seus cidadãos.
Nossos investimentos na detecção e interrupção de tentativas de regimes autoritários de explorar indevidamente os recursos do ChatGPT não apenas protegem as pessoas agora, como também fornecem informações importantes sobre como esses regimes poderão explorar indevidamente recursos futuros. Esta seção aborda um conjunto dessas descobertas sobre indivíduos possivelmente ligados a esses regimes, com foco na RPC.
Como escrevemos em junho, a RPC está avançando de forma concreta no desenvolvimento de sua versão autocrática da IA. A interrupção de contas do ChatGPT usadas por indivíduos aparentemente ligados a órgãos do governo chinês ajuda a esclarecer o atual uso da IA nesse contexto autoritário. Alguns aspectos desse uso pareciam destinados a apoiar o monitoramento em larga escala do tráfego online ou offline, reforçando a importância de mantermos a atenção sobre possíveis abusos autoritários nesse âmbito. Outros aspectos desse uso pareciam voltados à elaboração de perfis mais aprofundados. Banimos as contas associadas a essa atividade e compartilhamos nossas constatações neste relatório.
Este estudo se baseia em uma seleção de atividades que violavam nossas políticas, foram identificadas e interrompidas por nós, e resultaram no banimento das contas envolvidas. Essa atividade era compatível com o uso do ChatGPT por usuários individuais, e não com uma adoção institucional e em larga escala dos nossos modelos. Portanto, este é um retrato limitado do uso de diferentes modelos de IA nesse contexto.
Desenvolvimento de ferramentas para monitoramento em larga escala
Algumas das contas que banimos pareciam tentar usar o ChatGPT para desenvolver ferramentas de monitoramento em larga escala, analisando conjuntos de dados frequentemente coletados em plataformas de redes sociais ocidentais ou chinesas. Em fevereiro, relatamos um caso desse tipo, voltado à criação de uma ferramenta de escuta de redes sociais com tecnologia de IA que, segundo os operadores, seria destinada às forças de segurança chinesas. Normalmente, esses usuários pediam ao ChatGPT que ajudasse a projetar essas ferramentas ou a criar materiais promocionais sobre elas, mas não a realizar o monitoramento.
Por exemplo, recentemente banimos um usuário que possivelmente acessava nossos serviços da China por meio de uma VPN e pedia ao ChatGPT que ajudasse a criar materiais promocionais e planos de projeto para uma ferramenta de escuta de redes sociais, supostamente destinada a um cliente governamental. A ferramenta foi descrita como uma "sonda" (探针) de redes sociais que supostamente poderia examinar Twitter/X, Facebook, Instagram, Reddit, TikTok e YouTube em busca do que o usuário chamou de discurso extremista e conteúdo étnico, religioso e político. O usuário não utilizou nosso modelo para realizar o monitoramento efetivo das redes sociais. Não podemos verificar de forma independente se essa ferramenta foi usada por algum órgão do governo chinês.
Da mesma forma, banimos um segundo usuário, provavelmente ligado a um órgão governamental, que pediu ao ChatGPT ajuda para redigir uma proposta para o que chamou de Modelo de Alerta de Entrada de Pessoas de Alto Risco Relacionadas aos Uigures (高危涉维吾尔关注人员流入预警模型). A proposta descrevia uma ferramenta que analisaria reservas de transporte e as compararia com registros policiais para emitir alertas antecipados sobre os deslocamentos de pessoas classificadas como relacionadas aos uigures e de alto risco, uma categoria que não foi definida de outra forma. O usuário não pediu ao nosso modelo que ajudasse a criar essa ferramenta, mas apenas uma proposta geral. Portanto, não podemos confirmar de forma independente qual tecnologia ele pretendia usar nem se uma ferramenta desse tipo foi usada por algum órgão do governo chinês.
Elaboração de perfis e pesquisa
Também banimos usuários que pareciam ligados a órgãos do governo chinês e tentavam usar o ChatGPT para pesquisas online e elaboração de perfis mais personalizados e direcionados.
Por exemplo, um usuário pediu ao ChatGPT que identificasse as fontes de financiamento de uma conta no X que criticava o governo chinês. Um segundo usuário pediu ao ChatGPT que identificasse os organizadores de uma petição na Mongólia. Nos dois casos, nossos modelos forneceram apenas informações disponíveis publicamente, que não incluíam dados sensíveis, como fontes de financiamento ou a identidade dos organizadores das petições.
Parte dessa atividade usava nossos modelos como ferramenta de pesquisa em fontes abertas, de forma semelhante às pesquisas na internet ou em redes sociais realizadas por usuários no passado. Por exemplo, um terceiro usuário pediu ao ChatGPT que identificasse e resumisse diariamente notícias de última hora relevantes para a China, inclusive sobre temas sensíveis, como o aniversário do massacre da Praça da Paz Celestial, ocorrido em 1989, e o aniversário do Dalai Lama.