SweetSpecter: atividade cibernética ligada à China
A OpenAI baniu contas provavelmente pertencentes ao SweetSpecter, um adversário com suspeita de operar na China, que usava IA para pesquisar vulnerabilidades, escrever código e apoiar ataques de spear phishing.
Este estudo de caso foi publicado originalmente no relatório de outubro de 2024(abre em uma nova janela) da OpenAI.
Ator
Identificamos e banimos contas que, segundo a avaliação de uma fonte confiável, provavelmente pertenciam a um adversário que se suspeita ter base na China. Essas contas tentavam usar nossos modelos para apoiar operações cibernéticas ofensivas, enquanto o adversário realizava ataques de spear phishing contra nossos funcionários e governos ao redor do mundo. Monitorado publicamente como SweetSpecter, esse adversário surgiu em 2023. Pelo que sabemos, esta é a primeira vez que uma empresa de IA sediada nos EUA foi identificada publicamente entre seus alvos. Relatos anteriores indicavam que suas atividades se concentravam em entidades políticas no Oriente Médio, na África e na Ásia.
Comportamento
Em maio de 2024, recebemos um alerta de uma fonte confiável cuja equipe de segurança havia observado o SweetSpecter enviando e-mails de spear phishing com anexos maliciosos para contas de e-mail corporativas e pessoais de alguns dos nossos funcionários.
Uma versão com informações ocultadas do e-mail enviado pelo SweetSpecter a um pequeno número de nossos funcionários. Esses e-mails foram bloqueados por nossos sistemas de segurança. Imagem cedida pela Proofpoint.
Nesses e-mails, o SweetSpecter se passava por um usuário do ChatGPT que pedia suporte aos funcionários visados. Os e-mails incluíam um anexo malicioso chamado "some problems.zip", que continha um arquivo LNK. Esse arquivo continha código que, caso fosse aberto, exibiria ao usuário um arquivo DOCX com uma lista de supostas mensagens de erro e de serviço do ChatGPT. Em segundo plano, porém, um malware para Windows conhecido como SugarGh0st RAT seria descriptografado e executado. O malware foi projetado para dar ao SweetSpecter controle sobre a máquina comprometida e permitir ações como executar comandos arbitrários, fazer capturas de tela e exfiltrar dados.
A equipe de segurança da OpenAI entrou em contato com os funcionários que se acreditava terem sido alvo dessa campanha de spear phishing e constatou que os controles de segurança existentes impediram que os e-mails chegassem às suas contas corporativas.
Conteúdo usado como isca em um dos arquivos LNK maliciosos analisados, que seria exibido ao executar o arquivo.
Ao longo desse processo, nossa colaboração com parceiros do setor foi fundamental para identificar essas tentativas malsucedidas de comprometer contas de funcionários. Isso destaca a importância de compartilhar inteligência sobre ameaças e de colaborar para se manter à frente de adversários sofisticados na era da IA. Com informações compartilhadas e conhecimento coletivo, podemos proteger melhor nossos ativos e interromper a atuação das contas associadas a essas atividades na plataforma.
Respostas geradas
Ao analisar a infraestrutura mais ampla que sustentava essa campanha, encontramos um conjunto de contas do ChatGPT que usavam a mesma infraestrutura para tentar obter respostas a perguntas e realizar tarefas de criação de scripts e pesquisa de vulnerabilidades, e interrompemos sua atuação. Mapeamos essas interações às táticas, técnicas e procedimentos (TTPs) relacionados a LLMs que a Microsoft propôs integrar ao framework MITRE ATT&CK® no início deste ano. O framework MITRE reúne táticas e técnicas usadas por adversários cibernéticos no mundo real. Ao listar essas correspondências, buscamos informar a comunidade de segurança cibernética como um todo sobre os TTPs observados e ajudar a melhorar a eficácia da defesa cibernética.
Veja abaixo alguns exemplos de atividades do SweetSpecter que correspondem a esses TTPs:
Atividade | Categoria de LLM do framework ATT&CK |
|---|---|
Perguntar sobre vulnerabilidades em diversos aplicativos | Reconhecimento orientado por LLM |
Perguntar como buscar versões específicas do Log4j vulneráveis à Log4Shell, uma falha crítica de execução remota de código (RCE) | Reconhecimento orientado por LLM |
Perguntar sobre sistemas populares de gerenciamento de conteúdo usados no exterior | Reconhecimento orientado por LLM |
Pedir informações sobre números específicos de CVE | Reconhecimento orientado por LLM |
Perguntar como são criadas ferramentas de varredura de toda a internet. | Reconhecimento orientado por LLM |
Perguntar como o sqlmap seria usado para enviar um possível web shell a um servidor-alvo. | Pesquisa de vulnerabilidades assistida por LLM |
Pedir ajuda para encontrar maneiras de explorar a infraestrutura de uma grande fabricante de automóveis. | Pesquisa de vulnerabilidades assistida por LLM |
Fornecer código e pedir ajuda adicional para usar serviços de comunicação no envio programático de mensagens de texto. | Técnicas de criação de scripts aprimoradas por LLM |
Pedir ajuda para depurar uma extensão em desenvolvimento para uma ferramenta de segurança cibernética. | Técnicas de criação de scripts aprimoradas por LLM |
Pedir ajuda para depurar código que faz parte de um framework maior para enviar mensagens de texto de forma programática a números especificados pelo atacante. | Desenvolvimento auxiliado por LLM |
Pedir temas que despertariam o interesse de funcionários de órgãos governamentais e sugestões de nomes para anexos que evitassem o bloqueio. | Engenharia social apoiada por LLM |
Pedir variações de uma mensagem de recrutamento fornecida pelo atacante. | Engenharia social apoiada por LLM |
Ao longo dessa investigação, nossas equipes de segurança usaram o ChatGPT para analisar, categorizar, traduzir e resumir interações de contas do adversário. Isso nos permitiu obter rapidamente informações relevantes de grandes conjuntos de dados, reduzindo ao mínimo os recursos necessários para esse trabalho. À medida que nossos modelos se tornarem mais avançados, esperamos também poder usar o ChatGPT para fazer engenharia reversa e analisar os anexos maliciosos enviados aos funcionários.
Impacto
Em linha com o que observamos em nosso primeiro relatório de ameaças, o uso dos nossos modelos pelos operadores não pareceu fornecer novas capacidades ou orientações que eles não pudessem obter por meio de diversos recursos disponíveis publicamente. Nossos mecanismos de segurança bloquearam os e-mails maliciosos do adversário antes que chegassem às caixas de entrada dos funcionários.