SweetSpecter: ciberatividade ligada à China
A OpenAI baniu contas provavelmente pertencentes ao SweetSpecter, um adversário alegadamente sediado na China que usava IA para investigar vulnerabilidades, escrever código e apoiar ataques de spear phishing.
Este estudo de caso foi publicado originalmente no relatório de outubro de 2024(abre numa nova janela) da OpenAI.
Ator
Identificámos e banimos contas que, segundo a avaliação de uma fonte credível, provavelmente pertenciam a um adversário alegadamente sediado na China. Estas contas tentavam utilizar os nossos modelos para apoiar as suas ciberoperações ofensivas, ao mesmo tempo que realizavam ataques de spear phishing contra os nossos colaboradores e governos de todo o mundo. Este adversário, monitorizado publicamente sob o nome SweetSpecter, surgiu em 2023. Tanto quanto sabemos, esta é a primeira vez que uma empresa de IA sediada nos EUA é publicamente identificada como um dos seus alvos. Segundo relatos anteriores, a sua atividade tinha-se centrado em entidades políticas do Médio Oriente, de África e da Ásia.
Comportamento
Em maio de 2024, recebemos um alerta de uma fonte credível cuja equipa de segurança tinha observado o SweetSpecter a enviar e-mails de spear phishing com anexos maliciosos para contas de e-mail profissionais e pessoais de alguns dos nossos colaboradores.
Uma versão com dados ocultados do e-mail enviado pelo SweetSpecter a um pequeno número dos nossos colaboradores. Estes e-mails foram bloqueados pelos nossos sistemas de segurança. Imagem cedida pela Proofpoint.
Nestes e-mails, o SweetSpecter fazia-se passar por um utilizador do ChatGPT que pedia apoio aos colaboradores visados. Os e-mails incluíam um anexo malicioso chamado «some problems.zip», que continha um ficheiro LNK. Este ficheiro continha código que, se fosse aberto, apresentaria ao utilizador um ficheiro DOCX com uma lista de supostas mensagens de erro e de serviço do ChatGPT. No entanto, em segundo plano, seria desencriptado e executado um malware para Windows conhecido como SugarGh0st RAT. O malware foi concebido para dar ao SweetSpecter o controlo do computador comprometido e permitir-lhe, por exemplo, executar comandos arbitrários, fazer capturas de ecrã e exfiltrar dados.
A equipa de segurança da OpenAI contactou os colaboradores que se acreditava terem sido alvo desta campanha de spear phishing e constatou que os controlos de segurança existentes tinham impedido os e-mails de chegar às suas contas profissionais.
Conteúdo usado como isco num dos ficheiros LNK maliciosos analisados, que seria apresentado ao executar o ficheiro.
Ao longo deste processo, a nossa colaboração com parceiros do setor teve um papel fundamental na identificação destas tentativas falhadas de comprometer as contas dos colaboradores. Isto realça a importância da partilha de informações sobre ameaças e da colaboração para nos mantermos um passo à frente de adversários sofisticados na era da IA. Ao tirar partido das informações partilhadas e dos conhecimentos coletivos, podemos proteger melhor os nossos ativos e travar a atividade das contas na plataforma associadas a estas ações.
Respostas geradas
Ao analisar a infraestrutura mais ampla que sustentava esta campanha, encontrámos e desativámos um conjunto de contas do ChatGPT que utilizavam a mesma infraestrutura para tentar obter respostas a perguntas e realizar tarefas de escrita de scripts e de investigação de vulnerabilidades. Associámos estas interações às táticas, técnicas e procedimentos (TTP) relacionados com LLM que a Microsoft propôs integrar no modelo MITRE ATT&CK® no início deste ano. O modelo MITRE documenta táticas e técnicas utilizadas por ciberadversários no mundo real. Ao enumerar estas correspondências, pretendemos informar a comunidade de cibersegurança em geral sobre os TTP observados e ajudar a melhorar a eficácia da ciberdefesa.
Seguem-se alguns exemplos de atividades do SweetSpecter que correspondem a estes TTP:
Atividade | Categoria do modelo ATT&CK para LLM |
|---|---|
Fazer perguntas sobre vulnerabilidades em várias aplicações | Reconhecimento baseado em informações de LLM |
Perguntar como procurar versões específicas do Log4j afetadas pela vulnerabilidade crítica de execução remota de código (RCE) Log4Shell | Reconhecimento baseado em informações de LLM |
Fazer perguntas sobre sistemas de gestão de conteúdos populares no estrangeiro | Reconhecimento baseado em informações de LLM |
Pedir informações sobre números CVE específicos | Reconhecimento baseado em informações de LLM |
Perguntar como são criadas ferramentas de varrimento à escala de toda a Internet. | Reconhecimento baseado em informações de LLM |
Perguntar como utilizar o sqlmap para carregar uma possível web shell para um servidor-alvo. | Investigação de vulnerabilidades assistida por LLM |
Pedir ajuda para encontrar formas de explorar vulnerabilidades na infraestrutura de um fabricante de automóveis de renome. | Investigação de vulnerabilidades assistida por LLM |
Fornecer código e pedir ajuda adicional para utilizar serviços de comunicação para enviar mensagens de texto de forma programática. | Técnicas de escrita de scripts melhoradas por LLM |
Pedir ajuda para depurar uma extensão em desenvolvimento para uma ferramenta de cibersegurança. | Técnicas de escrita de scripts melhoradas por LLM |
Pedir ajuda para depurar código que faz parte de uma estrutura mais ampla para enviar mensagens de texto de forma programática para números especificados pelo atacante. | Desenvolvimento com auxílio de LLM |
Pedir sugestões de temas que suscitassem o interesse de funcionários de departamentos governamentais e de nomes de anexos que evitassem o seu bloqueio. | Engenharia social apoiada por LLM |
Pedir variantes de uma mensagem de recrutamento fornecida pelo atacante. | Engenharia social apoiada por LLM |
Ao longo desta investigação, as nossas equipas de segurança utilizaram o ChatGPT para analisar, categorizar, traduzir e resumir interações de contas do adversário. Isto permitiu-nos extrair rapidamente informações relevantes de grandes conjuntos de dados, minimizando os recursos necessários para este trabalho. À medida que os nossos modelos se tornam mais avançados, esperamos também poder utilizar o ChatGPT para fazer engenharia inversa e analisar os anexos maliciosos enviados aos colaboradores.
Impacto
Em linha com o que observámos no nosso primeiro relatório sobre ameaças, a utilização dos nossos modelos pelos operadores não pareceu proporcionar-lhes novas capacidades ou orientações que não pudessem obter através de vários recursos disponíveis publicamente. Os nossos mecanismos de segurança bloquearam os e-mails maliciosos do adversário antes de chegarem às caixas de entrada dos colaboradores.