OpenAI e Hugging Face colaboram para abordar incidente de segurança durante avaliação de modelos

Na semana passada, a Hugging Face divulgou um novo tipo de incidente de segurança⁠(abre numa nova janela) depois de detetar e conter um agente de IA que comprometeu a sua infraestrutura, algo que esperamos que se torne mais comum com a proliferação de modelos com capacidades ciber cada vez maiores. Após a investigação, sabemos agora que este incidente em particular foi impulsionado por uma combinação de modelos da OpenAI — incluindo o GPT‑5.6 Sol e um modelo de pré-lançamento ainda mais capaz, todos com recusas ciber reduzidas para fins de avaliação — enquanto eram testados internamente num benchmark⁠(abre numa nova janela) de capacidades ciber.

Consideramos que este é um incidente ciber sem precedentes, envolvendo capacidades ciber de ponta, e estamos a responder em conformidade. Estamos a partilhar conclusões preliminares nesta fase para ajudar os defensores a compreender o que aconteceu e a calibrar as suas expectativas sobre aquilo de que os modelos são agora capazes. Continuaremos a conduzir uma investigação exaustiva em conjunto com a Hugging Face e partilharemos mais detalhes sobre as vulnerabilidades, o incidente e as conclusões quando a investigação estiver concluída.

Este incidente ocorreu durante uma avaliação interna que leva os modelos a procurar exploração avançada usando caminhos de ataque complexos, com o objetivo de quantificar as suas capacidades ciber. Estimamos as capacidades ciber máximas executando esta avaliação sem os classificadores de produção usados para impedir que os modelos prossigam atividades ciber de alto risco. Os nossos benchmarks são executados num ambiente altamente isolado, com acesso à rede limitado à capacidade de instalar pacotes através de um software de terceiros alojado internamente que funciona como proxy e cache para registos de pacotes.

Os modelos identificaram e encadearam vulnerabilidades no ambiente de investigação da OpenAI e na infraestrutura de produção da Hugging Face para obter soluções de teste diretamente da base de dados de produção da Hugging Face. Todas as provas indicam que os modelos estavam hiperfocados em encontrar uma solução para o ExploitGym, indo a extremos para alcançar um objetivo de teste bastante restrito.

Enquanto operavam no nosso ambiente de testes em sandbox, os nossos modelos gastaram uma quantidade substancial de computação de inferência a encontrar uma forma de obter acesso à Internet aberta, com o objetivo de resolver o problema da avaliação. Para obter acesso, os modelos identificaram e exploraram uma vulnerabilidade de dia zero (que já divulgámos de forma responsável ao fornecedor) no proxy de cache do registo de pacotes. Com este acesso, os nossos modelos executaram uma série de ações de elevação de privilégios e movimento lateral no nosso ambiente de testes de investigação, até chegarem a um node com acesso à Internet.

Depois de obterem acesso à Internet, os modelos inferiram que a Hugging Face poderia alojar modelos, conjuntos de dados e soluções para o ExploitGym. Sabendo isto, o modelo procurou e encontrou com êxito formas de aceder a informação secreta que podia usar para contornar a avaliação. Num exemplo, o modelo encadeou vários vetores de ataque, incluindo a utilização de credenciais roubadas e vulnerabilidades de dia zero para encontrar um caminho de execução remota de código nos servidores da Hugging Face. A equipa de segurança da OpenAI descobriu internamente esta atividade anómala.

A equipa de segurança e os agentes da Hugging Face detetaram e travaram a atividade na sua infraestrutura e já tinham iniciado a contenção e a reconstrução forense com os seus próprios modelos de código aberto quando as nossas equipas estabeleceram contacto. Estamos a trabalhar ativamente com eles para continuar a investigar o incidente. Estamos gratos pela colaboração rápida e próxima da Hugging Face na investigação e na remediação.

1. No âmbito da investigação, estamos a implementar controlos rigorosos na configuração da infraestrutura, à custa da velocidade da investigação, enquanto as vulnerabilidades são corrigidas. Estamos a informar regularmente o nosso Comité de Segurança e Proteção sobre estes controlos e o seu impacto.
2. Estamos a trabalhar com a Hugging Face para investigar o incidente do ponto de vista forense.
3. Divulgámos de forma responsável a vulnerabilidade de dia zero identificada no software de terceiros alojado internamente e estamos a trabalhar com eles para a corrigir.
4. Incluímos a Hugging Face no programa de acesso de confiança⁠ e estamos a apoiar as suas equipas na utilização rápida das capacidades dos nossos modelos para melhorar as suas defesas.
5. Estamos a melhorar e a acrescentar proteções mais fortes em torno de futuros treinos e avaliações. Esta semana, publicámos um artigo no blogue sobre como melhorar a segurança e o alinhamento numa era de modelos de longo horizonte⁠. Estas salvaguardas de implementação não foram intencionalmente ativadas durante esta avaliação, porque o objetivo era testar vulnerabilidades ciber. Este incidente aponta para a necessidade de reforçar ainda mais o alinhamento do nosso modelo, as proteções ciber durante a avaliação e a monitorização durante os testes internos.

Como partilhámos recentemente⁠, a IA está a acelerar a descoberta e a exploração de vulnerabilidades. A principal lição deste incidente é que a segurança e a proteção dos modelos têm de acompanhar capacidades que avançam rapidamente. Estamos a reforçar as práticas de contenção, monitorização, controlos de acesso e avaliação usadas durante o desenvolvimento de modelos.

A avaliação do UK AISI mostra que modelos como o GPT‑5.6 Sol são cada vez mais capazes de sustentar operações ciber complexas e em várias etapas ao longo de horizontes temporais longos. Este incidente indica que estas capacidades teóricas se aplicam, de facto, em contextos reais.

O incidente também deixa claro que modelos avançados podem descobrir e explorar novos caminhos de ataque em sistemas reais sem acesso ao código-fonte. Mostra que as capacidades ciber avançadas têm de ser desenvolvidas a par de salvaguardas e ferramentas defensivas mais fortes.

Acreditamos que os modelos com capacidades ciber avançadas devem ajudar as equipas de segurança a encontrar fragilidades antes dos atacantes, a compreender como as vulnerabilidades podem ser encadeadas e a corrigi-las à velocidade das máquinas. Estamos a usar estas capacidades para continuar a reforçar as proteções em torno da configuração da infraestrutura e dos ambientes de avaliação de modelos; partilharemos as nossas conclusões e boas práticas à medida que aprendermos. Incentivamos outros defensores a candidatarem-se ao acesso de confiança⁠ e a experimentar estes modelos já, para transformar estas capacidades em melhor prevenção, deteção mais rápida e resposta a incidentes mais eficaz.