Avaliações cibernéticas de terceiros com modelos da OpenAI

Testes independentes desempenham um papel importante para nos ajudar a validar e compreender melhor os riscos antes da implantação. Algumas avaliações cibernéticas usam intencionalmente configurações personalizadas, incluindo proteções reduzidas, para medir a capacidade subjacente — e não como os modelos normalmente se comportam em implantações disponíveis ao público.

Durante avaliações recentes, dois parceiros externos de testes identificaram incidentes em que a combinação das configurações e dos controles de teste com os recursos cada vez mais avançados dos modelos recentes permitiu que a atividade dos modelos ultrapassasse os limites previstos para os testes. Os incidentes ressaltam a importância da colaboração em todo o setor e com avaliadores externos para aprimorar os padrões de ambientes e práticas de teste à medida que os modelos se tornam mais capazes. Nota do editor: esses casos não estão relacionados ao incidente de segurança da Hugging Face, sobre o qual continuaremos compartilhando atualizações aqui.

Os novos incidentes envolveram modelos da OpenAI que acessaram a internet pública durante avaliações cibernéticas realizadas por terceiros, sob condições específicas e configurações com proteções reduzidas que não refletiam uma implantação comum. Os incidentes foram os seguintes:

1. O UK AISI, instituto de segurança de IA do governo britânico, realizava avaliações em ambientes cibernéticos com o acesso à internet intencionalmente habilitado para que os agentes pudessem encontrar suas próprias ferramentas e operar em condições mais próximas às de um invasor real. Os classificadores cibernéticos também estavam desativados para medir a capacidade subjacente. Leia a publicação no blog da instituição aqui.⁠(abre em uma nova janela)
2. A Irregular, uma de nossas parceiras externas de testes de cibersegurança, realizava avaliações no estilo Capture the Flag que deveriam estar isoladas da internet, mas uma configuração incorreta do ambiente de testes permitiu que os modelos acessassem a internet pública.

A seguir, resumimos o que aconteceu, as condições de teste que possibilitaram a atividade, as medidas adotadas para contê-la e o que estamos fazendo para garantir que laboratórios independentes possam continuar avaliando modelos cada vez mais capazes com rigor e segurança.

Esses incidentes apontam para o mesmo desafio mais amplo que descrevemos em nossa publicação recente sobre o incidente da Hugging Face: à medida que os recursos dos modelos avançam, os sistemas de proteção e segurança ao redor deles também precisam evoluir. Isso inclui tanto os ambientes usados para desenvolver modelos quanto aqueles que laboratórios e parceiros independentes usam para avaliá-los.

Nas próximas semanas, revisaremos nossa própria abordagem aos testes realizados por terceiros. Isso inclui como identificamos avaliações de maior risco, definimos o escopo, analisamos solicitações para habilitar o acesso à internet ou reduzir proteções, estabelecemos expectativas sobre isolamento, tratamento de credenciais, monitoramento e condições de interrupção e criamos processos mais claros de notificação e escalonamento de incidentes.

Temos o compromisso de colaborar com todo o setor para fortalecer práticas comuns de execução segura de avaliações de alto risco, inclusive reunindo, nas próximas semanas, partes interessadas como institutos nacionais de IA, avaliadores independentes, outros laboratórios de IA e demais grupos. Nosso objetivo é preservar o valor das avaliações independentes e rigorosas, garantindo ao mesmo tempo que as práticas de teste acompanhem a evolução dos recursos dos modelos.

Em 3 de agosto, o UK AISI nos informou que, durante uma avaliação cibernética de rotina iniciada em 25 de julho, modelos da OpenAI e de outro laboratório ultrapassaram o escopo dos testes em alguns casos. A avaliação ocorreu em ambientes cibernéticos controlados, projetados para imitar redes do mundo real. Dos 19 eventos identificados, dois envolveram um modelo da OpenAI, o GPT‑5.6 Sol. Os demais casos envolveram modelos de outro laboratório.

Nessa avaliação, os agentes foram instruídos a agir como especialistas em cibersegurança em um exercício de Capture the Flag: comprometer três ambientes simulados conectados e recuperar uma flag final. O prompt da tarefa identificava as redes do ambiente incluídas no escopo e indicava vários sistemas como fora do escopo. O UK AISI também habilitou o acesso à internet em tempo real para que os agentes pudessem baixar ferramentas e operar em condições mais próximas às de um invasor humano — e desativou os classificadores cibernéticos do modelo para medir sua capacidade subjacente.

O limite de autorização pretendido pelo UK AISI era o ambiente cibernético simulado: os agentes estavam autorizados a atacar as redes simuladas especificadas e recuperar uma flag, mas não a interagir com sistemas fora dos limites de rede do ambiente. No entanto, os agentes não receberam instruções explícitas sobre como poderiam ou não usar o acesso aberto à internet, o que o UK AISI aponta como uma possível causa do incidente.

Ao longo dessas execuções, o UK AISI constatou que o GPT‑5.6 Sol realizou duas ações não autorizadas enquanto tentava encontrar um caminho para entrar no ambiente simulado e recuperar a flag:

1. O GPT‑5.6 Sol reutilizou um token do GitHub que o agente de outro laboratório havia deixado publicamente acessível para verificar se um sistema dentro do ambiente consultava o GitHub ou outro serviço de atualização, tentou contornar a recuperação de conta e os limites de requisições e criou contas em provedores externos de DNS e tunelamento.
2. O GPT‑5.6 Sol usou um serviço público de tunelamento para tornar um servidor DNS executado localmente em seu ambiente de avaliação acessível pela internet pública. O servidor continha cargas úteis destinadas a explorar uma vulnerabilidade conhecida em um software executado no ambiente de testes. A configuração não funcionou, não há evidências de que algum resolvedor real a tenha consultado e a infraestrutura foi removida ao término da avaliação.

Embora o modelo estivesse tentando concluir o desafio cibernético, o UK AISI considerou essas ações não autorizadas porque envolveram contas e serviços externos reais fora dos limites do ambiente e não eram necessárias para concluir a tarefa. O servidor DNS também hospedou cargas úteis de exploração na internet pública, embora a configuração não tenha funcionado e não haja evidências de que algum resolvedor real a tenha consultado.

O UK AISI identificou a atividade em 28 de julho, depois que o monitoramento de segurança detectou transferências de dados incomuns. A instituição interrompeu as avaliações relacionadas, isolou as máquinas envolvidas e conteve a atividade cerca de uma hora após a detecção.

Agradecemos a parceria do UK AISI durante todo esse processo, incluindo seu trabalho para identificar e investigar a atividade e compartilhar detalhes sobre ela. Esperamos dar continuidade à nossa colaboração.

Em 29 de julho, a Irregular, uma de nossas parceiras externas de avaliação, notificou-nos sobre um incidente envolvendo modelos da OpenAI durante avaliações de cibersegurança no estilo Capture the Flag (CTF). Os modelos foram instruídos a encontrar informações ocultas explorando falhas em um ambiente simulado e informados de que não tinham acesso à internet. No entanto, uma configuração incorreta no ambiente de testes permitiu que os modelos acessassem a internet pública.

Em um dos testes, o nome do alvo fictício do desafio de CTF coincidiu acidentalmente com um domínio real. Como o ambiente de testes estava conectado à internet por engano, o modelo explorou um site real, acreditando que ele fazia parte do ambiente simulado. Isso não envolveu uma fuga sofisticada do sandbox nem uma vulnerabilidade de dia zero: o acesso à internet resultou de uma configuração incorreta, e o modelo aparentemente explorou uma vulnerabilidade básica de segurança.

Segundo a investigação da Irregular, o modelo também encontrou e usou credenciais para operar esse mesmo site. A Irregular não identificou impactos além dos próprios dados do site afetado, e sua auditoria continua em andamento. A empresa suspendeu as avaliações, iniciou as medidas corretivas e notificou os terceiros afetados. A Irregular nos informou que todos os problemas identificados em relação ao incidente já não estão ativos e que as proteções pertinentes foram adicionadas ao ambiente de testes. A Irregular também comunicou incidentes relacionados envolvendo outros laboratórios no mesmo ambiente de testes.

Agradecemos a parceria da Irregular e continuaremos trabalhando em estreita colaboração com a empresa para apoiar sua análise. A Irregular também está elaborando um documento técnico para compartilhar práticas recomendadas de contenção e execução segura de avaliações cibernéticas. Esperamos participar da elaboração do documento técnico para disponibilizar as conclusões à comunidade e dar continuidade à nossa parceria. Consideramos esse tipo de colaboração essencial para garantir avaliações seguras e rigorosas dos modelos atuais e futuros.