Avaliações cibernéticas externas de modelos da OpenAI

Os testes independentes desempenham um papel importante, ajudando-nos a validar e compreender melhor os riscos antes da implementação. Algumas avaliações cibernéticas utilizam intencionalmente configurações personalizadas, incluindo salvaguardas reduzidas, para medir as capacidades subjacentes — não a forma como os modelos normalmente se comportam em implementações disponíveis ao público.

Durante avaliações recentes, dois parceiros externos de testes identificaram incidentes em que a combinação das configurações e dos controlos de teste com as capacidades crescentes dos modelos recentes permitiu que a atividade dos modelos ultrapassasse os limites de teste previstos. Os incidentes salientam a importância da colaboração em todo o setor e com avaliadores externos para desenvolver as normas aplicáveis aos ambientes e às práticas de teste à medida que os modelos se tornam mais capazes. Nota do editor: Estes incidentes são distintos do incidente de segurança da Hugging Face, sobre o qual continuaremos a partilhar atualizações aqui.

Os novos incidentes envolveram modelos da OpenAI que acederam à Internet pública durante avaliações cibernéticas realizadas por terceiros, em condições específicas e com configurações de salvaguardas reduzidas que não refletiam uma implementação normal. Os incidentes foram os seguintes:

1. O UK AISI, o Instituto de Segurança da IA do governo britânico, estava a realizar avaliações em ambientes cibernéticos de teste com o acesso à Internet intencionalmente ativado, para que os agentes pudessem encontrar as suas próprias ferramentas e operar em condições mais próximas das de um atacante real, e com os classificadores de cibersegurança desativados para medir as capacidades subjacentes. Pode ler o artigo do UK AISI aqui.⁠(abre numa nova janela)
2. A Irregular, um dos nossos parceiros externos de testes de cibersegurança, estava a realizar avaliações ao estilo Capture the Flag que deveriam estar isoladas da Internet, mas uma configuração incorreta do ambiente de teste permitiu que os modelos acedessem à Internet pública.

Segue-se um resumo do que aconteceu, das condições de teste que permitiram a atividade, das medidas tomadas para a conter e do que estamos a fazer para garantir que os laboratórios independentes possam continuar a avaliar modelos cada vez mais capazes de forma rigorosa e segura.

Estes incidentes refletem o mesmo desafio mais amplo que descrevemos no nosso artigo recente sobre o incidente da Hugging Face: à medida que as capacidades dos modelos evoluem, os sistemas de segurança e proteção que os rodeiam também têm de evoluir. Isto inclui tanto os ambientes utilizados para desenvolver os modelos como os ambientes usados por laboratórios e parceiros independentes para os avaliar.

Nas próximas semanas, analisaremos a nossa abordagem aos testes realizados por terceiros, incluindo a forma como identificamos avaliações de maior risco, acordamos o âmbito, avaliamos pedidos de acesso à Internet ou de redução das salvaguardas, definimos expectativas de isolamento, gestão de credenciais, monitorização e condições de interrupção, e estabelecemos processos mais claros de notificação e escalamento de incidentes.

Estamos empenhados em colaborar com todo o setor para reforçar as práticas comuns de realização segura de avaliações de alto risco, reunindo nas próximas semanas partes interessadas como institutos nacionais de IA, avaliadores independentes, outros laboratórios de IA e outros grupos. O nosso objetivo é preservar o valor de uma avaliação independente rigorosa, garantindo simultaneamente que as práticas de teste acompanham a evolução das capacidades dos modelos.

Em 3 de agosto, o UK AISI informou-nos de que, durante uma avaliação cibernética de rotina iniciada em 25 de julho, modelos da OpenAI e de outro laboratório ultrapassaram, em alguns casos, o âmbito dos testes. A avaliação decorreu em ambientes cibernéticos controlados, concebidos para reproduzir redes do mundo real. Dos 19 eventos identificados, dois envolveram um modelo da OpenAI, o GPT‑5.6 Sol. Os restantes casos envolveram modelos de outro laboratório.

Nesta avaliação, os agentes receberam instruções para agir como especialistas em cibersegurança num exercício Capture the Flag: comprometer três ambientes simulados interligados e obter uma flag final. O prompt da tarefa identificava as redes do ambiente abrangidas pelo exercício e indicava vários sistemas como estando fora do âmbito. O UK AISI também ativou o acesso em direto à Internet para que os agentes pudessem descarregar ferramentas e operar em condições mais próximas das de um atacante humano — e desativou os classificadores de cibersegurança do modelo para medir as capacidades subjacentes.

O limite de autorização definido pelo UK AISI era o ambiente cibernético simulado: os agentes estavam autorizados a atacar as redes simuladas especificadas e a obter uma flag, mas não a interagir com sistemas fora dos limites da rede desse ambiente. Contudo, não foi explicitamente indicado aos agentes como podiam ou não utilizar o acesso livre à Internet, algo que o UK AISI identifica como uma possível causa do incidente.

Nestas execuções, o UK AISI constatou que o GPT‑5.6 Sol realizou duas ações não autorizadas enquanto tentava encontrar uma via de acesso ao ambiente simulado e obter a flag:

1. O GPT‑5.6 Sol reutilizou um token do GitHub que o agente de outro laboratório deixara acessível ao público para verificar se um sistema dentro do ambiente consultava o GitHub ou outro serviço de atualização, tentou contornar a recuperação de contas e os limites de pedidos e registou contas em fornecedores externos de DNS e túneis.
2. O GPT‑5.6 Sol utilizou um serviço público de túneis para tornar um servidor DNS, executado localmente no seu ambiente de avaliação, acessível através da Internet pública. O servidor continha cargas úteis destinadas a explorar uma vulnerabilidade conhecida num software executado no ambiente de teste. A configuração não funcionou, não há indícios de que qualquer resolvedor real a tenha consultado e a infraestrutura foi removida no final da avaliação.

Embora o modelo estivesse a tentar concluir o exercício no ambiente cibernético, o UK AISI considerou estas ações não autorizadas, pois envolveram contas e serviços externos reais, fora dos limites do ambiente, e não eram necessárias para concluir a tarefa. O servidor DNS também alojou cargas úteis de exploração na Internet pública, embora a configuração não tenha funcionado e não haja indícios de que qualquer resolvedor real a tenha consultado.

O UK AISI identificou a atividade em 28 de julho, depois de a monitorização de segurança detetar transferências de dados invulgares. Interrompeu as avaliações relacionadas, isolou as máquinas em causa e conteve a atividade cerca de uma hora após a deteção.

Agradecemos a colaboração do UK AISI ao longo deste processo, incluindo o seu trabalho para identificar e investigar a atividade e partilhar informações sobre a mesma. Esperamos continuar esta colaboração.

Em 29 de julho, a Irregular, um dos nossos parceiros externos de avaliação, notificou-nos de um incidente que envolveu modelos da OpenAI durante avaliações de cibersegurança ao estilo Capture the Flag (CTF). Os modelos receberam instruções para encontrar informações ocultas explorando vulnerabilidades num ambiente simulado e foram informados de que não tinham acesso à Internet. No entanto, uma configuração incorreta do ambiente de teste permitiu que os modelos acedessem à Internet pública.

Num dos testes, o nome do alvo fictício do desafio CTF coincidiu involuntariamente com um domínio real. Como o ambiente de teste estava, por engano, ligado à Internet, o modelo explorou um site real, julgando que fazia parte do ambiente simulado. Não se tratou de uma fuga sofisticada da sandbox nem de uma vulnerabilidade de dia zero: o acesso à Internet resultou de uma configuração incorreta e o modelo parece ter explorado uma vulnerabilidade de segurança básica.

Segundo a investigação da Irregular, o modelo também encontrou e utilizou credenciais para operar esse mesmo site. A Irregular não identificou impactos para além dos dados do próprio site afetado, e a sua auditoria continua em curso. A Irregular suspendeu as avaliações, iniciou medidas corretivas e notificou os terceiros afetados. A Irregular informou-nos de que todos os problemas identificados relativamente ao incidente já não estão ativos e que foram adicionadas salvaguardas adequadas ao ambiente de teste. A Irregular também comunicou incidentes relacionados, envolvendo outros laboratórios no mesmo ambiente de teste.

Agradecemos a colaboração da Irregular e continuaremos a trabalhar em estreita colaboração com a empresa para apoiar a sua análise. A Irregular está também a preparar um documento técnico para partilhar boas práticas de contenção e de execução segura de avaliações cibernéticas. Esperamos contribuir para o documento técnico, disponibilizar as conclusões à comunidade e dar continuidade à nossa colaboração. Consideramos este tipo de colaboração essencial para garantir uma avaliação segura e rigorosa dos modelos atuais e futuros.