O incidente OpenAI-Hugging Face(abre numa nova janela) marcou um ponto de viragem na cibersegurança, pois permitiu antever como irão evoluir, nos próximos meses, as capacidades de um agente de ameaça típico. Nas últimas semanas, falei com muitas organizações e uma ideia é clara: sabem que têm de transformar radicalmente as suas práticas de cibersegurança, a uma velocidade sem precedentes. Neste artigo, explicarei o que estamos a fazer para defender a OpenAI, que medidas concretas outras organizações podem tomar já e por que motivo é este o momento de agir.
Os modelos de IA desenvolvidos em todo o mundo conseguem automatizar cada vez mais partes de ciberataques reais, o que facilita a descoberta e a exploração de falhas de segurança antigas — desde erros profundamente ocultos em software escrito por pessoas até permissões esquecidas. Essas mesmas capacidades de IA proporcionam aos defensores novas formas de encontrar e corrigir essas fragilidades, mas é preciso agir já. Se as empresas agirem de forma decisiva — reforçando, entre outros aspetos, os seus fundamentos de segurança e potenciando as equipas com IA —, podemos tornar a internet mais segura do que nunca.
No incidente OpenAI-Hugging Face, um coletivo agêntico conseguiu penetrar autonomamente não só na infraestrutura de investigação da OpenAI, mas também na infraestrutura de produção de outra empresa, encadeando vulnerabilidades que iam de falhas de segurança até então desconhecidas à utilização de credenciais de contas de utilizadores expostas na internet. É cada vez mais evidente que a dívida técnica(abre numa nova janela) de todas as empresas oculta falhas significativas, e os defensores têm de as encontrar e corrigir antes dos atacantes.
Para favorecer os defensores em relação aos atacantes, no início deste ano começámos a disponibilizar as nossas capacidades de cibersegurança apenas a defensores de confiança. Desde então, várias empresas lançaram modelos de pesos abertos cujas capacidades de cibersegurança estão apenas alguns meses aquém do que há de mais avançado. O mais recente destes modelos parece ter lançamento previsto(abre numa nova janela) para o final de agosto e deverá acelerar significativamente a evolução do panorama de ameaças.
Embora, em breve, os atacantes com IA consigam encontrar falhas antigas em muitos sistemas existentes, a IA também facilitará muito aos defensores a identificação, a priorização e a correção dessas mesmas falhas. A segurança continua a ser um jogo do gato e do rato, mas a IA poderá alterar a sua dinâmica económica(abre numa nova janela) de uma forma que favoreça substancialmente os defensores. Por exemplo, estamos a começar a treinar os nossos modelos especificamente para escrever código com um nível de segurança superior ao alcançável por humanos. Os nossos modelos também demonstram uma capacidade extraordinária para produzir demonstrações matemáticas, que podem ser aplicadas para verificar formalmente a segurança do software de uma forma que se revelou impraticável para os humanos.
Após o incidente OpenAI-Hugging Face, pedi ao ChatGPT Work (com o GPT‑5.6 Sol disponibilizado publicamente) que avaliasse a segurança de gregbrockman.com(abre numa nova janela). É um site estático simples, alojado na AWS e com o Cloudflare como porta de entrada, pelo que imaginei que teria uma superfície de ataque reduzida.
Em cerca de 15 minutos, detetou 13 problemas, muitos dos quais provavelmente não são exploráveis isoladamente — mas consigo imaginar que, encadeados com outras vulnerabilidades, poderiam ter um impacto significativo. Não tinha configurado os meus registos DNS de forma a impedir que atacantes falsificassem emails em meu nome; o meu site usava uma versão insegura do jQuery; o Cloudflare encaminhava pedidos para a AWS através de HTTP não encriptado.
Em seguida, pedi ao ChatGPT Work que corrigisse estes problemas, o que fez ao longo de uma hora. Abriu o painel de controlo do Cloudflare no meu navegador e começou a clicar em vários botões para configurar corretamente o DNS, o TLS e definições de segurança avançadas; removeu totalmente o jQuery do site; migrou o site da AWS para o Cloudflare Pages; iniciou uma implementação faseada do DMARC(abre numa nova janela).
E isto aconteceu apenas no meu site pessoal. É um pequeno exemplo de como os nossos modelos atuais podem funcionar como um ciberguardião: encontram toda uma série de problemas menos evidentes que uma pessoa não teria tempo nem conhecimentos para identificar (conheço vagamente muitas das definições que corrigiu, mas não saberia de imediato como configurá-las corretamente) e corrigem-nos depois com um plano de implementação devidamente ajustado.
O incidente da Hugging Face demonstrou que subestimámos as capacidades reais dos nossos modelos de IA no domínio da cibersegurança. Por isso, estamos a reforçar os nossos requisitos de segurança da IA, o que torna ainda mais urgente a investigação que já realizamos nesta área e o nosso trabalho interno de cibersegurança.
Partilho alguns aspetos da nossa abordagem atual à proteção da OpenAI, na esperança de que sejam úteis para outras organizações. Para proteger a OpenAI, estamos a investir significativamente em controlos fundamentais — fazer bem o básico — e a reforçar as nossas defesas com inteligência de fronteira. Esta estratégia assenta em quatro pilares principais.
Em primeiro lugar, estamos a usar os nossos modelos para ajudar a proteger o nosso código. O Codex, incluindo o nosso plugin de segurança, valida alterações ao código, identifica vulnerabilidades e ajuda os programadores a corrigir problemas antes de chegarem à produção. O objetivo não é simplesmente identificar mais potenciais problemas de segurança que exijam validação humana; pretende-se detetar vulnerabilidades reais antes de chegarem à produção e encurtar o percurso entre a descoberta de um problema e a implementação segura de uma correção. À medida que continuamos a treinar os nossos modelos para produzir código cada vez mais seguro, pretendemos eliminar determinadas categorias de vulnerabilidades de software no código recém-criado.
Em segundo lugar, estamos a pôr os nossos modelos a trabalhar na defesa contínua da nossa infraestrutura. Atualmente, quase todos os nossos alertas de segurança iniciais são triados por sistemas inteligentes antes de haver intervenção humana. Isto reduz o trabalho repetitivo das equipas de defesa, melhora o tempo de resposta e permite que as pessoas se concentrem nas áreas onde as suas competências têm maior impacto — discernimento, capacidade de avaliação e experiência aplicada. Estamos cada vez mais a associar estas deteções a respostas automatizadas de âmbito limitado, mantendo a responsabilidade humana pelas decisões de maior impacto. O objetivo é garantir que conseguimos detetar e responder a problemas de segurança à velocidade das máquinas.
Em terceiro lugar, estamos a usar inteligência de fronteira para enumerar, sondar e identificar continuamente potenciais vias de ataque. Ao identificarmos vulnerabilidades, configurações incorretas, identidades com privilégios excessivos ou limites de confiança criados inadvertidamente, conseguimos detetar e colmatar rapidamente estas lacunas antes que os atacantes as possam explorar. Isto permite-nos avaliar, monitorizar e testar continuamente os nossos invariantes de segurança — as propriedades de segurança que consideramos verdadeiras — em todos os nossos produtos, infraestruturas e sistemas.
Por último, estamos a investir fortemente nos fundamentos de segurança à escala. Continuamos a investir numa arquitetura e em controlos seguros, adotamos estratégias como a defesa em profundidade e o princípio do privilégio mínimo, e estamos a conceber sistemas nos quais seria necessário que vários controlos independentes falhassem em simultâneo para ocorrer algo catastrófico. No futuro da IA, os controlos de segurança clássicos, como o isolamento de redes, o reforço das cargas de trabalho, a monitorização, a aplicação de patches e a implementação de alterações em segurança, serão mais importantes do que nunca.
Não há tempo a perder, e os defensores terão de avançar com os passos abaixo a toda a velocidade. Em seguida, mencionarei tecnologia da OpenAI, mas há também muitos concorrentes no ecossistema que vale a pena avaliar. Mais importante do que a ferramenta específica é colocar já sistemas de IA capazes nas mãos dos defensores.
- Obtenha o compromisso e o apoio da organização. Estamos a assistir a uma rápida evolução dos riscos de segurança — garanta que as suas equipas de segurança e engenharia dispõem do apoio, da colaboração e dos recursos necessários para lhes dar uma resposta rápida. Realize exercícios de simulação com as equipas para testar como estes ataques se poderão manifestar na organização e de que forma lhes darão resposta.
- Dê um agente à sua equipa de segurança. Comece a usar o Codex, o plugin Codex Security(abre numa nova janela), ou outra ferramenta competente de programação agêntica e segurança. Conceda-lhe acesso autorizado às bases de código, configurações de infraestrutura e documentação técnica que a equipa de segurança precisa de avaliar. Não espere por uma implementação em toda a empresa para começar pelos sistemas de maior prioridade.
- Dote esse agente de conhecimentos especializados em segurança. Comece por utilizar skills(abre numa nova janela), que contam com o apoio da comunidade e incluem fluxos de trabalho para análise estática, revisão de código centrada na segurança, análise de variantes de vulnerabilidades, riscos da cadeia de fornecimento de software e outros fluxos de trabalho de segurança. Em seguida, crie skills próprias adaptadas à arquitetura, às normas de segurança, aos modelos de ameaças e aos guias operacionais da organização.
- Realize de imediato avaliações de segurança aos seus próprios sistemas. Dê prioridade às avaliações de serviços expostos à internet, fluxos de autenticação, infraestrutura como código, pipelines de implementação e sistemas que tratam informações confidenciais. Alargue o âmbito das análises à medida que a equipa ganha confiança.
- Trate das vulnerabilidades acumuladas. Forneça ao agente os resultados dos analisadores de código, alertas de dependências, tickets de segurança, relatórios de bug bounty e avaliações anteriores. Peça-lhe que faça a triagem desses resultados, distinga os problemas exploráveis do ruído, identifique vulnerabilidades relacionadas noutras partes da base de código e recomende o que deve ser corrigido primeiro.
- Integre a revisão de segurança diretamente no processo de desenvolvimento. Utilize agentes para rever alterações ao código antes de serem integradas e executar verificações de segurança em CI. Procure erros de autenticação, formas de contornar os controlos de acesso, credenciais expostas, dependências inseguras, predefinições inseguras, alterações que alarguem o acesso a sistemas de produção e outras vulnerabilidades.
- Recorra ao agente para ajudar a corrigir o que encontrar. No caso de problemas validados, peça-lhe que gere e verifique uma correção específica, escreva um teste de regressão e confirme que a vulnerabilidade já não é reproduzível. Mantenha a revisão humana para alterações com impacto significativo, mas elimine o atraso desnecessário entre a identificação de um problema real e a disponibilização de uma correção segura a um engenheiro.
- Automatize gradualmente a triagem das deteções. Não comece por tentar criar um centro de operações de segurança autónomo. Comece por executar uma análise de segurança com acesso só de leitura num repositório ou peça a um agente que reveja alertas já resolvidos, usando acesso só de leitura aos registos existentes. Permita-lhe resumir os elementos de prova e recomendar o respetivo tratamento, mantendo todas as decisões a cargo de uma pessoa. À medida que a confiança aumenta, avance para a análise consultiva de pull requests, depois para a triagem de alertas em tempo real e, por fim, para o fecho automático de falsos positivos definidos segundo critérios rigorosos.
- Prepare antecipadamente uma capacidade de investigação forense assistida por IA. Solicite acesso ao Trusted Access for Cyber(abre numa nova janela) e obtenha aprovação para a sua equipa utilizar o GPT‑Daybreak‑Blue em trabalho defensivo autorizado, incluindo resposta a incidentes, engenharia de deteção e análise de malware. Pratique a utilização desta capacidade para analisar registos, telemetria e alertas de segurança.
- Faça experiências, organize semanas de hackathon e faça iterações rápidas. Teremos de criar todo o tipo de novas ferramentas, alterar a forma como trabalhamos e elevar as competências de todos para o mundo em que estamos a entrar. Incentive os colaboradores a realizar experiências, organize uma semana de hackathon para criar novas capacidades e concentre-se no aperfeiçoamento rápido de ciclos que automatizem pequenas partes do problema. O rápido progresso incremental produz resultados de defesa cumulativos, e a autonomia pode ser alargada gradualmente à medida que a equipa ganha confiança.
Nenhuma empresa consegue fazer isto sozinha. Pedimos aos laboratórios de IA, fornecedores de segurança, empresas e responsáveis pela manutenção que partilhem descobertas validadas, correções e guias operacionais práticos, para que a descoberta de uma organização possa reforçar todo o ecossistema.
A janela de oportunidade dos defensores está aberta agora. Nos próximos meses, todas as organizações terão de começar a automatizar de forma significativa o seu programa de segurança para se manterem protegidas, e a comunidade de segurança tem de se mobilizar urgentemente para definir as ferramentas, práticas e guias operacionais que aumentarão a capacidade dos defensores mais rapidamente do que a dos atacantes à medida que a IA continua a avançar. Isto exigirá um esforço enorme e sem precedentes, mas, se nos mobilizarmos em conjunto, poderemos criar um mundo mais seguro do que antes se julgava possível.
