O incidente OpenAI–Hugging Face(abre em uma nova janela) foi um divisor de águas para a segurança cibernética, pois permitiu vislumbrar como os recursos de um agente de ameaças típico evoluirão nos próximos meses. Conversei com muitas organizações nas últimas semanas, e um ponto está claro: elas sabem que precisam elevar radicalmente suas práticas de segurança cibernética em uma velocidade sem precedentes. Neste artigo, compartilharei o que estamos fazendo para defender a OpenAI, medidas concretas que outras organizações podem adotar hoje e por que este é o momento de agir.
Modelos de IA desenvolvidos no mundo todo conseguem automatizar cada vez mais partes de ataques cibernéticos reais, facilitando a descoberta e a exploração de antigas lacunas de segurança — desde bugs ocultos em códigos escritos por pessoas até permissões esquecidas. Os mesmos recursos de IA oferecem aos defensores novas maneiras de encontrar e corrigir essas fragilidades, mas eles precisam agir agora. Se as empresas agirem com firmeza — inclusive reforçando seus fundamentos e potencializando suas equipes com IA —, poderemos tornar a internet mais segura do que nunca.
No incidente OpenAI–Hugging Face, um coletivo com agentes de IA conseguiu invadir de forma autônoma não apenas a infraestrutura de pesquisa da OpenAI, mas também a infraestrutura de produção de outra empresa, encadeando vulnerabilidades que iam de falhas de segurança até então desconhecidas ao uso de credenciais de contas de usuários vazadas na internet. Está cada vez mais claro que a dívida técnica(abre em uma nova janela) de cada empresa oculta falhas significativas, e os defensores precisam encontrá-las e corrigi-las antes dos invasores.
Para dar vantagem aos defensores em relação aos invasores, no início deste ano começamos a disponibilizar nossos recursos cibernéticos apenas a defensores confiáveis. Desde então, várias empresas lançaram modelos com pesos abertos e recursos cibernéticos apenas alguns meses atrás dos modelos de fronteira. O mais recente desses modelos parece estar previsto para ser lançado(abre em uma nova janela) no fim de agosto e provavelmente acelerará de forma significativa a evolução do cenário de ameaças.
Embora invasores munidos de IA em breve consigam encontrar falhas antigas em muitos sistemas existentes, a IA também facilitará muito o trabalho dos defensores para encontrar, priorizar e corrigir essas mesmas falhas. A segurança ainda é um jogo de gato e rato, mas a IA pode mudar sua dinâmica econômica(abre em uma nova janela) de maneiras que deem uma vantagem decisiva aos defensores. Por exemplo, estamos começando a treinar nossos modelos especificamente para escrever códigos com um nível de segurança sobre-humano. Nossos modelos também são excelentes em demonstrações matemáticas, que podem ser aplicadas à verificação formal da segurança de softwares de uma forma que se mostrou inviável para as pessoas.
Após o incidente OpenAI–Hugging Face, pedi ao ChatGPT Work, usando o GPT‑5.6 Sol disponível publicamente, que avaliasse a segurança do gregbrockman.com(abre em uma nova janela). É um site estático simples, hospedado na AWS e com a Cloudflare como porta de entrada, então imaginei que a superfície para vulnerabilidades seria pequena.
Em cerca de 15 minutos, ele descobriu 13 problemas. Muitos provavelmente não são exploráveis isoladamente, mas consigo imaginar que poderiam ser encadeados com outras vulnerabilidades e causar um impacto significativo. Eu não havia configurado meus registros DNS para impedir que invasores falsificassem e-mails em meu nome; meu site usava uma versão insegura do jQuery; e a Cloudflare encaminhava solicitações à AWS por HTTP não criptografado.
Em seguida, pedi ao ChatGPT Work que corrigisse esses problemas, o que ele fez ao longo de uma hora. Ele abriu o painel de controle da Cloudflare no meu navegador e clicou em vários botões para configurar corretamente o DNS, o TLS e opções avançadas de segurança; removeu totalmente o jQuery do site; migrou o site da AWS para o Cloudflare Pages; e iniciou uma implantação gradual do DMARC(abre em uma nova janela).
E esse era apenas o meu site pessoal. Esse é um pequeno exemplo de como nossos modelos atuais podem atuar como guardiões cibernéticos: eles encontram a longa cauda de problemas que uma pessoa não teria tempo ou conhecimento para resolver — conheço superficialmente muitas das configurações corrigidas, mas não saberia de imediato como configurá-las corretamente — e então os corrigem com um plano de implantação ajustado de forma adequada.
O incidente da Hugging Face mostrou que subestimamos os recursos cibernéticos de nossos modelos de IA no mundo real. Estamos reforçando nossos requisitos de segurança de acordo com essa realidade, o que torna ainda mais urgentes nossas pesquisas de segurança e nosso trabalho interno de proteção já em andamento.
Estou compartilhando um pouco da nossa abordagem atual para proteger a OpenAI na esperança de que ela seja útil a outras organizações. Para proteger a OpenAI, estamos investindo significativamente tanto em controles fundamentais — fazer o básico corretamente — quanto no fortalecimento de nossas defesas por meio de Inteligência de ponta. Essa estratégia tem quatro pilares principais.
Primeiro, estamos usando nossos modelos para ajudar a proteger nosso código. O Codex, incluindo nosso plugin de segurança, valida alterações no código, identifica vulnerabilidades e ajuda os desenvolvedores a corrigir problemas antes da implantação. Simplesmente gerar mais achados de segurança que exijam validação humana seria contraproducente; o objetivo é detectar vulnerabilidades reais antes que cheguem à produção e encurtar o caminho entre a descoberta de um problema e a implantação segura de uma correção. À medida que continuamos treinando nossos modelos para gerar códigos cada vez mais seguros, nosso objetivo é eliminar algumas classes de vulnerabilidades de software em códigos recém-criados.
Segundo, estamos colocando nossos modelos para trabalhar continuamente na defesa de nossa infraestrutura. Hoje, quase todos os nossos alertas de segurança iniciais passam pela triagem da inteligência antes do envolvimento de pessoas. Isso ajuda a reduzir o trabalho operacional dos defensores, melhora o tempo de resposta e permite que as pessoas se concentrem onde suas habilidades geram mais valor: discernimento, julgamento e conhecimento especializado aplicado. Estamos conectando cada vez mais essas detecções a respostas automatizadas e limitadas, mantendo as pessoas responsáveis pelas decisões de maior impacto. O objetivo é garantir que possamos detectar e responder a problemas de segurança na velocidade das máquinas.
Terceiro, estamos usando Inteligência de ponta para enumerar, sondar e identificar continuamente possíveis caminhos de ataque. Ao detectar vulnerabilidades, configurações incorretas, identidades com privilégios excessivos ou limites de confiança não intencionais, conseguimos identificar e eliminar rapidamente essas lacunas antes que invasores possam explorá-las. Isso nos permite avaliar, monitorar e testar continuamente nossas invariantes de segurança — as propriedades de segurança que consideramos verdadeiras — em nossos produtos, infraestrutura e sistemas.
Por fim, estamos investindo intensamente em fundamentos em grande escala. Continuamos investindo em arquitetura e controles seguros, adotando estratégias como defesa em profundidade e privilégio mínimo e projetando sistemas nos quais vários controles independentes precisariam falhar simultaneamente para que algo catastrófico acontecesse. Controles de segurança clássicos, como isolamento de rede, proteção de cargas de trabalho, monitoramento e aplicação e implantação seguras de correções, serão mais importantes do que nunca no futuro com a IA.
O tempo é crucial, e os defensores precisarão seguir as etapas abaixo em ritmo acelerado. Abaixo, mencionarei tecnologias da OpenAI, mas também há muitos concorrentes no ecossistema que merecem ser avaliados. Mais importante do que a ferramenta específica é colocar agora uma IA competente nas mãos de seus defensores.
- Garanta o comprometimento e o apoio da organização. Estamos passando por uma rápida mudança nos riscos de segurança. Garanta que suas equipes de segurança e engenharia tenham o apoio, a colaboração e os recursos necessários para lidar rapidamente com esses riscos. Realize simulações de cenários com suas equipes para explorar como esses ataques poderiam se manifestar na organização e como vocês responderiam.
- Dê um agente à sua equipe de segurança. Comece a usar o Codex, o plugin Codex Security(abre em uma nova janela) ou outra ferramenta competente de programação e segurança baseada em agentes de IA. Conceda a ele acesso autorizado às bases de código, configurações de infraestrutura e documentações técnicas que sua equipe de segurança precisa avaliar. Não espere uma implantação em toda a empresa para começar pelos sistemas de maior prioridade.
- Equipe esse agente com conhecimento especializado em segurança. Comece com Skills(abre em uma nova janela) mantidas pela comunidade, que incluem fluxos de trabalho para análise estática, revisão de código voltada à segurança, análise de variantes de vulnerabilidades, riscos da cadeia de suprimentos de software e outros processos de segurança. Depois, crie suas próprias Skills com base na arquitetura, nos padrões de segurança, nos modelos de ameaças e nos procedimentos da sua organização.
- Faça imediatamente avaliações de segurança em seus próprios sistemas. Priorize primeiro as avaliações de serviços expostos à internet, fluxos de autenticação, infraestrutura como código, pipelines de implantação e sistemas que processam informações confidenciais. Amplie as verificações à medida que sua equipe ganhar confiança.
- Resolva seu acúmulo atual de vulnerabilidades. Forneça ao agente achados de analisadores de código, alertas de dependências, tíquetes de segurança, relatórios de recompensas por bugs e avaliações anteriores. Peça que ele faça a triagem desses achados, diferencie problemas exploráveis de ruídos, identifique vulnerabilidades relacionadas em outras partes da base de código e recomende o que deve ser corrigido primeiro.
- Integre a revisão de segurança diretamente ao processo de desenvolvimento. Use agentes para revisar alterações no código antes da mesclagem e executar verificações de segurança na integração contínua. Procure erros de autenticação, formas de contornar controles de acesso, credenciais expostas, dependências inseguras, padrões de configuração inseguros, alterações que ampliem o acesso a sistemas de produção e outras vulnerabilidades.
- Peça ao agente que ajude a corrigir o que encontrar. Para problemas validados, peça que ele gere e verifique uma correção específica, escreva um teste de regressão e confirme que a vulnerabilidade não pode mais ser reproduzida. Mantenha a revisão humana para alterações importantes, mas elimine a demora desnecessária entre a identificação de um problema real e a apresentação de uma correção segura a um engenheiro.
- Automatize gradualmente a triagem de detecções. Não comece tentando criar um centro autônomo de operações de segurança. Comece executando uma verificação de segurança somente leitura em um repositório ou peça a um agente que revise alertas já resolvidos usando acesso somente leitura aos registros existentes. Deixe que ele resuma as evidências e recomende uma decisão, enquanto uma pessoa toma todas as decisões. À medida que a confiança aumentar, passe para a verificação consultiva de pull requests, depois para a triagem de alertas em tempo real e, por fim, para o encerramento automático de falsos positivos definidos de forma restrita.
- Prepare um recurso de investigação forense assistida por IA antes de precisar dele. Inscreva-se no Trusted Access for Cyber(abre em uma nova janela) e obtenha autorização para sua equipe usar o GPT‑Daybreak‑Blue em atividades defensivas autorizadas, incluindo resposta a incidentes, engenharia de detecção e análise de malware. Pratique o uso desse recurso para analisar registros, telemetria e alertas de segurança.
- Experimente, promova semanas de inovação e faça iterações rápidas. Precisaremos criar todos os tipos de novas ferramentas, modificar nossa forma de trabalhar e capacitar todos para o mundo ao qual estamos nos dirigindo. Incentive suas equipes a realizar experimentos, programe uma semana de inovação para criar novos recursos e concentre-se em iterar rapidamente ciclos que automatizem pequenas partes do problema. O rápido progresso incremental gera resultados defensivos cumulativos, e você pode ampliar gradualmente a autonomia à medida que sua equipe ganha confiança.
Nenhuma empresa consegue fazer isso sozinha. Pedimos que laboratórios de IA, fornecedores de segurança, empresas e mantenedores compartilhem achados validados, correções e procedimentos práticos, para que a descoberta de uma organização fortaleça todo o ecossistema.
A janela dos defensores está aberta agora. Nos próximos meses, todas as organizações precisarão começar a automatizar significativamente seus programas de segurança para permanecer protegidas, e a comunidade de segurança deve agir com urgência para definir as ferramentas, práticas e procedimentos que ampliarão o poder dos defensores mais rapidamente do que o dos invasores à medida que a IA continuar avançando. Isso exigirá um esforço enorme e sem precedentes, mas, se nos unirmos, poderemos criar um mundo mais seguro do que antes era possível imaginar.
