OpenAI

Gestão de riscos da IA de ponta: do treinamento à implantação

18 de novembro de 2026 · Segurança

As capacidades dos modelos de fronteira avançam rapidamente, e nossa capacidade de entendê-los, alinhá-los e protegê-los precisa se manter à frente. Estamos ajustando o ritmo de desenvolvimento e lançamento dos nossos modelos, inclusive pausando o treinamento interno⁠(abre em uma nova janela) ou adiando o lançamento de modelos como o GPT‑6.1 Astra quando precisamos de mais tempo para atender aos nossos padrões de segurança. Introduzimos novos processos, como argumentações de segurança, e exigimos evidências mais sólidas de comportamento alinhado ao longo do treinamento. Esses requisitos reduzem o ritmo dos lançamentos, mas nos dão mais confiança para avançar com segurança.

Desde o incidente da Hugging Face⁠ em julho, reforçamos as salvaguardas e os requisitos de alinhamento que regem o treinamento, os testes e a implantação de modelos. Este artigo explica como avaliamos e gerenciamos riscos em cada etapa, desde ambientes de treinamento altamente isolados até o Codex que você usa no seu computador. Avaliamos modelos e salvaguardas em cada etapa e exigimos uma revisão de segurança para avançar à etapa seguinte.

Defesa em profundidade ao longo do ciclo de vida do modelo

Usamos a defesa em profundidade, com várias camadas de proteção que reduzem a dependência de qualquer salvaguarda isolada. Se uma camada falhar, as demais ajudam a evitar danos, limitar consequências ou nos alertar para que possamos intervir.

Organizamos nossas proteções em quatro camadas:

O monitoramento eficaz depende da monitorabilidade do modelo: a confiabilidade com que os monitores detectam erros ou comportamentos inseguros a partir do raciocínio e das ações do modelo. Por exemplo, um modelo que explicita a intenção de trapacear em sua cadeia de pensamento (CoT) é mais fácil de monitorar do que um que omite essa informação. Avaliamos a monitorabilidade durante o treinamento e antes da implantação, desenvolvemos métodos melhores para medi-la⁠(abre em uma nova janela) e estudamos o que a afeta⁠(abre em uma nova janela).

O incidente da Hugging Face mostrou por que não devemos depender apenas do isolamento em sandbox para conter modelos altamente capazes. Agora monitoramos modelos de fronteira na maioria dos ambientes de implantação interna e externa, incluindo todas as implantações internas que usam ferramentas.

O papel de cada camada muda ao longo de três etapas do desenvolvimento e da implantação de modelos:

  • Pesquisa: treinamos, testamos e usamos modelos em ambientes isolados.

  • Implantação interna: funcionários da OpenAI usam modelos em atividades práticas de trabalho.

  • Implantação externa: os modelos ficam disponíveis de forma mais ampla para pessoas e organizações.

Dependemos de camadas diferentes em cada etapa. Durante o treinamento, quando há menos certeza sobre o alinhamento, dependemos mais do isolamento e do monitoramento. À medida que os modelos ganham acesso mais amplo durante a implantação, o alinhamento e os controles no nível do sistema se tornam cada vez mais importantes. Em cada etapa, avaliamos se as proteções combinadas são suficientes para as capacidades e o acesso do modelo. Nossas decisões podem ser revisadas com o Conselho de Segurança e supervisionadas pelo Comitê de Segurança e Proteção do Conselho de Administração da OpenAI Foundation.

Durante a pesquisa: conter modelos em ambientes isolados

Na fase de pesquisa, avaliamos os modelos para ganhar confiança em suas propriedades de alinhamento. Como ainda não podemos confiar plenamente no alinhamento para evitar danos, dependemos fortemente da segurança e do isolamento para restringir o que eles podem acessar e fazer.

Dado o estado atual da pesquisa de alinhamento, dos sistemas de monitoramento e da segurança da infraestrutura da internet, acreditamos que a abordagem responsável é treinar modelos de fronteira sem acesso à internet em tempo real. Após o incidente da Hugging Face, reestruturamos significativamente nossos sistemas internos de pesquisa para conter modelos usando:

  • sandboxes que restringem os privilégios do modelo

  • máquinas virtuais para isolar ainda mais a carga de trabalho do computador subjacente

  • perímetros de rede e nuvem que desconectam todo o cluster da internet

Testamos continuamente esse sistema com ataques simulados: equipes dos nossos modelos mais poderosos tentam acessar a internet em tempo real, escapar dos limites de segurança ou se comunicar com agentes dos quais deveriam estar isolados. Isso nos ajuda a testar se a contenção resiste às capacidades dos modelos que ela deve restringir.

Como camada adicional de defesa, monitoramos toda inferência dos modelos de fronteira para detectar se o modelo contornou nossas condições invariantes de segurança. Se o monitoramento detectar que o modelo acessou a internet, acionamos nossas equipes de segurança e pausamos automaticamente a carga de trabalho.

O monitoramento oferece uma proteção essencial quando a contenção falha. Em um relatório recente de desalinhamento, compartilhamos que os monitores detectaram um modelo interno de pesquisa explorando uma configuração incorreta de DNS⁠(abre em uma nova janela) para obter acesso limitado à internet. Pausamos o treinamento e a avaliação dos nossos modelos mais capazes de 20 de setembro a 1º de outubro, enquanto investigávamos e corrigíamos a brecha de segurança.

Para tornar as intervenções rápidas e confiáveis, criamos o Control Room⁠, um sistema central que acompanha cargas de trabalho de pesquisa e interrompe a geração de novas saídas do modelo em até 35 segundos após receber uma instrução para parar uma tarefa. Esses controles são aplicados diretamente na infraestrutura de inferência, sem depender de que cada carga de trabalho de pesquisa implemente seu próprio mecanismo de desligamento. Nas cargas de trabalho de pesquisa com modelos de fronteira, eles também interrompem a geração de saídas se o Control Room ficar indisponível.

Red teaming e monitoramento trabalham em conjunto. Não podemos garantir que um sandbox seja impenetrável, mas o red teaming nos ajuda a avaliar quanto esforço um modelo precisaria fazer para escapar dele. Quanto maior o esforço necessário, mais oportunidades os monitores têm de detectar e interromper a tentativa.

Exigimos controles rigorosos de segurança e monitoramento na etapa de pesquisa por alguns motivos:

  • Os modelos ainda estão em avaliação. Alguns ainda não concluíram o treinamento de segurança, as auditorias de alinhamento e as revisões exigidas para o lançamento público.

  • Ambientes de pesquisa de fronteira podem ampliar os riscos. Certas tarefas de pesquisa exigem configurações mais ambiciosas, tornando o modelo mais persistente ou capaz do que costuma ser na implantação externa (por exemplo, foi necessária uma equipe de 10.000 agentes para resolver o problema de Navier–Stokes).

  • O treinamento ocorre em escala, com menos supervisão humana direta. Diferentemente de uma sessão típica do Codex, nossas cargas de trabalho de treinamento envolvem um grande número de ações dos modelos, sem uma pessoa acompanhando cada interação.

Implantação interna: testar o alinhamento e monitorar de perto o comportamento

Antes do lançamento amplo, os funcionários passam do uso de modelos de fronteira em ambientes isolados de pesquisa para o uso interno desses modelos sem isolamento, por exemplo, com a disponibilização do modelo no ChatGPT para funcionários. Isso nos ajuda a entender melhor como os modelos se comportam em situações práticas⁠(abre em uma nova janela) e orienta as decisões de implantação.

Nessa fase, damos ao modelo acesso mais amplo à internet, ao nosso Slack, à nossa base de código e à infraestrutura interna. Isso representa uma mudança significativa no risco, pois as ações do modelo passam a ter impacto direto nos sistemas que usamos para desenvolver e operar a OpenAI. Durante a implantação interna, precisamos depender mais do alinhamento do modelo, das salvaguardas do sistema e do monitoramento do que dos controles de segurança.

Antes de ser implantado fora do ambiente isolado, um modelo de fronteira deve passar por testes de alinhamento e de monitorabilidade⁠(abre em uma nova janela). Temos um conjunto de avaliações de alinhamento que testa modos específicos de falha (como contornar restrições de segurança e proteção) e mede propensões de forma ampla (por exemplo, reamostrando trajetórias internas do Codex e verificando se há desalinhamento). Saiba mais sobre nossas avaliações de alinhamento e monitorabilidade no system card mais recente do GPT‑6 Astra⁠(abre em uma nova janela).

Assim como nos ambientes de produção, adicionamos uma camada de defesa com classificadores no nível do sistema, projetados para proteger contra danos associados aos modelos de fronteira, como abusos cibernéticos e desenvolvimento de armas biológicas. Também costumamos exigir o Auto-Review⁠(abre em uma nova janela) para funcionários que usam o Codex. Ele avalia ações potencialmente arriscadas e as encaminha de volta ao usuário para análise.

Por fim, monitoramos cada inferência dos modelos de fronteira durante a implantação interna para detectar comportamentos desalinhados. Como o modelo passa a ter privilégios ampliados e acesso a informações e sistemas internos, torna-se especialmente importante detectar riscos como a exfiltração de dados, ou seja, o envio de dados sensíveis a um destino não autorizado. O monitoramento também nos ajuda a investigar novas formas de desalinhamento⁠(abre em uma nova janela).

Implantação externa: proteger contra uso indevido e desalinhamento em escala

A implantação pública expõe os modelos a muito mais usuários, tarefas e ambientes, aumentando tanto a escala quanto a variedade dos riscos. Nessa etapa, também precisamos nos proteger contra possíveis agentes mal-intencionados que deliberadamente orientam o modelo a causar danos.

Antes do lançamento público, os modelos e as salvaguardas do sistema devem atender aos nossos requisitos de segurança para implantação externa. Fazemos essa avaliação por meio de:

  • Um conjunto mais amplo de avaliações de alinhamento e segurança. Para nossos modelos de fronteira, isso inclui novas rodadas de testes adaptativos⁠ com nossos sistemas internos automatizados de red teaming para testar a robustez do modelo sob condições extremas. Publicamos os resultados das avaliações de capacidade e segurança em nossos system cards⁠(abre em uma nova janela).

  • Para nossos modelos mais capazes, também realizamos testes com terceiros para colocar à prova tanto as salvaguardas contra uso indevido quanto o alinhamento subjacente dos modelos.

  • Análise dos alertas de monitoramento da etapa de implantação interna para acompanhar mudanças no alinhamento subjacente do modelo base.

Além das salvaguardas "síncronas" (como o treinamento de segurança dos modelos e os classificadores do sistema), nas implantações externas também usamos investigação e aplicação de medidas fora do fluxo em tempo real. Essas equipes combinam sistemas de investigação com agentes de IA em escala e revisão humana para detectar e identificar possíveis fontes de ameaças, desde abusos cibernéticos, desenvolvimento de armas biológicas e destilação⁠ até o desalinhamento do próprio modelo. A aplicação de medidas fora do fluxo em tempo real é especialmente útil para reunir informações entre diferentes contas e formar uma visão mais completa de uma possível ameaça.

Programas de acesso confiável, como Daybreak e Rosalind⁠, oferecem outra camada de segurança e aceleram o trabalho de defensores e pesquisadores legítimos, restringindo o acesso de possíveis atacantes.

Resposta a incidentes e divulgação

Quando identificamos uma falha em uma de nossas camadas de segurança, independentemente de ter causado algum dano, buscamos investigar e fazer a triagem rapidamente e, quando possível e apropriado, divulgar a falha externamente. Segundo nossa política de relato de desalinhamento⁠, qualquer funcionário pode indicar um incidente para divulgação pública. Esses relatos são investigados e, se houver discordância sobre sua divulgação externa, a decisão é encaminhada ao nosso Conselho de Segurança. Além de contar com os relatos dos funcionários, buscamos proativamente incidentes de desalinhamento para tratá-los e compartilhar as conclusões.

Você pode consultar nossos relatórios de desalinhamento aqui⁠(abre em uma nova janela).

​


​

Esse trabalho depende tanto do avanço da pesquisa quanto da disciplina operacional: configurar controles corretamente, testar como interagem e agir com firmeza quando falham. Um serviço de rede mal configurado ou uma falha na interrupção automática pode comprometer proteções que, de outro modo, seriam robustas.

À medida que os modelos ganham novas capacidades, precisaremos continuar questionando as premissas das nossas salvaguardas e aprimorando-as quando necessário. As lições da pesquisa, do uso interno e da implantação pública devem orientar como treinamos, avaliamos e implantamos os próximos modelos.

Continuaremos compartilhando descobertas por meio de system cards, relatórios de incidentes, relatórios de risco⁠(abre em uma nova janela) da implantação interna e avaliações externas⁠, para que outros possam analisar criticamente nossa abordagem, inclusive suas limitações. Quando essas evidências não atingirem nosso padrão de segurança, voltaremos a pausar o treinamento ou adiar o lançamento até que os requisitos sejam atendidos.

Pesquisas e recursos relacionados

Definição de padrões de segurança

Definição e avaliação do comportamento alinhado

Contenção de modelos e aprimoramento de salvaguardas

Resposta a incidentes e divulgação

Avanços da pesquisa e aplicações

  • Aceleração da pesquisa: a visão de dentro da OpenAI — Evidências iniciais de como agentes de programação estão mudando a pesquisa na OpenAI, incluindo seu uso crescente, tarefas cada vez mais complexas e efeitos sobre a experimentação.

  • Sobre o Problema do Prêmio do Milênio de Navier–Stokes — Uma demonstração matemática produzida por um sistema interno de IA, acompanhada de uma formalização em Lean, que ilustra as capacidades de implantações de pesquisa em larga escala.

  • Daybreak — Nosso programa de cibersegurança oferece a defensores previamente avaliados capacidades avançadas de IA, ferramentas de segurança e apoio para encontrar vulnerabilidades e reforçar defesas.

  • Apresentamos o GPT‑Rosalind para pesquisa em ciências da vida⁠ — Um modelo especializado em biologia, descoberta de medicamentos e medicina translacional, disponível a organizações elegíveis por meio de um programa de acesso confiável.