Gerir o risco da IA de fronteira: do treino à disponibilização
18 de novembro de 2026 · Segurança
As capacidades dos modelos de fronteira evoluem rapidamente, e a nossa capacidade de os compreender, alinhar e proteger tem de se manter à frente. Estamos a ajustar o ritmo de desenvolvimento e lançamento dos nossos modelos, incluindo pausar o treino interno(abre numa nova janela) ou adiar modelos como o GPT‑6.1 Astra quando precisamos de mais tempo para cumprir os nossos padrões de segurança. Introduzimos novos processos, como as demonstrações de segurança, e exigimos provas mais sólidas de comportamento alinhado ao longo do treino. Estes requisitos abrandam o ritmo de lançamento dos modelos, mas dão-nos maior confiança para avançar em segurança.
Desde o incidente da Hugging Face, em julho, reforçámos as salvaguardas e os requisitos de alinhamento para o treino, os testes e a disponibilização de modelos. Este artigo explica como avaliamos e gerimos o risco em cada fase, desde ambientes de treino fortemente isolados até ao Codex que utiliza no seu computador. Avaliamos os modelos e as salvaguardas em cada fase e exigimos uma revisão de segurança para avançar para a fase seguinte.
Usamos uma defesa em profundidade com várias camadas de proteção que reduzem a dependência de qualquer salvaguarda isolada. Se uma camada falhar, as restantes ajudam a evitar danos, limitar as consequências ou alertar-nos para podermos intervir.
Organizamos as nossas proteções em quatro camadas:
Uma monitorização eficaz depende da monitorizabilidade do modelo — a fiabilidade com que os monitores conseguem detetar erros ou comportamentos inseguros a partir do raciocínio e das ações de um modelo. Por exemplo, um modelo que explicita a intenção de fazer batota na sua cadeia de pensamento (CoT) é mais fácil de monitorizar do que um que omite essa informação. Avaliamos a monitorizabilidade durante o treino e antes da disponibilização, desenvolvemos melhores métodos para a medir(abre numa nova janela) e estudamos o que a afeta(abre numa nova janela).
O incidente da Hugging Face mostrou por que motivo não devemos depender apenas do isolamento para conter modelos altamente capazes. Atualmente, monitorizamos os modelos de fronteira na maioria dos contextos de disponibilização interna e externa, incluindo todas as utilizações internas com recurso a ferramentas.
O papel de cada camada muda ao longo de três fases de desenvolvimento e disponibilização dos modelos:
Investigação: treinamos, testamos e usamos modelos em ambientes isolados.
Disponibilização interna: os colaboradores da OpenAI usam modelos em trabalho prático.
Disponibilização externa: os modelos tornam-se acessíveis a um conjunto mais alargado de pessoas e organizações.
Dependemos de camadas diferentes em cada fase. Durante o treino, quando há menos certezas quanto ao alinhamento, dependemos mais do isolamento e da monitorização. À medida que o acesso dos modelos se alarga durante a disponibilização, o alinhamento e os controlos ao nível do sistema ganham importância. Em cada fase, avaliamos se as proteções combinadas são suficientes face às capacidades e ao acesso do modelo. As nossas decisões podem ser revistas com o Grupo Consultivo de Segurança e supervisionadas pelo Comité de Segurança e Proteção do Conselho de Administração da OpenAI Foundation.
Na fase de investigação, avaliamos os modelos para ganhar confiança nas suas propriedades de alinhamento. Como ainda não podemos confiar inteiramente no alinhamento para evitar danos, dependemos fortemente da segurança e do isolamento para restringir o que podem fazer e a que podem aceder.
Tendo em conta o estado atual da investigação sobre alinhamento, dos sistemas de monitorização e da segurança da infraestrutura da Internet, acreditamos que a abordagem responsável é treinar modelos de fronteira sem acesso à Internet em tempo real. Após o incidente da Hugging Face, reestruturámos significativamente os nossos sistemas internos de investigação para conter os modelos através de:
ambientes isolados que restringem os privilégios do modelo
máquinas virtuais que reforçam o isolamento da carga de trabalho face ao computador subjacente
perímetros de rede e de nuvem que desligam todo o cluster da Internet
Testamos continuamente este sistema com equipas dos nossos modelos mais capazes, que tentam aceder à Internet em tempo real, ultrapassar os limites de segurança ou comunicar com agentes dos quais deveriam estar isolados. Isto ajuda-nos a testar se a contenção resiste às capacidades dos modelos que pretende limitar.
Como camada adicional de defesa, monitorizamos todas as inferências dos modelos de fronteira para detetar se algum contornou as nossas condições invariantes de segurança. Se a monitorização detetar que o modelo acedeu à Internet, alertamos as nossas equipas de segurança e pausamos automaticamente a carga de trabalho.
A monitorização constitui uma proteção de último recurso essencial quando a contenção falha. Num relatório recente de desalinhamento, partilhámos que os monitores detetaram um modelo interno de investigação a explorar uma configuração incorreta de DNS(abre numa nova janela) para obter acesso limitado à Internet. Pausámos o treino e a avaliação dos nossos modelos mais capazes de 20 de setembro a 1 de outubro, enquanto investigávamos e corrigíamos a falha de segurança.
Para tornar as intervenções rápidas e fiáveis, criámos o Control Room, um sistema central que acompanha as cargas de trabalho de investigação e interrompe a geração do modelo até 35 segundos após receber uma instrução para parar uma tarefa. Estes controlos são aplicados diretamente na infraestrutura de inferência, pelo que não dependem de cada carga de trabalho de investigação implementar o seu próprio mecanismo de paragem. Nas cargas de trabalho de investigação com modelos de fronteira, também interrompem a geração do modelo se o Control Room ficar indisponível.
O red teaming e a monitorização complementam-se. Não podemos garantir que um ambiente isolado seja impenetrável, mas o red teaming ajuda-nos a avaliar o esforço de que um modelo precisaria para escapar. Quanto maior for o esforço necessário, mais oportunidades terão os monitores de detetar e parar o modelo.
Exigimos controlos rigorosos de segurança e monitorização na fase de investigação por várias razões:
Os modelos ainda estão a ser avaliados. Alguns ainda não concluíram o treino de segurança, as auditorias de alinhamento e as revisões necessárias para a disponibilização pública.
Os ambientes de investigação de fronteira podem amplificar os riscos. Certas tarefas de investigação exigem configurações mais ambiciosas, tornando o modelo mais persistente ou capaz do que é habitual na utilização externa (por exemplo, foi necessária uma equipa de 10 000 agentes para resolver o problema de Navier–Stokes).
O treino decorre em grande escala, com menos supervisão humana direta. Ao contrário de uma sessão típica do Codex, as nossas cargas de trabalho de treino envolvem muitas ações dos modelos, sem uma pessoa a acompanhar cada interação.
Antes da disponibilização alargada, os colaboradores passam da utilização de modelos de fronteira em investigação em ambientes isolados para a utilização interna sem esse isolamento, por exemplo, com acesso ao modelo no ChatGPT. Isto permite-nos compreender melhor como os modelos se comportam em contextos práticos(abre numa nova janela) e fundamenta as decisões de disponibilização.
Nesta fase, damos ao modelo acesso à Internet em geral, ao nosso Slack, à nossa base de código e à infraestrutura interna. Isto altera significativamente o risco, pois as ações do modelo passam a ter um impacto direto nos sistemas que usamos para desenvolver e gerir a OpenAI. Durante a disponibilização interna, precisamos de depender mais do alinhamento dos modelos, das salvaguardas do sistema e da monitorização do que dos controlos de segurança.
Antes de ser disponibilizado fora do ambiente isolado, um modelo de fronteira tem de passar por testes de alinhamento e de monitorizabilidade(abre numa nova janela). Dispomos de um conjunto de avaliações de alinhamento que testam tanto modos de falha específicos (como contornar restrições de segurança e proteção) como tendências gerais (por exemplo, através de novas amostragens de trajetórias internas do Codex para detetar desalinhamento). Saiba mais sobre as nossas avaliações de alinhamento e monitorizabilidade no mais recente system card do GPT‑6 Astra(abre numa nova janela).
À semelhança das nossas configurações de produção, acrescentamos uma camada de defesa com classificadores ao nível do sistema, concebidos para proteger contra danos associados a modelos de fronteira, como o ciberabuso e o desenvolvimento de armas biológicas. Em geral, também exigimos que os colaboradores que usam o Codex utilizem a Revisão automática(abre numa nova janela), que avalia ações potencialmente arriscadas e as remete para o utilizador.
Por fim, monitorizamos todas as inferências dos modelos de fronteira durante a disponibilização interna para detetar comportamentos desalinhados. Como o modelo passa a ter mais privilégios e acesso a informações e sistemas internos, torna-se especialmente importante detetar riscos como a exfiltração de dados, ou seja, o envio de dados sensíveis para um destino não autorizado. A monitorização também nos ajuda a investigar novas formas de desalinhamento(abre numa nova janela).
A disponibilização pública expõe os modelos a muito mais utilizadores, tarefas e ambientes, aumentando tanto a escala como a variedade dos riscos. Nesta fase, também precisamos de nos proteger contra agentes potencialmente mal-intencionados que orientem deliberadamente o modelo para causar danos.
Antes da disponibilização pública, os modelos e as salvaguardas do sistema têm de cumprir os nossos requisitos de segurança para disponibilização externa. Avaliamos o seu cumprimento através de:
Um conjunto mais alargado de avaliações de alinhamento e segurança. Para os nossos modelos de fronteira, isto inclui novas rondas de testes adaptativos com os nossos sistemas internos de red teaming automatizado, para pôr à prova a robustez do modelo. Publicamos os resultados das nossas avaliações de capacidades e segurança nos nossos system cards(abre numa nova janela).
Para os modelos mais capazes, também realizamos testes com terceiros para pôr à prova tanto as salvaguardas contra a utilização indevida como o alinhamento subjacente dos modelos.
Análise dos alertas de monitorização da fase de disponibilização interna para acompanhar eventuais alterações no alinhamento subjacente do modelo de base.
Além das salvaguardas «síncronas» (como o treino de segurança dos modelos e os classificadores do sistema), na disponibilização externa também recorremos à aplicação de medidas e à investigação fora do processamento em tempo real. Estas equipas combinam agentes de investigação em grande escala com revisão humana para detetar e identificar potenciais ameaças, desde o ciberabuso, o desenvolvimento de armas biológicas e a destilação até ao desalinhamento do próprio modelo. A aplicação de medidas fora do processamento em tempo real é especialmente útil para reunir informação de várias contas e obter uma visão mais completa de uma potencial ameaça.
Os programas de acesso de confiança, como o Daybreak e o Rosalind, oferecem outra camada de segurança e aceleram o trabalho de defensores e investigadores legítimos, restringindo o acesso de potenciais atacantes.
Quando detetamos uma falha numa das nossas camadas de segurança, tenha ou não causado danos, procuramos investigá-la rapidamente, avaliar a sua prioridade e, quando possível e adequado, divulgá-la externamente. Ao abrigo da nossa política de comunicação de desalinhamento, qualquer colaborador pode sinalizar um incidente para divulgação pública. Estas comunicações são investigadas e, se houver desacordo quanto à divulgação externa, a decisão é remetida para o nosso Grupo Consultivo de Segurança. Além de contarmos com as comunicações dos colaboradores, procuramos ativamente incidentes de desalinhamento para os resolver e partilhar as conclusões.
Pode consultar os nossos relatórios de desalinhamento aqui(abre numa nova janela).
Este trabalho depende tanto dos avanços na investigação como do rigor operacional: configurar corretamente os controlos, testar a sua interação e responder com determinação quando falham. Um serviço de rede mal configurado ou uma paragem automática que falhe pode comprometer proteções que, de outro modo, seriam robustas.
À medida que os modelos adquirem novas capacidades, teremos de continuar a questionar os pressupostos das nossas salvaguardas e a melhorá-las quando necessário. As lições da investigação, da utilização interna e da disponibilização pública devem orientar o treino, a avaliação e a disponibilização dos próximos modelos.
Continuaremos a partilhar conclusões através de system cards, relatórios de incidentes, relatórios de risco(abre numa nova janela) da disponibilização interna e avaliações externas, para que outros possam escrutinar a nossa abordagem, incluindo as suas limitações. Quando essas provas não forem suficientes face aos nossos padrões de segurança, voltaremos a pausar o treino ou a adiar o lançamento até que os requisitos sejam cumpridos.
Definir padrões de segurança
Ajustar o ritmo de desenvolvimento de modelos numa era de capacidades críticas para a cibersegurança — Como abrandámos o treino de modelos de fronteira enquanto reforçávamos a contenção, alargávamos a monitorização e exigíamos provas mais sólidas de alinhamento.
Rumo a demonstrações de segurança para o treino de IA de fronteira — Orientações iniciais para argumentos de segurança baseados em provas, abrangendo salvaguardas técnicas, práticas operacionais e investigações de desalinhamento.
Prioridades e princípios para avaliações eficazes por terceiros — A nossa proposta de abordagem ao escrutínio independente de demonstrações de segurança, salvaguardas, avaliações e comportamento dos modelos.
Resumo periódico das avaliações de risco catastrófico na utilização interna(abre numa nova janela) — O nosso relatório público relativo a junho–setembro de 2026 descreve as utilizações internas de modelos de fronteira, os riscos avaliados e as alterações às salvaguardas e à governação.
Definir e avaliar o comportamento alinhado
Uma especificação do modelo atualizada para uma IA mais capaz e benéfica — Como atualizámos a especificação do modelo em torno de cinco valores centrais para orientar o discernimento, o comportamento e o respeito dos modelos pela supervisão humana.
Diferenças de comportamento entre avaliação e produção na segurança dos agentes e o papel da consciência de estar a ser avaliado(abre numa nova janela) — Um estudo das diferenças entre os resultados das avaliações de segurança e o comportamento em produção, incluindo o efeito da interpretação dos objetivos de avaliação pelos modelos no seu desempenho.
Para além da g-mean²: métricas complementares de monitorizabilidade(abre numa nova janela) — Novas métricas para comparar a monitorizabilidade e estimar o risco residual em sistemas simulados nos quais os monitores rejeitam os resultados dos modelos.
System card do GPT‑6 Astra(abre numa nova janela) — Avaliações detalhadas das capacidades, da segurança, do alinhamento e da monitorizabilidade do Astra, bem como das salvaguardas e limitações da sua disponibilização.
Conter os modelos e melhorar as salvaguardas
Proteger o nosso ambiente de treino de modelos de fronteira — Como reforçámos o isolamento, criámos ambientes de investigação sem ligação à Internet e usámos os nossos modelos mais capazes para testar os limites da contenção.
Treinar classificadores de ativação para segurança e alinhamento(abre numa nova janela) — Como os classificadores usam as ativações internas dos modelos para detetar comportamentos potencialmente nocivos e interromper respostas ou chamadas de ferramentas.
Revisão automática das ações dos agentes sem supervisão humana síncrona(abre numa nova janela) — Como um agente de revisão separado avalia ações que ultrapassam os limites do ambiente isolado, permitindo que os agentes de programação trabalhem autonomamente e bloqueando ações potencialmente nocivas ou não autorizadas.
GPT‑Red: explorar o autoaperfeiçoamento para aumentar a robustez — Como treinamos sistemas de red teaming automatizado através de jogos contra si próprios para descobrir vulnerabilidades e melhorar a robustez dos modelos contra injeções de prompts.
Control Room — Como acompanhamos as cargas de trabalho na nossa infraestrutura de investigação e impomos paragens rápidas à geração dos modelos quando questões de segurança ou proteção exigem intervenção.
Resposta a incidentes e divulgação
Como detetamos o desalinhamento de modelos de fronteira — O nosso sistema de monitorização combina sondas de ativação, revisão baseada em modelos, investigação automatizada e resposta humana para detetar e investigar comportamentos preocupantes.
O incidente da Hugging Face e o caminho a seguir — As nossas conclusões sobre o incidente da Hugging Face e as alterações que motivou na segurança, na monitorização e no alinhamento.
Um agente usou DNS para aceder a um chatbot externo(abre numa nova janela) — Como um modelo de investigação contornou restrições de acesso à Internet através de uma filtragem DNS insuficiente, como a monitorização o detetou e que controlos foram acrescentados depois.
Interromper uma campanha coordenada de destilação de modelos — Como investigámos e interrompemos tentativas de extrair raciocínio protegido dos modelos através de medidas aplicadas a contas, controlos técnicos e coordenação com parceiros.
O nosso quadro de comunicação de desalinhamento dos modelos — O nosso processo para acompanhar, investigar e divulgar comportamentos preocupantes dos modelos, incluindo casos cujas causas ou relevância permanecem incertas.
Relatórios e avisos de desalinhamento(abre numa nova janela) — A nossa coleção de incidentes divulgados e avisos que mostram como surge o desalinhamento e onde as salvaguardas funcionam ou falham.
Avanços na investigação e aplicações
Aceleração da investigação: a perspetiva interna da OpenAI — Primeiros indícios de como os agentes de programação estão a transformar a investigação na OpenAI, incluindo a sua utilização crescente, tarefas cada vez mais complexas e efeitos na experimentação.
Sobre o Problema do Prémio do Milénio de Navier–Stokes — Uma demonstração matemática produzida por um sistema interno de IA, acompanhada de uma formalização em Lean, que ilustra as capacidades da utilização em investigação em grande escala.
Daybreak — O nosso programa de cibersegurança fornece a defensores verificados capacidades avançadas de IA, ferramentas de segurança e apoio para encontrar vulnerabilidades e reforçar as defesas.
Apresentamos o GPT‑Rosalind para a investigação em ciências da vida — Um modelo especializado em biologia, descoberta de fármacos e medicina translacional, disponível para organizações elegíveis através de um programa de acesso de confiança.






