Ritmo do desenvolvimento de modelos em uma era de capacidades cibernéticas críticas

Nas últimas semanas, dois acontecimentos ressaltaram os riscos crescentes associados a sistemas de IA cada vez mais capazes: o incidente entre OpenAI e Hugging Face e, separadamente, indícios preliminares de que um dos nossos próximos modelos, o Astra, pode atingir o limite de capacidade crítica de cibersegurança definido em nosso Preparedness Framework. Em conjunto, esses acontecimentos e o rápido avanço de nossa pesquisa interna tornaram ainda mais urgente o trabalho de reforçar as salvaguardas de monitoramento, alinhamento e contenção em todas as etapas do processo de treinamento.

À medida que os modelos se tornam mais capazes, também crescem os riscos associados ao seu desenvolvimento e teste internos. Nossos padrões de monitoramento, alinhamento e segurança precisam se manter à frente desses riscos. Queríamos dedicar o tempo necessário para cumprir esses padrões, por isso reduzimos temporariamente o ritmo de expansão. Isso incluiu uma pausa de duas semanas no treinamento por aprendizado por reforço (RL) de nossos modelos mais recentes destinados à implantação, enquanto reforçávamos e submetíamos nossos ambientes de pesquisa a testes de intrusão, além de ampliar a cobertura de nossos sistemas de monitoramento. Nossa maior execução planejada de RL de fronteira continua suspensa enquanto realizamos treinamentos e avaliações em menor escala para analisar o comportamento do modelo, validar nossas salvaguardas e obter mais evidências de alinhamento antes de prosseguir.

O alinhamento — trabalho que busca fazer com que sistemas de IA se comportem como esperado e respondam à supervisão humana — há muito ocupa um lugar central em nosso programa de pesquisa. Agora exigimos evidências mais robustas de comportamento alinhado ao longo de todo o treinamento, aproveitando pesquisas e avaliações já em andamento. Manter sistemas cada vez mais capazes alinhados é um desafio que todo o setor precisará enfrentar. Os sinais que observamos no avanço dos próximos modelos deixam claro que precisamos de uma abordagem mais ampla, que se baseie no Preparedness Framework atual e vá além dele.

Consideramos importante ser transparentes sobre como nossa abordagem está mudando. A seguir, descrevemos as mudanças que já fizemos em nossos processos e infraestrutura de pesquisa, bem como o trabalho ainda em andamento.

Nossa abordagem para desenvolver modelos mais capazes se apoia em três salvaguardas que se reforçam mutuamente:

1. Monitoramento, que detecta comportamentos preocupantes e nos permite reagir a eles.
2. Alinhamento, que reduz a probabilidade de ações prejudiciais ou não autorizadas.
3. Medidas de segurança, que limitam o que os sistemas de IA podem acessar ou afetar.

Esperamos que, em breve, os modelos realizem a maior parte do trabalho de segurança, inclusive a defesa contra outros modelos. Isso permitirá que as três salvaguardas acompanhem a capacidade dos modelos, algo que consideramos crucial.

Aplicamos essas salvaguardas à pesquisa e à implantação, adaptando-as às capacidades, ao ambiente operacional e ao nível de risco de cada modelo.

À medida que os modelos de fronteira adquirem capacidades mais avançadas de cibersegurança, elevamos os padrões de segurança dos ambientes em que os treinamos e avaliamos. Cumprir esses padrões exigiu um trabalho considerável de engenharia e impôs custos elevados e atrasos à pesquisa de fronteira. Imediatamente após o incidente entre OpenAI e Hugging Face*, suspendemos a inferência de modelos de fronteira em clusters de pesquisa nas execuções que podiam executar código ou usar ferramentas com acesso à internet. Restabelecemos rapidamente uma opção mais limitada e segura para a execução de código e, em seguida, analisamos cada carga de trabalho individualmente para determinar se poderia ser retomada com segurança. Algumas cargas de trabalho de pesquisa foram retomadas sob esses novos controles, enquanto outras exigiram mudanças adicionais.

Nas semanas seguintes, definimos e começamos a implementar requisitos de segurança mais rigorosos para as cargas de trabalho de pesquisa de fronteira. Por exemplo:

• Isolamento de cargas de trabalho: agora exigimos um isolamento mais rigoroso ("sandboxes") para cargas de trabalho que executam código gerado por modelos ou qualquer outro código não confiável. Isso também se aplica a softwares que possam ser comprometidos durante o processamento das saídas de modelos.
• Isolamento de rede: implementamos mais controles para isolar da internet cargas de trabalho de maior risco e não confiáveis. Projetamos esses controles para que o comprometimento isolado de uma carga de trabalho ou serviço de suporte não permita, por si só, acesso não autorizado à internet ou a outras redes internas.
• Testes contínuos de segurança: reconfiguramos nosso ambiente para remover serviços compartilhados potencialmente vulneráveis, reduzir privilégios permanentes e aprimorar os limites de segurança e confiança. Também estamos aprimorando nossa capacidade de coletar e monitorar logs de segurança. Por fim, estamos investindo em automação que utiliza nossos modelos para testar continuamente esses limites contra ataques simulados.

Em conjunto, esses controles oferecem defesa em profundidade e ajudam a proteger nosso ambiente de pesquisa contra ataques. Hoje, exigimos o nível mais rigoroso de salvaguardas de segurança para cargas de trabalho que envolvam o Astra ou modelos cibernéticos, pois concluímos que os modelos Astra podem ter um nível crítico de capacidade cibernética. Essas salvaguardas também se aplicam a todas as outras cargas de trabalho relacionadas à cibersegurança.

Embora alguns treinamentos e avaliações do Astra cumpram esses requisitos, um número significativo de cargas de trabalho continua suspenso até que seja totalmente migrado e aprimorado para atender ao novo padrão de segurança. Estamos priorizando a migração das cargas de trabalho de segurança e alinhamento para esses novos ambientes.

O monitoramento há muito é uma parte importante de nosso processo de desenvolvimento de modelos, incluindo o monitoramento de agentes internos de programação e de sessões de longa duração. Nossos esforços de monitoramento se concentravam especialmente em implantações internas de modelos de fronteira e execuções de treinamento por RL de fronteira. Considerávamos essas cargas de trabalho as de maior risco, pois podem combinar capacidades avançadas dos modelos com acesso a ferramentas, sistemas sensíveis e redes internas ou externas. Eles não eram aplicados a todas as execuções de inferência e treinamento que usavam ferramentas. Revisamos e ampliamos nossa abordagem com a nova estrutura de monitoramento.

Essa nova estrutura de monitoramento tem várias etapas. Ela começa com classificadores de ativação — detectores que inspecionam a atividade interna de um modelo — executados a cada token amostrado, que encaminham possíveis preocupações a investigadores automatizados cada vez mais sofisticados e com maior capacidade computacional. Esses sistemas examinam as ações das ferramentas, o raciocínio disponível e toda a sequência de atividades em busca de acesso não autorizado, roubo de dados, comportamento destrutivo e tentativas de contornar salvaguardas. Nossa meta é emitir um alerta até 30 minutos após uma atividade preocupante ser identificada por nosso sistema de monitoramento. Se o sistema de monitoramento identificar uma provável violação de um limite crítico de segurança, ele gerará um alerta de prioridade máxima. Em nossa implementação atual, as equipes de segurança operacional, proteção e pesquisa são acionadas. Se não conseguirem concluir em até 30 minutos que a sinalização é um falso positivo, essas equipes deverão suspender a atividade.

Esse monitoramento é obrigatório para todos os treinamentos e avaliações de RL que envolvam ferramentas em modelos com capacidade igual ou superior à do Sol. Quando concluímos, em 7 de agosto, que o Astra poderia ter capacidades cibernéticas críticas, acrescentamos um requisito de monitoramento para toda inferência do Astra com ferramentas, não apenas para treinamentos e avaliações de RL.

Essas salvaguardas exigem recursos computacionais consideráveis. Nossas estimativas atuais indicam que o monitoramento acrescenta cerca de 20% ao processamento computacional da inferência monitorada, embora o custo varie bastante entre as cargas de trabalho de treinamento e avaliação. Compartilharemos mais detalhes sobre esse sistema em uma próxima publicação no blog.

A pesquisa de alinhamento é essencial para nossa missão. Nossa missão é garantir que a inteligência artificial geral beneficie toda a humanidade. À medida que os modelos adquirem capacidades avançadas, como a de realizar ataques cibernéticos, e operam em ambientes mais complexos, comportamentos desalinhados como reward hacking (encontrar formas de obter altas recompensas no treinamento sem realmente alcançar o resultado pretendido), dissimulação ou acesso não autorizado criarão riscos cada vez mais graves.

Nas execuções de RL dos modelos mais capazes, agora aplicamos nossas principais técnicas de alinhamento em mais etapas do processo de treinamento. Isso inclui aprimorar os modelos de recompensa para detectar e desestimular melhor comportamentos inseguros em diferentes tarefas e ambientes; treinar os modelos para serem mais honestos sobre suas ações, capacidades e limitações; e reduzir comportamentos que exploram falhas em recompensas, avaliadores, ferramentas ou supervisão. Também estamos ampliando a cobertura do treinamento para comportamentos que possam causar danos quando os modelos interagem com sistemas ou recursos externos.

Continuamos investindo de forma intensiva em pesquisa de alinhamento, ampliando a cobertura das avaliações e usando o que aprendemos para orientar o treinamento e as salvaguardas. Planejamos compartilhar muito mais sobre nossa pesquisa de alinhamento em breve, incluindo o que estamos aprendendo sobre o comportamento dos modelos e quaisquer novos desafios que identificarmos.

Vamos aperfeiçoar nosso Preparedness Framework para integrar essas salvaguardas ao treinamento e à implantação, além de refletir melhor as capacidades dos futuros modelos e os ambientes em que operam. O desenvolvimento de métodos que acompanhem essas capacidades exigirá investimentos contínuos em segurança assistida por modelos, monitoramento mais eficaz e avanços constantes na pesquisa de alinhamento. Pretendemos envolver organizações externas e compartilhar mais do que aprendermos à medida que nossa abordagem evoluir.

As capacidades dos modelos de fronteira avançam rapidamente. Nossa capacidade de compreendê-los, alinhá-los e protegê-los precisa se manter à frente.

*Publicaremos um relatório técnico sobre o que aprendemos nas próximas semanas.