Adequar o ritmo de desenvolvimento dos modelos a uma era de capacidades cibernéticas críticas

Nas últimas semanas, dois acontecimentos evidenciaram os riscos crescentes associados a sistemas de IA cada vez mais capazes: o incidente OpenAI-Hugging Face e, separadamente, indícios preliminares de que um dos nossos próximos modelos, o Astra, poderá atingir o limiar de capacidade crítica de cibersegurança ao abrigo do nosso Preparedness Framework. Em conjunto, estes acontecimentos, aliados ao rápido progresso da nossa investigação interna, tornaram mais urgente o nosso trabalho para reforçar as salvaguardas de monitorização, alinhamento e contenção em todas as fases do processo de treino.

À medida que os modelos se tornam mais capazes, aumentam também os riscos associados ao seu desenvolvimento e teste internos. As nossas normas de monitorização, alinhamento e segurança têm de se manter à frente desses riscos. Queríamos dispor do tempo necessário para cumprir essas normas, pelo que abrandámos temporariamente o ritmo de expansão. Isto incluiu uma pausa de duas semanas no treino por aprendizagem por reforço (RL) dos nossos modelos mais recentes destinados a implementação, enquanto reforçávamos e submetíamos a testes de intrusão os nossos ambientes de investigação e alargávamos a cobertura dos nossos sistemas de monitorização. A nossa maior execução planeada de RL de fronteira continua suspensa enquanto realizamos treinos e avaliações em menor escala para analisar o comportamento do modelo, validar as nossas salvaguardas e obter mais indícios de alinhamento antes de avançarmos.

O alinhamento — o trabalho de fazer com que os sistemas de IA se comportem como pretendido e respondam à supervisão humana — há muito que está no centro do nosso programa de investigação. Exigimos agora provas mais sólidas de comportamento alinhado ao longo de todo o treino, com base na investigação e nas avaliações já em curso. Manter alinhados sistemas cada vez mais capazes é um desafio que todo o setor terá de enfrentar. Os sinais que observamos no progresso dos próximos modelos deixam claro que precisamos de uma abordagem mais abrangente, que desenvolva e vá além do atual Preparedness Framework.

Consideramos importante sermos transparentes quanto à evolução da nossa abordagem. Em seguida, descrevemos as alterações que já introduzimos nos nossos processos e infraestruturas de investigação, bem como o trabalho ainda em curso.

A nossa abordagem ao desenvolvimento de modelos mais capazes assenta em três salvaguardas que se reforçam mutuamente:

1. Monitorização, que deteta comportamentos preocupantes e nos permite responder-lhes.
2. Alinhamento, que reduz a probabilidade de ações prejudiciais ou não autorizadas.
3. Medidas de segurança, que limitam aquilo a que os sistemas de IA podem aceder ou que podem afetar.

Esperamos que, em breve, os modelos realizem a maior parte do trabalho de segurança, incluindo a defesa contra outros modelos. Isto permitirá que as três salvaguardas acompanhem a evolução das capacidades dos modelos, o que consideramos crucial.

Aplicamos estas salvaguardas tanto na investigação como na implementação, adaptando-as às capacidades, ao ambiente operacional e ao nível de risco de cada modelo.

À medida que os modelos de fronteira adquirem capacidades de cibersegurança mais avançadas, estamos a elevar as normas de segurança dos ambientes onde os treinamos e avaliamos. O cumprimento destas normas exigiu um trabalho de engenharia substancial e implicou custos elevados e atrasos na investigação de fronteira. Imediatamente após o incidente OpenAI-Hugging Face*, suspendemos a inferência de modelos de fronteira nos clusters de investigação para execuções que pudessem executar código ou utilizar ferramentas com acesso à Internet. Restabelecemos rapidamente uma via mais limitada e segura para a execução de código e, em seguida, analisámos individualmente cada carga de trabalho para determinar se poderia ser retomada em segurança. Algumas cargas de trabalho de investigação foram retomadas ao abrigo destes novos controlos, enquanto outras exigiram alterações adicionais.

Nas semanas seguintes, definimos e começámos a implementar requisitos de segurança mais rigorosos para as cargas de trabalho de investigação de fronteira. Por exemplo:

• Isolamento das cargas de trabalho: exigimos agora um isolamento mais robusto («sandboxes») para as cargas de trabalho que executam código gerado por modelos ou que, por outros motivos, não seja de confiança. Isto aplica-se também a software que possa ser comprometido durante o processamento dos resultados dos modelos.
• Isolamento da rede: implementámos mais controlos para isolar da Internet as cargas de trabalho de maior risco e que não sejam de confiança. Concebemos estes controlos para que o comprometimento isolado de uma carga de trabalho ou de um serviço de apoio não permita, por si só, o acesso não autorizado à Internet ou a outras redes internas.
• Testes contínuos de segurança: reconfigurámos o nosso ambiente para remover serviços partilhados potencialmente vulneráveis, reduzir privilégios permanentes e melhorar os limites de segurança e confiança. Estamos também a melhorar a nossa capacidade de recolher e monitorizar registos de segurança. Por fim, estamos a investir em automatização, utilizando os nossos modelos para testar continuamente estes limites contra ataques simulados.

Em conjunto, estes controlos proporcionam uma defesa em profundidade e ajudam a proteger o nosso ambiente de investigação contra ataques. Atualmente, exigimos o nível mais rigoroso de salvaguardas de segurança para cargas de trabalho que envolvam o Astra ou modelos cibernéticos, uma vez que determinámos que os modelos Astra poderão ter um nível crítico de capacidade cibernética. Estas salvaguardas aplicam-se também a todas as outras cargas de trabalho relacionadas com cibersegurança.

Embora alguns treinos e avaliações do Astra cumpram estes requisitos, muitas cargas de trabalho continuam suspensas até serem totalmente migradas e reforçadas para satisfazer o novo padrão de segurança. Estamos a dar prioridade à migração das cargas de trabalho de segurança e alinhamento para estes novos ambientes.

A monitorização é, há muito, uma parte importante do nosso processo de desenvolvimento de modelos, incluindo a monitorização de agentes internos de programação e de sessões de longa duração. Os nossos esforços de monitorização concentravam-se sobretudo nas implementações internas de modelos de fronteira e nas execuções de treino de RL de fronteira, que considerávamos as cargas de trabalho de maior risco por poderem combinar capacidades avançadas dos modelos com acesso a ferramentas, sistemas sensíveis e redes internas ou externas. Não eram aplicados a todas as execuções de inferência e treino que utilizavam ferramentas. Revímos e alargámos a nossa abordagem com a nova configuração de monitorização.

Esta nova configuração de monitorização tem várias fases, começando com classificadores de ativação — detetores que inspecionam a atividade interna de um modelo — executados em cada token amostrado e que encaminham potenciais problemas para investigadores automatizados progressivamente mais sofisticados e com maiores necessidades computacionais. Esses sistemas analisam as ações das ferramentas, o raciocínio disponível e toda a sequência de atividades para detetar acessos não autorizados, roubo de dados, comportamentos destrutivos e tentativas de contornar salvaguardas. O nosso objetivo é emitir um alerta no prazo de 30 minutos após a deteção de uma atividade preocupante pelo nosso sistema de monitorização. Se o sistema de monitorização identificar uma provável violação de um limite crítico de segurança, gera um alerta de prioridade máxima. Na nossa implementação atual, as equipas de segurança operacional, segurança tecnológica e investigação são notificadas. Se não conseguirem determinar de forma conclusiva, no prazo de 30 minutos, que a sinalização é um falso positivo, espera-se que essas equipas suspendam a atividade.

Esta monitorização é obrigatória em todos os treinos e avaliações de RL que envolvam ferramentas para modelos com capacidades Sol ou superiores. Depois de determinarmos, a 7 de agosto, que o Astra poderia ter capacidades cibernéticas críticas, acrescentámos um requisito de monitorização adicional para toda a inferência do Astra com ferramentas, e não apenas para o treino e as avaliações de RL.

Estas salvaguardas exigem recursos computacionais significativos. As nossas estimativas atuais situam a sobrecarga da monitorização em cerca de 20% dos recursos computacionais usados na inferência monitorizada, embora o custo varie substancialmente entre as cargas de trabalho de treino e avaliação. Partilharemos mais informações sobre este sistema numa futura publicação no blogue.

A investigação sobre alinhamento é fundamental para a nossa missão. A nossa missão é garantir que a inteligência artificial geral beneficia toda a humanidade. À medida que os modelos adquirem capacidades avançadas, como a capacidade de realizar ciberataques, e operam em ambientes mais complexos, comportamentos desalinhados como o reward hacking — encontrar formas de obter recompensas elevadas durante o treino sem alcançar realmente o resultado pretendido —, o engano ou o acesso não autorizado criarão riscos cada vez mais graves.

Nas execuções de RL dos modelos mais capazes, estamos agora a aplicar as nossas principais técnicas de alinhamento em mais fases do processo de treino. Isto inclui melhorar os modelos de recompensa para detetar e desencorajar comportamentos inseguros em diferentes tarefas e ambientes; treinar os modelos para serem mais honestos quanto às suas ações, capacidades e limitações; e reduzir comportamentos que exploram fragilidades nas recompensas, nos avaliadores, nas ferramentas ou na supervisão. Estamos também a aumentar a cobertura do treino de comportamentos que possam causar danos quando os modelos interagem com sistemas ou recursos externos.

Continuamos a investir fortemente na investigação sobre alinhamento, a alargar a cobertura das avaliações e a utilizar o que aprendemos para orientar o treino e as salvaguardas. Planeamos partilhar muito mais sobre a nossa investigação de alinhamento num futuro próximo, incluindo o que estamos a aprender sobre o comportamento dos modelos e quaisquer novos desafios que identifiquemos.

Faremos evoluir o nosso Preparedness Framework para integrar estas salvaguardas no treino e na implementação, bem como para refletir melhor as capacidades dos futuros modelos e os ambientes em que operam. O desenvolvimento de métodos capazes de acompanhar essas capacidades exigirá um investimento contínuo em segurança assistida por modelos, uma monitorização mais eficaz e progressos constantes na investigação sobre alinhamento. Pretendemos envolver organizações externas e partilhar mais do que aprendemos à medida que a nossa abordagem evolui.

As capacidades dos modelos de fronteira estão a evoluir rapidamente. A nossa capacidade de os compreender, alinhar e proteger tem de se manter à frente.

*Publicaremos um relatório técnico sobre o que aprendemos nas próximas semanas.