Control Room

À medida que nossos modelos se tornam mais poderosos e os riscos de segurança e proteção associados aumentam, torna-se cada vez mais importante detectar possíveis problemas e interromper rapidamente os modelos quando necessário. Para resolver isso, criamos o Control Room.

O Control Room é um sistema central para acompanhar as cargas de trabalho de modelos em toda a nossa infraestrutura de pesquisa e interrompê-las rapidamente quando surgem preocupações de segurança ou proteção. Ele conecta todas as cargas de trabalho de inferência em pesquisa, incluindo amostragem com agentes de IA para treinamento e avaliação de modelos, processamento de dados e muito mais. Ele funciona em conjunto com nossos sistemas de monitoramento de desalinhamento e interrompe a geração de saídas dos modelos em até 35 segundos após a decisão de intervir para interromper ou pausar uma tarefa. Ele foi desenvolvido para continuar funcionando mesmo quando outros sistemas falham e para interromper a geração de saídas dos modelos caso o próprio Control Room fique indisponível.

O Control Room já está implantado em toda a nossa infraestrutura de pesquisa, onde a necessidade é maior. Nossa infraestrutura de disponibilização de modelos para uso externo já é muito mais centralizada por natureza e conta com uma capacidade operacional bem desenvolvida para desativar rapidamente as implantações de modelos, se necessário.

O Control Room funciona integrando alguns sistemas: a carga de trabalho, o mecanismo de inferência e o serviço Control Room centralizado.

• A carga de trabalho é a tarefa em execução, como um experimento de aprendizado por reforço, uma avaliação, uma tarefa de amostragem em grande volume ou de processamento de dados. Exigimos que toda carga de trabalho de pesquisa que faça inferência com agentes de IA esteja associada a uma argumentação de segurança aprovada.

• O mecanismo de inferência, ou simplesmente mecanismo, é o próprio modelo. Você pode pensar no mecanismo como o cérebro do modelo, executado diretamente em GPUs. Uma carga de trabalho normalmente usa um ou mais modelos, que podem estar em execução em um ou mais mecanismos de inferência diferentes. O mesmo mecanismo de inferência pode ser usado por mais de uma carga de trabalho.

• O serviço Control Room acompanha as tarefas e controla se elas têm permissão para continuar gerando saídas dos modelos. Os mecanismos consultam o serviço Control Room antes de atender a uma solicitação. Se uma tarefa tiver sido interrompida, o serviço nega a solicitação, impedindo a geração de novas saídas.

O Control Room é integrado da seguinte forma:

• Ao iniciar uma nova tarefa, o código da carga de trabalho solicita um novo job_id ao Control Room.

• Sempre que a carga de trabalho precisa amostrar tokens de um modelo, ela faz uma solicitação a um mecanismo de inferência que executa esse modelo, passando o job_id. O mecanismo solicita permissão ao Control Room para atender à solicitação, repassando o job_id.

• O Control Room verifica se a tarefa foi encerrada e, em caso afirmativo, nega a solicitação de inferência. O mecanismo responde à solicitação de inferência da carga de trabalho com uma recusa, impedindo a geração de novas saídas do modelo para essa tarefa.

Todas as nossas tarefas de aprendizado por reforço com modelos de fronteira são executadas com um monitor. Um monitor é outro modelo que inspeciona tudo o que o modelo em treinamento está fazendo e emite um alerta se detectar um problema. Por exemplo, nosso recente incidente relacionado ao DNS⁠(abre em uma nova janela) foi detectado por um monitor.

O Control Room e nosso sistema de monitoramento são integrados da seguinte forma:

• Se o sistema de monitoramento detectar um possível problema, ele poderá decidir interromper a tarefa, dependendo dos detalhes e da gravidade.

• Nesse caso, o sistema de monitoramento envia uma mensagem ao Control Room para interromper a tarefa, passando o job_id. O Control Room registra que a tarefa foi encerrada.

• Na próxima vez que a tarefa com esse job_id fizer uma solicitação de inferência para amostrar mais tokens de qualquer modelo em execução em qualquer mecanismo, a solicitação será negada, impedindo a geração de novas saídas do modelo.

O tempo máximo entre o momento em que o Control Room recebe uma instrução para interromper uma tarefa e o momento em que ela deixa de poder avançar é de 35 segundos. Esse atraso de 35 segundos se deve a uma camada de cache para autorização de inferência, necessária para suportar o volume de tráfego exigido. Estamos trabalhando para reduzir esse tempo a zero, de modo que possamos encerrar tarefas instantaneamente.

As cargas de trabalho, incluindo experimentos, tarefas de avaliação etc., normalmente ficam sob a responsabilidade de pesquisadores ou equipes de pesquisadores, que também as operam. Por isso, o código das cargas de trabalho muda com frequência e não é o local ideal para implementar proteções essenciais de segurança. Assim, nossa implementação foi projetada para resistir a erros ou falhas no código das cargas de trabalho.

Para isso, implementamos o mecanismo de encerramento na camada de inferência. O código das cargas de trabalho é muito variado e descentralizado. Em contrapartida, pouquíssimos caminhos de execução de código de inferência são usados em toda a pesquisa da OpenAI, e suas implantações são muito mais centralizadas e uniformes. Isso significa que a camada de inferência pode servir como um ponto de controle obrigatório, oferecendo fortes garantias de que toda inferência de modelos executada em pesquisa está sujeita às verificações de autorização do Control Room a cada solicitação de inferência. Também realizamos varreduras contínuas com agentes de IA e por meios programáticos para verificar se os usuários não estão iniciando, acidentalmente ou de forma mal-intencionada, implementações não autorizadas de mecanismos de inferência com o Control Room não implementado ou desativado.

Por fim, nosso sistema "bloqueia em caso de falha": a integração do Control Room nos mecanismos de inferência é configurada de modo que, se o serviço Control Room ficar indisponível, seja por um erro de sistema ou por ter sido desativado por qualquer outro motivo, incluindo adulteração por um agente mal-intencionado, todas as solicitações de inferência serão negadas até que o Control Room retome a operação normal. O bloqueio em caso de falha já está implementado em todas as cargas de trabalho de pesquisa com modelos de fronteira e será implementado nas demais cargas de trabalho de pesquisa nos próximos dias.

O Control Room é apenas uma parte da nossa abordagem abrangente para o treinamento e a implantação seguros de modelos de fronteira. Continuaremos a fortalecer e expandir o sistema nos próximos meses, junto com nossos investimentos em monitoramento de comportamentos desalinhados e violações de segurança. Se você quer ajudar a criar sistemas para o desenvolvimento e a implantação de AGI com segurança e proteção, estamos⁠ contratando⁠!