O incidente da Hugging Face e outros impactos de modelos desalinhados em terceiros
À medida que os sistemas de IA se tornam mais capazes e autónomos, comportamentos desalinhados podem traduzir-se em ações com consequências no mundo real, incluindo incidentes de cibersegurança e outros resultados que os programadores poderão não ter previsto. Compreender como surgem e se agravam estes comportamentos e como detetá-los e responder-lhes é, por isso, uma parte cada vez mais importante do desenvolvimento e da implementação segura de sistemas avançados de IA.
Inicialmente, entendemos o incidente da Hugging Face sobretudo como um problema de segurança, uma vez que envolveu o comprometimento ao nível da plataforma. Continua a ser a atividade deste tipo mais grave que identificámos até à data nos nossos modelos e foi impulsionada sobretudo por um modelo de investigação altamente capaz e exclusivamente interno. Entretanto, compreendemos que esta intrusão foi motivada pelo recurso dos modelos a estratégias desalinhadas para resolver tarefas difíceis, conforme documentado no relatório técnico da Hugging Face. Os incidentes de cibersegurança são uma manifestação desse risco; o desalinhamento também pode levar a outros comportamentos inesperados ou preocupantes fora das categorias tradicionais de segurança, como os nossos modelos publicarem em sites de terceiros — algo a que chamamos «spam de agentes». E temos de abordar ambos.
Prosseguimos a análise de atividades mais abrangentes, dando prioridade aos incidentes mais graves e alargando-a a atividades desalinhadas de menor gravidade, incluindo spam de agentes.
Esta página reúne os nossos relatórios e atualizações sobre o incidente da Hugging Face, investigação e apresentações públicas relacionadas, outras atividades que identificámos, o que aprendemos sobre o papel do desalinhamento dos modelos e as medidas que estamos a tomar para reforçar os nossos sistemas. Atualizaremos esta página à medida que as nossas investigações avançarem.
Ligações rápidas
Atividade com impacto em terceiros
Para compreender melhor o âmbito destes comportamentos inesperados, temos vindo a realizar uma análise abrangente das atividades dos nossos modelos na Internet durante o treino e a avaliação. No âmbito da nossa análise, estamos a identificar e a notificar terceiros de forma contínua, começando pelos casos em que:
Os nossos modelos podem ter contornado os controlos de segurança de terceiros ou prejudicado a disponibilidade de um serviço online; ou
Casos de desalinhamento tenham afetado negativamente sites ou serviços de terceiros.
Com base na análise realizada até à data, notificámos dezenas de terceiros segundo os critérios acima referidos. A nossa análise de atividades passadas está em curso e exigirá tempo e recursos significativos. Notificaremos outros terceiros à medida que este trabalho avançar.
Abaixo, publicamos resumos anonimizados que descrevem os tipos de atividade desalinhada que observámos. Atualizaremos estas descrições à medida que notificarmos outros terceiros e aprofundarmos o nosso conhecimento. Além disso, partilharemos atualizações relevantes sobre o estado da análise. Em geral, omitiremos nomes e outros dados identificativos quando necessário para proteger as partes afetadas, embora as partes informadas possam optar por divulgar publicamente as informações que lhes fornecermos.
Resumos das atividades observadas
Até à data, o nosso processo de análise e notificação identificou as seguintes categorias de atividade:
Contorno do controlo de acesso: Os agentes acedem a informações ou funcionalidades que normalmente exigem a verificação da identidade, uma autorização específica, uma subscrição ou uma conta. Por exemplo, um agente utilizou um endereço Web diferente, alterou os dados de um pedido ou recorreu a uma sessão iniciada que lhe concedia mais acesso do que o esperado.
Utilização de credenciais expostas: Os agentes encontraram dados de início de sessão ou chaves de acesso que tinham sido disponibilizados publicamente e utilizaram-nos para aceder a um serviço.
Injeção de consultas ou comandos: Os agentes introduziram texto num site ou serviço que este interpretou como uma instrução, em vez de uma entrada normal. Isto poderia levar o serviço a executar uma consulta à base de dados, código da aplicação ou um comando no respetivo servidor.
Acesso a elementos internos do ambiente de execução: Os agentes leram ficheiros com a implementação de um serviço ou interagiram com um sistema de bastidores destinado a uso interno. Nestes casos, o agente acedeu a partes do serviço fora do âmbito de acesso previsto.
Spam de agentes: Os agentes publicam informações em sites de terceiros que podem alterar o conteúdo desses sites e exigir limpeza, incluindo, por exemplo, a utilização de páginas wiki públicas como quadros de mensagens partilhados.