Compreendendo redes neurais através de circuitos esparsos

​​As redes neurais são a base dos sistemas de IA mais avançados da atualidade, mas continuam sendo difíceis de compreender. Não escrevemos esses modelos com instruções explícitas, passo a passo. Em vez disso, eles aprendem ajustando bilhões de conexões internas, ou “pesos”, até dominarem uma tarefa. Nós definimos as regras do treinamento, mas não os comportamentos específicos que emergem, e o resultado é uma complexa rede de conexões que nenhum ser humano consegue decifrar facilmente. 

À medida que os sistemas de IA se tornam mais capazes e têm um impacto real nas decisões em ciência, educação e saúde, compreender como funcionam torna-se essencial. Interpretabilidade refere-se aos métodos que nos ajudam a entender por que um modelo produziu um determinado resultado. Existem muitas maneiras de conseguirmos isso. 

Por exemplo, os modelos de raciocínio são incentivados a explicar seu funcionamento no processo que leva à resposta final. A interpretabilidade da cadeia de raciocínio aproveita essas explicações para monitorar o comportamento do modelo. Isso é imediatamente útil: as linhas de raciocínio dos modelos atuais parecem ser informativas em relação a comportamentos preocupantes como o engano. No entanto, depender totalmente dessa propriedade é uma estratégia frágil, que pode ruir com o tempo.

Por outro lado, a interpretabilidade mecanicista, que é o foco deste trabalho, busca realizar a engenharia reversa completa dos cálculos de um modelo. Até o momento, sua utilidade tem sido menor de forma imediata, mas, em princípio, poderia oferecer uma explicação mais completa do comportamento do modelo. Ao procurar explicar o comportamento do modelo no nível mais granular, a interpretabilidade mecanicista pode fazer menos suposições e nos dar mais confiança. Mas o caminho que leva dos detalhes básicos às explicações de comportamentos complexos é muito mais longo e difícil.

A interpretabilidade apoia vários objetivos fundamentais, como, por exemplo, permitir uma melhor supervisão e fornecer sinais de alerta precoce de comportamentos inseguros ou estrategicamente desalinhados. Isso também complementa nossos outros esforços de segurança, como supervisão escalável, treinamento em situações adversas e simulações de ataque (red teaming). 

Neste trabalho, mostramos que muitas vezes podemos treinar modelos de maneiras que os tornam mais fáceis de interpretar. Consideramos nosso trabalho um complemento promissor para a análise post-hoc de redes densas. 

Essa é uma aposta muito ambiciosa; há um longo caminho a percorrer entre o nosso trabalho e a compreensão completa dos comportamentos complexos dos nossos modelos mais poderosos. Ainda assim, para comportamentos simples, descobrimos que modelos esparsos treinados com nosso método contêm circuitos pequenos e independentes que são compreensíveis e suficientes para executar o comportamento. Isso sugere que pode haver um caminho viável para treinar sistemas maiores cujos mecanismos possamos compreender.

Trabalhos anteriores sobre interpretabilidade mecanicista partiram de redes densas e emaranhadas, buscando desembaraçá-las. Nessas redes, cada neurônio individual está conectado a milhares de outros neurônios. A maioria dos neurônios parece desempenhar muitas funções distintas, tornando aparentemente impossível compreendê-los. 

Mas e se treinássemos redes neurais não emaranhadas, com muito mais neurônios, mas onde cada neurônio tivesse apenas algumas dezenas de conexões? Então, talvez a rede resultante seja mais simples e fácil de entender. Esta é a principal linha de pesquisa do nosso trabalho.

Com esse princípio em mente, treinamos modelos de linguagem com uma arquitetura muito semelhante à de modelos de linguagem existentes, como o GPT‑2, com uma pequena modificação: forçamos a grande maioria dos pesos do modelo a serem zero. Isso restringiu o modelo a usar apenas algumas das possíveis conexões entre seus neurônios. Esta é uma mudança simples que, argumentamos, desvincula substancialmente os cálculos internos do modelo.

Desejamos medir até que ponto os cálculos de nossos modelos esparsos são independentes. Consideramos vários comportamentos de modelos simples e verificamos se conseguíamos isolar as partes do modelo responsáveis por cada comportamento — que denominamos circuitos.

Selecionamos cuidadosamente um conjunto de tarefas algorítmicas simples. Para cada um, reduzimos o modelo ao menor circuito que ainda consegue executar a tarefa e examinamos a simplicidade desse circuito. (Para mais detalhes, consulte nosso artigo⁠(abre em uma nova janela).) Descobrimos que, ao treinar modelos maiores e mais esparsos, conseguíamos produzir modelos cada vez mais capazes com circuitos cada vez mais simples.

Para tornar isso concreto, considere uma tarefa em que um modelo treinado em código Python precisa completar uma string com o tipo correto de citação. Em Python, 'hello' deve terminar com uma aspa simples, e "hello" deve terminar com uma aspa dupla. O modelo consegue resolver isso memorizando qual tipo de aspa abriu a string e reproduzindo-a no final.

Nossos modelos mais interpretáveis parecem conter circuitos independentes que implementam exatamente esse algoritmo.

Em nossa definição, as conexões exatas mostradas acima são suficientes para realizar a tarefa — se removermos o restante do modelo, este pequeno circuito ainda funcionará. Elas também são necessárias – excluir essas poucas arestas faz com que o modelo falhe.

Também analisamos alguns comportamentos mais complexos. Nossos circuitos para esses comportamentos (por exemplo, a vinculação de variáveis mostrada abaixo) são mais difíceis de explicar completamente. Mesmo assim, ainda conseguimos obter explicações parciais relativamente simples que preveem o comportamento do modelo.

Este trabalho é um primeiro passo rumo a um objetivo maior: tornar os cálculos dos modelos mais fáceis de entender. Porém, ainda há um longo caminho a percorrer. Nossos modelos esparsos são muito menores do que os modelos de fronteira, e grande parte de seus cálculos permanece sem interpretação. 

Em seguida, esperamos ampliar nossas técnicas para modelos maiores e explicar melhor o comportamento desses modelos. Ao enumerar os padrões de circuitos subjacentes ao raciocínio mais complexo em modelos esparsos capazes, poderíamos desenvolver uma compreensão que nos ajudasse a direcionar melhor as investigações de modelos de fronteira.

Para superar a ineficiência do treinamento de modelos esparsos, vislumbramos dois caminhos a seguir. Uma opção é extrair circuitos esparsos de modelos densos existentes, em vez de treinar modelos esparsos do zero. Modelos densos são fundamentalmente mais eficientes de implementar do que modelos esparsos. O outro caminho é desenvolver técnicas mais eficientes para treinar modelos para interpretabilidade, que podem ser mais fáceis de colocar em produção.

Observe que nossas descobertas aqui não são garantia de que essa abordagem se estenderá a sistemas mais capazes, mas esses resultados iniciais são promissores. Nosso objetivo é expandir gradualmente o quanto de um modelo conseguimos interpretar de forma confiável e criar ferramentas que tornem os sistemas futuros mais fáceis de analisar, depurar e avaliar.