Como alinhar modelos de linguagem para seguir instruções

Treinamos modelos de linguagem que apresentam um desempenho melhor do que o do GPT‑3 na hora de seguir as intenções dos usuários. Além disso, também deixamos esses modelos mais verdadeiros e menos tóxicos, usando técnicas desenvolvidas por meio de nossas investigações de alinhamento. Esses modelos InstructGPT, treinados com a participação de seres humanos, agora são implantados como modelos de linguagem padrão em nossa API.

A API da OpenAI é alimentada por modelos de linguagem GPT‑3⁠, que podem ser induzidos a realizar tarefas de linguagem natural por meio de prompts de texto cuidadosamente projetados. O problema é que esses modelos também podem gerar resultados falsos, tóxicos ou que refletem sentimentos prejudiciais. Isso se deve, em parte, ao fato de que o GPT‑3 é treinado para prever a próxima palavra tomando como base um grande conjunto de dados de textos da Internet — em vez de realizar com segurança a tarefa linguística que o usuário deseja. Em outras palavras: esses modelos não estão alinhados com os usuários.

Para deixar nossos modelos mais seguros, úteis e alinhados, usamos uma técnica existente chamada de aprendizagem por reforço a partir do feedback humano (RLHF)⁠. Nos prompts que são enviados pelos nossos clientes para a API^A, nossos rotuladores fornecem demonstrações do comportamento desejado do modelo e classificam vários resultados gerados. Em seguida, usamos esses dados para ajustar o GPT‑3.

Os modelos InstructGPT resultantes são muito melhores em seguir instruções do que o GPT‑3. Eles também inventam fatos com menos frequência e apresentam pequenas reduções na geração de resultados tóxicos. Nossos rotuladores preferem os resultados do modelo InstructGPT 1.3B em comparação aos resultados do modelo GPT‑3 175B, apesar de o primeiro ter 100 vezes menos parâmetros. Ao mesmo tempo, a medição do desempenho do nosso modelo em avaliações acadêmicas de PLN comprova que não precisamos comprometer as capacidades do GPT‑3.

Esses modelos InstructGPT, que estão em fase beta na API há mais de um ano, agora são os modelos de linguagem padrão acessíveis em nossa API. Acreditamos que o ajuste fino dos modelos de linguagem com a participação humana é uma ferramenta poderosa para melhorar a segurança e confiabilidade da tecnologia, e continuaremos a avançar nessa direção.

É a primeira vez que nossa pesquisa de alinhamento, que vem sendo realizada⁠ há vários⁠ anos⁠,^{1, 2, 3} é aplicada ao nosso produto. Nosso trabalho também está relacionado a investigações recentes que usam conjuntos de dados acadêmicos de PLN para ajustar modelos de linguagem de modo a seguir instruções, com destaque para FLAN⁴ e T0⁵. Uma das principais motivações do nosso trabalho é aumentar a utilidade e a veracidade, ao mesmo tempo que mitigamos os danos e os preconceitos dos modelos linguísticos.^{6, 7, 8, 9, 10} Algumas de nossas investigações anteriores⁠ nessa direção descobriram que podemos reduzir resultados prejudiciais ao ajustar um pequeno conjunto de dados selecionados de demonstrações humanas.¹¹ Outras investigações se voltaram para a filtragem do conjunto de dados pré-treinamento,¹² tokens de controle específicos para segurança^{13, 14} ou direcionamento de gerações de modelos.^{15, 16} Estamos explorando essas e outras ideias em nossa investigação contínua sobre alinhamento.

Primeiro, avaliamos o quanto os resultados do InstructGPT seguem as instruções do usuário, pedindo aos rotuladores que comparem os resultados com aqueles do GPT‑3. Constatamos que os modelos InstructGPT têm uma preferência significativa em prompts enviados aos modelos InstructGPT e GPT‑3 na API. Isso se mantém quando adicionamos um prefixo ao prompt GPT‑3 para que ele entre em um “modo de seguir instruções”.

Para medir a segurança dos nossos modelos, utilizamos principalmente um conjunto de métricas existentes em conjuntos de dados que estão disponíveis publicamente. Em comparação com o GPT‑3, o InstructGPT produz menos falsidades imitativas (de acordo com o TruthfulQA¹⁷) e é menos tóxico (de acordo com o RealToxicityPrompts¹⁸). Também realizamos avaliações humanas sobre a distribuição de prompts da nossa API e descobrimos que o InstructGPT inventa fatos (“alucina”) com menos frequência, gerando resultados mais adequados.^C

Por fim, descobrimos que os resultados do InstructGPT são preferíveis aos do FLAN⁴ e do T0⁵ na distribuição dos nossos clientes. Isso indica que os dados usados para treinar o FLAN e o T0, principalmente tarefas acadêmicas de PLN, não são totalmente representativos da maneira como os modelos de linguagem implantados são usados na prática.

Para treinar os modelos InstructGPT, nossa técnica principal é a aprendizagem por reforço a partir do feedback humano (RLHF)⁠, um método que ajudamos a desenvolver em nossas investigações anteriores sobre alinhamento. Essa técnica usa as preferências humanas como um sinal de recompensa para ajustar nossos modelos. Isso é importante, pois os problemas de segurança e alinhamento que buscamos resolver são complexos e subjetivos, e não são totalmente capturados por métricas automáticas simples.

Primeiro, coletamos um conjunto de dados composto por demonstrações escritas por humanos em prompts enviados à nossa API. Esse corpus foi usado para treinar nossas linhas de base de aprendizagem supervisionada. Em seguida, coletamos um conjunto de dados de comparações que foram rotuladas por humanos entre dois resultados do modelo, em um conjunto maior de prompts de API. Depois disso, treinamos um modelo de recompensa (RM) nesse conjunto de dados para prever qual resultado nossos rotuladores prefeririam. Por fim, usamos esse RM como uma função de recompensa e ajustamos nossa política GPT‑3 para maximizar a recompensa de acordo com o algoritmo PPO⁠.

Uma maneira de pensar sobre esse processo é que ele “desbloqueia” recursos que o GPT‑3 já possuía, mas que eram difíceis de obter apenas por meio da engenharia de prompts. Isso ocorre porque nosso procedimento de treinamento tem capacidade limitada para ensinar novos recursos ao modelo em relação ao que é aprendido durante o pré-treinamento, uma vez que usa menos de 2% da computação e dos dados relativos ao pré-treinamento de modelos.

Uma limitação dessa abordagem é que ela introduz uma “tarifa de alinhamento”: alinhar os modelos apenas às tarefas do cliente pode piorar seu desempenho em algumas outras tarefas acadêmicas de PLN. Isso não é o ideal. Afinal, se nossas técnicas de alinhamento piorarem os modelos em tarefas que são importantes para as pessoas, a probabilidade de adoção dos modelos diminui consideravelmente. Descobrimos uma alteração algorítmica simples que minimiza essa penalidade de alinhamento: durante o ajuste fino da RL, misturamos uma pequena fração dos dados originais usados para treinar o GPT‑3 e treinamos esses dados usando a maximização da verossimilhança logarítmica normal. Isso mantém aproximadamente o desempenho em termos de segurança e preferências humanas, ao mesmo tempo em que mitiga a diminuição do desempenho em tarefas acadêmicas e, em vários casos, até mesmo supera a linha de base do GPT‑3.

Nosso procedimento alinha o comportamento dos nossos modelos com as preferências de dois grupos: os rotuladores, que produzem diretamente os dados usados para treinar nossos modelos; e nós, investigadores, que orientamos os rotuladores por meio de instruções escritas, feedback direto sobre exemplos específicos e conversas informais. Também é influenciado pelos nossos clientes e pelas preferências implícitas nas nossas políticas de API. Selecionamos rotuladores que tiveram um bom desempenho em um teste de aptidão para identificar e responder a prompts sensíveis. No entanto, essas diferentes fontes de influência sobre os dados não garantem que nossos modelos estejam alinhados às preferências de grupos mais amplos.

Realizamos dois experimentos para investigar isso. Primeiro, avaliamos o GPT‑3 e o InstructGPT usando rotuladores externos^E que não produziram nenhum dos dados de treinamento e descobrimos que esses rotuladores preferem os resultados dos modelos InstructGPT aproximadamente na mesma proporção que nossos rotuladores de treinamento. Em segundo lugar, treinamos modelos de recompensa com dados de um subconjunto de nossos rotuladores e descobrimos que eles se generalizam bem para prever as preferências de um subconjunto diferente de rotuladores. Isso sugere que nossos modelos não se ajustaram excessivamente às preferências dos nossos rotuladores de treinamento. No entanto, é necessário mais trabalho para estudar o desempenho desses modelos em grupos mais amplos de usuários e em entradas nas quais os seres humanos discordam sobre o comportamento desejado.

Apesar dos avanços significativos, nossos modelos InstructGPT estão longe de estar totalmente alinhados ou totalmente seguros; fato é que eles ainda geram resultados tóxicos ou tendenciosos, inventam fatos e geram conteúdo sexual e violento sem prompts explícitos. Mas a segurança de um sistema de machine learning depende não apenas do comportamento dos modelos subjacentes, mas também de como esses modelos são implantados. Para garantir a segurança da nossa API, continuaremos a analisar possíveis aplicações⁠(abre em uma nova janela) antes que estas sejam ativadas, fornecer filtros de conteúdo para detectar conclusões não seguras e monitorar o uso indevido.

Um subproduto do treinamento dos nossos modelos para seguir as instruções do usuário é que eles podem se tornar mais suscetíveis ao uso indevido se forem instruídos a produzir resultados inseguros. Resolver isso requer que nossos modelos recusem certas instruções; fazer isso de forma confiável é um importante problema de investigação em aberto, e nós estamos empenhados em resolvê-lo.

Além disso, em muitos casos, pode não ser desejável alinhar-se à preferência média dos rotuladores. Por exemplo, ao gerar texto que afeta desproporcionalmente um grupo minoritário, as preferências desse grupo devem ter um peso maior. No momento, o InstructGPT foi treinado para seguir instruções em inglês; portanto, ele tem um viés em relação aos valores culturais das pessoas que falam inglês. Estamos conduzindo uma investigação para compreender as diferenças e divergências entre as preferências dos rotuladores, para que possamos condicionar nossos modelos aos valores de populações mais específicas. De forma geral, alinhar os resultados dos modelos aos valores de seres humanos específicos introduz escolhas difíceis com implicações sociais e, em última análise, devemos estabelecer processos responsáveis e inclusivos para tomar essas decisões.

Esta é a primeira aplicação da nossa investigação em alinhamento ao produto. Os resultados mostram que essas técnicas são eficazes para melhorar significativamente o alinhamento dos sistemas de IA de uso geral às intenções humanas. No entanto, isso é apenas o começo: continuaremos aprimorando essas técnicas para melhorar o alinhamento de nossos modelos atuais e futuros, criando assim ferramentas de linguagem seguras e úteis para os seres humanos.

Se você tem interesse nessas áreas de investigação, estamos contratando⁠(abre em uma nova janela)!