Uma especificação do modelo atualizada para uma IA mais capaz e benéfica

À medida que os nossos modelos se tornam mais inteligentes e realizam ações com maior impacto no mundo, é cada vez mais importante que não se limitem a interpretar as instruções específicas que recebem. Os modelos também precisam de compreender as intenções e os valores humanos, para poderem agir com discernimento em situações que as instruções não preveem explicitamente, mantendo a fidelidade à intenção humana e o respeito pela supervisão humana.

Hoje atualizamos a especificação do modelo⁠(abre numa nova janela), a nossa descrição pública de como queremos que os nossos modelos se comportem. Esta atualização reorganiza as orientações em torno de cinco valores fundamentais: fidelidade à intenção humana, minimização de danos, honestidade e transparência, autonomia humana e cuidado. Isto reflete um objetivo do nosso trabalho de alinhamento com valores: que os modelos compreendam e apliquem os valores humanos em situações desconhecidas, mantendo a fidelidade à intenção humana. Além de explicar mais claramente os princípios existentes, esta revisão acrescenta orientações sobre contexto, supervisão e autonomia, ajusta alguns comportamentos predefinidos e elimina grande parte das orientações detalhadas de estilo.

Os cinco valores acima enunciam compromissos gerais já presentes em toda a especificação do modelo: servir os propósitos humanos, dizer a verdade, minimizar danos, respeitar a liberdade das pessoas para formarem as suas próprias opiniões e levar a sério as suas circunstâncias. Reunir estes compromissos ajuda a explicar os comportamentos que a especificação pede aos modelos e permite-nos desenvolver orientações mais claras nos pontos em que esses compromissos estavam menos explícitos. Esta atualização é mais um passo no nosso trabalho de aperfeiçoamento da especificação, com base na investigação, na experiência de disponibilização de modelos, nos comentários do público sobre a especificação e o comportamento dos modelos, e em conversas com utilizadores e especialistas externos.

Queremos que a IA beneficie um mundo de pessoas com diferentes necessidades, valores e esperanças para o futuro.

A fidelidade à intenção humana é a base desta abordagem: compreender o que importa às pessoas e ajudá-las a concretizá-lo. A OpenAI redige a especificação, define limites e treina os modelos para os respeitarem; os programadores orientam as aplicações dentro desses limites; e os utilizadores orientam o trabalho do modelo, sujeitos a essas restrições. Os nossos modelos devem ampliar a capacidade das pessoas de moldarem as suas próprias vidas, ajudando-as a compreender o mundo, a descobrir possibilidades e a concretizar os objetivos que escolhem, sem descurar o impacto dessa ajuda nos outros. A fidelidade à intenção humana e os restantes quatro valores estruturam a especificação e orientam a forma como os nossos modelos devem lidar com algumas das escolhas mais importantes entre objetivos concorrentes. Não pretendem abranger todos os valores humanos que os nossos modelos devem respeitar e ajudar as pessoas a concretizar.

Ser fiel significa ir além do cumprimento literal de instruções: compreender profundamente o que a OpenAI, os programadores e os utilizadores pretendem e valorizam, e agir com sensatez quando essa compreensão é incompleta. Significa também reconhecer que as convicções e os valores das pessoas podem mudar e ajudá-las a refletir e a crescer de formas que elas próprias aprovariam, sem as influenciar dissimuladamente nem se sobrepor às suas escolhas. Por exemplo, ao ajudar alguém a comparar propostas de emprego, o modelo pode ter em conta prioridades que essa pessoa já tenha partilhado — como horários previsíveis —, tornando esses pressupostos explícitos e fáceis de corrigir.

A nossa missão é garantir que a inteligência artificial geral beneficia toda a humanidade. Para isso, é preciso considerar não só as intenções imediatas de uma pessoa, mas também os seus interesses a longo prazo e os efeitos sobre os outros. Os outros quatro valores tornam estas considerações explícitas:

• Minimizar danos significa respeitar limites firmes de segurança e ter em conta as consequências previsíveis das ações do modelo.

• Honestidade e transparência significam dizer a verdade sobre o que o modelo sabe, faz e não tem como certo, para que as pessoas possam compreender e avaliar o seu raciocínio e trabalho.

• Promover a autonomia humana significa reforçar a capacidade das pessoas de compreenderem, escolherem e agirem por si próprias.

• Cuidado significa ter em atenção as circunstâncias das pessoas afetadas, seguir as normas sociais e profissionais pertinentes e produzir trabalho em que as pessoas possam confiar.

A especificação traduz estes valores em orientações práticas, com limites firmes quando são necessários para proteger as pessoas e a sociedade. Nos restantes casos, assume sobretudo a forma de predefinições que os utilizadores e os programadores podem alterar.

A par desta atualização da especificação do modelo, temos explorado novos métodos de treino para ajudar os nossos modelos a aprender estes valores fundamentais e a compreender e seguir melhor os princípios de comportamento específicos da especificação. O objetivo é desenvolver a compreensão da importância desses princípios e de como aplicá-los em novas situações: fazer o que é certo pelas razões certas. Queremos que essa compreensão sustente o discernimento em decisões de grande impacto e o cuidado nas decisões quotidianas que, em conjunto, podem gerar benefícios duradouros para as pessoas e a sociedade⁠(abre numa nova janela). Partilharemos os resultados e as lições deste trabalho de treino em futuras atualizações.

Esta reorganização também nos ajudou a identificar os pontos que precisavam de mais orientações, a desenvolver novos princípios para responder a essas necessidades e a rever ou eliminar orientações existentes, conforme necessário.

A nova secção sobre fidelidade à intenção humana parte da ideia de que aquilo que as pessoas valorizam é o mais importante e de que as instruções são, em geral, os sinais mais claros e relevantes desses valores. Esta abordagem inspira-se no enquadramento do alinhamento como jogos de assistência (ver os trabalhos iniciais⁠(abre numa nova janela) e uma síntese posterior⁠(abre numa nova janela)). A secção inclui uma cadeia de comando⁠(abre numa nova janela) atualizada, que explica que instruções se aplicam e como se resolvem os conflitos. Uma nova subsecção, considerar cuidadosamente o contexto⁠(abre numa nova janela), explica como as conversas, as memórias e outros indícios contextuais devem ajudar o modelo a compreender as intenções e preferências das pessoas.

Acrescentámos também predefinições sobre apoiar a autonomia humana⁠(abre numa nova janela) e seguir as normas sociais pertinentes⁠(abre numa nova janela), e alargámos as orientações existentes sobre controlar e comunicar efeitos secundários⁠(abre numa nova janela). Estes princípios enunciam outras formas, muitas vezes subtis mas importantes, de os restantes valores se manifestarem no comportamento do modelo: considerar os efeitos do trabalho sobre os outros, reforçar as capacidades dos utilizadores e produzir trabalho em que as pessoas possam confiar, respeitando os objetivos e as instruções do utilizador.

Ao mesmo tempo, estamos a eliminar a maioria das orientações detalhadas de estilo da especificação. O estilo deve adaptar-se às preferências das pessoas — em termos gerais, em cada língua e cultura e a nível individual —, com base nas indicações fornecidas pelos comentários dos utilizadores e pelo contexto. A especificação mantém predefinições mais firmes, como abordar as questões de forma objetiva⁠(abre numa nova janela). Os utilizadores e os programadores podem pedir explicitamente ao modelo que adote uma determinada perspetiva, mas o modelo não deve inferir essa preferência apenas a partir do que julga que eles querem ouvir.

Por fim, refletindo a crescente diversidade de utilizações e contextos de implementação dos nossos modelos, passamos a referir-nos ao modelo como «GPT», em vez de «o assistente», na especificação.

Esta atualização é um primeiro passo para tornar mais explícitos os valores e o raciocínio subjacentes à especificação, à medida que os modelos se tornam mais capazes. A especificação do modelo descreve o comportamento que procuramos alcançar; os nossos modelos ainda não o refletem plenamente. Continuaremos a melhorar tanto a especificação como os modelos, com base no que aprendermos com a investigação, a utilização real e os comentários recebidos.

Queremos saber que partes da especificação considera convincentes, em que pontos discorda do equilíbrio que esta estabelece e o que considera que foi omitido ou ficou pouco claro. Os comentários sobre os valores, as escolhas entre objetivos concorrentes e a redação concreta podem ajudar-nos a melhorá-la. Convidamos a ler a especificação do modelo atualizada⁠(abre numa nova janela) e a partilhar a sua perspetiva⁠(abre numa nova janela).