Especificação do modelo atualizada para uma IA mais capaz e benéfica

À medida que nossos modelos se tornam mais inteligentes e suas ações têm maior impacto no mundo, é cada vez mais importante que eles façam mais do que apenas interpretar as instruções específicas que recebem. Os modelos também precisam compreender as intenções e os valores humanos para tomar boas decisões em situações que suas instruções não abordam explicitamente, sem deixar de respeitar a intenção e a supervisão humanas.

Hoje estamos atualizando a especificação do modelo⁠(abre em uma nova janela), nossa descrição pública de como queremos que nossos modelos se comportem. A atualização reorganiza as orientações em torno de cinco valores fundamentais: fidelidade à intenção humana, minimização de danos, honestidade e transparência, autonomia humana e cuidado. Isso reflete um objetivo do nosso trabalho de alinhamento de valores: que os modelos compreendam e apliquem os valores humanos em situações desconhecidas, mantendo-se fiéis à intenção humana. Além de explicar com mais clareza os princípios existentes, a revisão acrescenta orientações sobre contexto, supervisão e autonomia, ajusta alguns comportamentos padrão e remove grande parte das orientações detalhadas de estilo.

Os cinco valores acima expressam compromissos amplos já presentes em toda a especificação do modelo: servir aos propósitos humanos, ser verdadeiro, minimizar danos, respeitar a liberdade das pessoas de formar suas próprias opiniões e levar suas circunstâncias a sério. Reunir esses compromissos ajuda a explicar os comportamentos que a especificação pede aos modelos e nos permite desenvolver orientações mais claras nos pontos em que esses compromissos não estavam plenamente expressos. Esta atualização é mais um passo em nosso trabalho de aprimorar a especificação por meio de pesquisas, da experiência de colocar modelos em uso, de comentários do público sobre a especificação e o comportamento dos modelos e de discussões com usuários e especialistas externos.

Queremos que a IA beneficie um mundo de pessoas com diferentes necessidades, valores e esperanças para o futuro.

A fidelidade à intenção humana é a base dessa abordagem: compreender o que importa para as pessoas e ajudá-las a buscar isso. A OpenAI redige a especificação, estabelece limites e treina os modelos para respeitá-los; os desenvolvedores orientam as aplicações dentro desses limites; e os usuários direcionam o trabalho do modelo, sujeitos a essas restrições. Nossos modelos devem ampliar a capacidade das pessoas de conduzir a própria vida, ajudando-as a compreender o mundo, descobrir possibilidades e buscar os objetivos que escolherem, sem deixar de levar a sério o impacto dessa ajuda sobre os outros. A fidelidade à intenção humana e os outros quatro valores organizam a especificação e orientam como nossos modelos devem lidar com algumas das escolhas mais importantes que envolvem objetivos conflitantes. Esses valores não pretendem abranger todos os valores humanos que nossos modelos devem respeitar e ajudar as pessoas a buscar.

Fidelidade significa ir além de seguir instruções ao pé da letra: compreender profundamente as intenções e os valores da OpenAI, dos desenvolvedores e dos usuários e agir com discernimento quando essa compreensão for incompleta. Também significa reconhecer que as crenças e os valores das pessoas podem mudar e ajudá-las a refletir e crescer de maneiras que elas aprovariam, sem influenciá-las de forma velada nem se sobrepor às suas escolhas. Por exemplo, ao ajudar alguém a comparar propostas de emprego, o modelo pode se basear em prioridades que a pessoa já compartilhou, como horários previsíveis, deixando essas suposições claras e fáceis de corrigir.

Nossa missão é garantir que a inteligência artificial geral beneficie toda a humanidade. Isso exige considerar não apenas as intenções imediatas de uma pessoa, mas também seus interesses de longo prazo e os efeitos sobre os outros. Os outros quatro valores tornam essas considerações explícitas:

• Minimizar danos significa respeitar limites firmes de segurança e levar em conta as consequências previsíveis das ações do modelo.

• Honestidade e transparência significam ser verdadeiro sobre o que o modelo sabe, o que faz e quais são suas incertezas, para que as pessoas possam compreender e avaliar seu raciocínio e seu trabalho.

• Facilitar a autonomia humana significa fortalecer a capacidade das pessoas de compreender, escolher e agir por conta própria.

• Cuidado significa prestar atenção às circunstâncias das pessoas afetadas, seguir as normas sociais e profissionais pertinentes e realizar um trabalho em que as pessoas possam confiar.

A especificação transforma esses valores em orientações práticas, com limites firmes quando necessário para proteger as pessoas e a sociedade. Fora desses casos, ela consiste principalmente em comportamentos padrão que usuários e desenvolvedores podem alterar.

Em paralelo a esta atualização da especificação do modelo, estamos explorando novos métodos de treinamento para ajudar nossos modelos a aprender esses valores fundamentais e a compreender e seguir melhor os princípios específicos de comportamento da especificação. O objetivo é desenvolver uma compreensão de por que esses princípios importam e de como aplicá-los em novas situações: fazer as coisas certas pelas razões certas. Queremos que essa compreensão sustente o bom discernimento em decisões de grande impacto e o cuidado nas decisões cotidianas que, juntas, podem gerar benefícios duradouros para as pessoas e a sociedade⁠(abre em uma nova janela). Compartilharemos os resultados e as lições desse trabalho de treinamento em futuras atualizações.

Essa reorganização também nos ajudou a identificar onde eram necessárias orientações adicionais, desenvolver novos princípios para atender a essa necessidade e revisar ou remover orientações existentes conforme necessário.

A nova seção sobre fidelidade à intenção humana parte da ideia de que aquilo que as pessoas valorizam vem em primeiro lugar, e as instruções costumam ser os sinais mais claros e importantes desses valores. Essa abordagem se inspira na concepção do alinhamento como jogos de assistência (veja um trabalho inicial⁠(abre em uma nova janela) e uma visão geral posterior⁠(abre em uma nova janela)). A seção incorpora uma cadeia de comando⁠(abre em uma nova janela) atualizada, que explica quais instruções se aplicam e como os conflitos são resolvidos. Uma nova subseção, considere o contexto com cuidado⁠(abre em uma nova janela), explica como conversas, memórias e outras evidências contextuais devem orientar a compreensão do modelo sobre as intenções e preferências das pessoas.

Também acrescentamos comportamentos padrão para apoiar a autonomia humana⁠(abre em uma nova janela) e seguir as normas sociais pertinentes⁠(abre em uma nova janela), além de ampliar as orientações existentes sobre controlar e comunicar efeitos colaterais⁠(abre em uma nova janela). Esses princípios expressam outras formas, muitas vezes sutis, mas importantes, pelas quais os demais valores devem se manifestar no comportamento do modelo: considerar os efeitos do trabalho sobre os outros, fortalecer as capacidades dos usuários e produzir um trabalho em que as pessoas possam confiar, respeitando os objetivos e as instruções do usuário.

Ao mesmo tempo, estamos removendo a maior parte das orientações detalhadas de estilo da especificação. O estilo deve se adaptar às preferências das pessoas — tanto de modo geral quanto em cada idioma, cultura e indivíduo —, usando os comentários dos usuários e o contexto como evidências dessas preferências. A especificação mantém comportamentos padrão mais firmes, como abordar questões com objetividade⁠(abre em uma nova janela). Usuários e desenvolvedores podem pedir explicitamente que o modelo adote uma perspectiva específica, mas o modelo não deve deduzir essa preferência apenas com base no que acredita que eles querem ouvir.

Por fim, refletindo a crescente variedade de casos de uso e ambientes em que nossos modelos são empregados, agora nos referimos ao modelo como "GPT", em vez de "o assistente", na especificação.

Esta atualização é um primeiro passo para tornar mais explícitos os valores e a lógica por trás da especificação à medida que os modelos se tornam mais capazes. A especificação do modelo descreve o comportamento que buscamos alcançar; nossos modelos ainda não o refletem plenamente. Continuaremos aprimorando tanto a especificação quanto os modelos à medida que aprendemos com pesquisas, uso no mundo real e comentários recebidos.

Queremos saber quais partes da especificação você considera convincentes, de quais escolhas de equilíbrio você discorda e o que ela deixa de fora ou não esclarece. Comentários sobre os valores, as escolhas entre objetivos conflitantes e a redação específica podem nos ajudar a melhorá-la. Convidamos você a ler a especificação do modelo atualizada⁠(abre em uma nova janela) e compartilhar sua perspectiva⁠(abre em uma nova janela).