Une spécification du modèle actualisée pour une IA plus performante et bénéfique
À mesure que nos modèles gagnent en intelligence et que leurs actions ont davantage de conséquences dans le monde, il devient essentiel qu’ils ne se limitent pas à interpréter les instructions précises qu’ils reçoivent. Les modèles doivent aussi comprendre les intentions et les valeurs humaines pour faire preuve de discernement dans les situations que leurs instructions ne couvrent pas explicitement, tout en restant fidèles aux intentions humaines et soumis à une supervision humaine.
Aujourd’hui, nous mettons à jour la spécification du modèle(ouverture dans une nouvelle fenêtre), notre description publique du comportement que nous souhaitons pour nos modèles. Cette mise à jour réorganise ses directives autour de cinq valeurs fondamentales : la fidélité aux intentions humaines, la réduction des préjudices, l’honnêteté et la transparence, l’autonomie humaine et la sollicitude. Cela reflète un objectif de nos travaux sur l’alignement sur les valeurs : que les modèles comprennent et appliquent les valeurs humaines dans des situations inédites, tout en restant fidèles aux intentions humaines. Outre des explications plus claires des principes existants, cette révision ajoute des directives sur le contexte, la supervision et l’autonomie, ajuste certains comportements par défaut et supprime une grande partie des consignes de style détaillées.
Les cinq valeurs ci-dessus énoncent des engagements généraux déjà présents dans la spécification du modèle : servir les objectifs humains, dire la vérité, réduire les préjudices, respecter la liberté de chacun de se forger ses propres opinions et prendre sa situation au sérieux. Réunir ces engagements aide à expliquer pourquoi la spécification demande aux modèles de se comporter ainsi, et nous permet de formuler des directives plus claires là où ces engagements étaient moins pleinement exprimés. Cette mise à jour marque une nouvelle étape dans notre travail d’amélioration de la spécification, nourri par la recherche, l’expérience du déploiement des modèles, les retours du public sur la spécification et le comportement des modèles, ainsi que les échanges avec les utilisateurs et des experts externes.
Nous voulons que l’IA bénéficie à un monde de personnes aux besoins, aux valeurs et aux espoirs pour l’avenir différents.
La fidélité aux intentions humaines est le fondement de cette approche : comprendre ce qui compte pour chacun et l’aider à le poursuivre. OpenAI rédige la spécification, fixe des limites et entraîne les modèles à les respecter ; les développeurs orientent les applications dans ce cadre ; les utilisateurs dirigent le travail du modèle sous réserve de ces contraintes. Nos modèles doivent renforcer la capacité de chacun à façonner sa propre vie en l’aidant à comprendre le monde, à découvrir des possibilités et à poursuivre les objectifs de son choix, tout en prenant au sérieux les effets de cette aide sur autrui. La fidélité aux intentions humaines et les quatre autres valeurs structurent la spécification et guident nos modèles dans certains des arbitrages les plus importants auxquels ils sont confrontés. Elles ne visent pas à couvrir tout l’éventail des valeurs humaines que nos modèles doivent respecter et aider chacun à concrétiser.
La fidélité implique de dépasser l’application littérale des instructions pour comprendre en profondeur les intentions et les valeurs d’OpenAI, des développeurs et des utilisateurs, et agir avec discernement lorsque cette compréhension est incomplète. Elle implique aussi de reconnaître que les convictions et les valeurs de chacun peuvent évoluer, et d’aider les personnes à réfléchir et à progresser d’une manière qu’elles approuveraient, sans les orienter à leur insu ni passer outre leurs choix. Par exemple, pour aider une personne à comparer des offres d’emploi, le modèle pourrait s’appuyer sur des priorités qu’elle a déjà exprimées, comme des horaires prévisibles, tout en rendant ces hypothèses visibles et faciles à corriger.
Notre mission est de faire en sorte que l’intelligence artificielle générale bénéficie à toute l’humanité. Cela exige de prendre en compte non seulement les intentions immédiates d’une personne, mais aussi ses intérêts à plus long terme et les effets sur autrui. Les quatre autres valeurs explicitent ces considérations :
Réduire les préjudices signifie respecter des limites de sécurité strictes et tenir compte des conséquences prévisibles des actions du modèle.
L’honnêteté et la transparence consistent à dire la vérité sur ce que le modèle sait, fait et ce dont il n’est pas certain, afin que chacun puisse comprendre et évaluer son raisonnement et son travail.
Favoriser l’autonomie humaine signifie renforcer la capacité de chacun à comprendre, à choisir et à agir par soi-même.
La sollicitude consiste à prêter attention à la situation des personnes concernées, à respecter les normes sociales et professionnelles pertinentes et à fournir un travail sur lequel on peut compter.
La spécification traduit ces valeurs en directives pratiques, avec des limites strictes lorsque la protection des personnes et de la société l’exige. Pour le reste, elle prend surtout la forme de règles par défaut auxquelles les utilisateurs et les développeurs peuvent déroger.
Parallèlement à cette mise à jour de la spécification du modèle, nous explorons de nouvelles méthodes d’entraînement pour aider nos modèles à assimiler ces valeurs fondamentales et à mieux comprendre et suivre ses principes de comportement spécifiques. L’objectif est de leur faire comprendre pourquoi ces principes comptent et comment les appliquer dans des situations inédites : faire ce qu’il faut pour les bonnes raisons. Nous voulons que cette compréhension favorise le discernement dans les décisions lourdes de conséquences et la sollicitude dans les décisions quotidiennes qui, cumulées, peuvent apporter des bénéfices durables aux personnes et à la société(ouverture dans une nouvelle fenêtre). Nous partagerons les résultats et les enseignements de ces travaux d’entraînement dans de prochaines publications.
Cette réorganisation nous a aussi permis de repérer les besoins en directives supplémentaires, de définir de nouveaux principes pour y répondre et de réviser ou de supprimer les directives existantes au besoin.
La nouvelle section sur la fidélité aux intentions humaines part de l’idée que ce qui compte pour les personnes est primordial, et que les instructions sont généralement les indices les plus clairs et les plus importants de ces valeurs. Cette approche s’inspire du cadre des jeux d’assistance appliqué à l’alignement (voir les premiers travaux(ouverture dans une nouvelle fenêtre) et une synthèse ultérieure(ouverture dans une nouvelle fenêtre)). La section intègre une chaîne de commandement(ouverture dans une nouvelle fenêtre) actualisée, qui explique quelles instructions s’appliquent et comment les conflits sont résolus. Une nouvelle sous-section, examiner attentivement le contexte(ouverture dans une nouvelle fenêtre), explique comment les conversations, les souvenirs et les autres indices contextuels doivent éclairer la compréhension qu’a le modèle des intentions et des préférences des personnes.
Nous avons aussi ajouté des règles par défaut visant à soutenir l’autonomie humaine(ouverture dans une nouvelle fenêtre) et à respecter les normes sociales pertinentes(ouverture dans une nouvelle fenêtre), et étoffé les directives existantes pour maîtriser et signaler les effets secondaires(ouverture dans une nouvelle fenêtre). Ces principes précisent d’autres façons, souvent subtiles mais importantes, dont les autres valeurs doivent se manifester dans le comportement du modèle : tenir compte des effets du travail sur autrui, renforcer les capacités des utilisateurs et fournir un travail fiable, tout en respectant les objectifs et les instructions de l’utilisateur.
En parallèle, nous supprimons la plupart des consignes de style détaillées de la spécification. Le style doit s’adapter aux préférences des personnes, tant dans l’ensemble qu’au sein des langues et des cultures, et pour chaque individu. Les retours des utilisateurs et le contexte fournissent des indices sur ces préférences. La spécification conserve des règles par défaut plus strictes, comme aborder les questions avec objectivité(ouverture dans une nouvelle fenêtre). Les utilisateurs et les développeurs peuvent demander explicitement au modèle d’adopter un point de vue particulier, mais le modèle ne doit pas déduire cette préférence uniquement de ce qu’il pense qu’ils veulent entendre.
Enfin, pour refléter la diversité croissante des cas d’usage et des contextes de déploiement de nos modèles, nous désignons désormais le modèle par « GPT » plutôt que par « l’assistant » dans la spécification.
Cette mise à jour est une première étape pour expliciter les valeurs et le raisonnement qui sous-tendent la spécification, à mesure que les modèles deviennent plus performants. La spécification du modèle décrit le comportement que nous cherchons à atteindre ; nos modèles ne le reflètent pas encore pleinement. Nous continuerons à améliorer la spécification et les modèles grâce aux enseignements de la recherche, des usages réels et des retours reçus.
Nous souhaitons savoir quelles parties de la spécification vous convainquent, quels équilibres vous contestez, et ce qu’elle néglige ou laisse dans le flou. Vos retours sur les valeurs, les arbitrages et les formulations précises peuvent nous aider à l’améliorer. Nous vous invitons à lire la spécification du modèle actualisée(ouverture dans une nouvelle fenêtre) et à partager votre point de vue(ouverture dans une nouvelle fenêtre).
