Une spécification du modèle mise à jour pour une IA plus capable et bénéfique
À mesure que nos modèles deviennent plus intelligents et que leurs actions ont des conséquences plus importantes dans le monde, il devient essentiel qu’ils aillent au-delà de la simple interprétation des instructions précises qu’ils reçoivent. Les modèles doivent aussi comprendre les intentions et les valeurs humaines pour faire preuve de discernement dans les situations que leurs instructions ne couvrent pas explicitement, tout en restant fidèles aux intentions humaines et soumis à la supervision humaine.
Aujourd’hui, nous mettons à jour la spécification du modèle(s'ouvre dans une nouvelle fenêtre), notre description publique du comportement que nous souhaitons pour nos modèles. Cette mise à jour réorganise ses directives autour de cinq valeurs fondamentales : la fidélité aux intentions humaines, la réduction des préjudices, l’honnêteté et la transparence, l’autonomie humaine et la sollicitude. Cela reflète un objectif de nos travaux sur l’alignement sur les valeurs : amener les modèles à comprendre et à appliquer les valeurs humaines dans des situations inédites, tout en restant fidèles aux intentions humaines. En plus de clarifier les principes existants, cette révision ajoute des directives sur le contexte, la supervision et l’autonomie, ajuste certains comportements par défaut et retire une grande partie des directives détaillées sur le style.
Les cinq valeurs ci-dessus expriment de grands engagements déjà présents dans l’ensemble de la spécification du modèle : servir les objectifs humains, dire la vérité, réduire les préjudices, respecter la liberté de chacun de se forger ses propres opinions et prendre au sérieux sa situation. Réunir ces engagements aide à expliquer pourquoi la spécification demande aux modèles de se comporter ainsi, et nous aide à élaborer des directives plus claires là où ces engagements étaient moins pleinement exprimés. Cette mise à jour marque une nouvelle étape de nos travaux visant à affiner la spécification grâce à la recherche, à notre expérience du déploiement des modèles, aux commentaires du public sur la spécification et le comportement des modèles, ainsi qu’aux échanges avec les utilisateurs et des spécialistes externes.
Nous voulons que l’IA bénéficie à un monde de personnes aux besoins, aux valeurs et aux espoirs d’avenir variés.
La fidélité aux intentions humaines est le fondement de cette approche : comprendre ce qui compte pour les gens et les aider à le poursuivre. OpenAI rédige la spécification, fixe des limites et entraîne les modèles à les respecter; les développeurs orientent les applications à l’intérieur de ces limites; et les utilisateurs dirigent le travail du modèle dans le respect de ces contraintes. Nos modèles devraient accroître la capacité des gens à façonner leur propre vie en les aidant à comprendre le monde, à découvrir des possibilités et à poursuivre les objectifs de leur choix, tout en prenant au sérieux les effets de cette aide sur les autres. La fidélité aux intentions humaines et les quatre autres valeurs structurent la spécification et guident nos modèles dans certains des arbitrages les plus importants auxquels ils font face. Elles ne visent pas à couvrir toute la gamme des valeurs humaines que nos modèles devraient respecter et aider les gens à concrétiser.
La fidélité exige d’aller au-delà de l’application littérale des instructions pour comprendre en profondeur les intentions et les valeurs d’OpenAI, des développeurs et des utilisateurs, et agir avec discernement lorsque cette compréhension est incomplète. Elle implique aussi de reconnaître que les croyances et les valeurs des gens peuvent changer, et de les aider à réfléchir et à évoluer d’une façon qu’ils approuveraient, sans les orienter à leur insu ni passer outre leurs choix. Par exemple, pour aider une personne à comparer des offres d’emploi, le modèle pourrait s’appuyer sur des priorités qu’elle a déjà exprimées, comme des horaires prévisibles, tout en rendant ces hypothèses visibles et faciles à corriger.
Notre mission est de faire en sorte que l’intelligence artificielle générale bénéficie à toute l’humanité. Cela exige de tenir compte non seulement des intentions immédiates d’une personne, mais aussi de ses intérêts à long terme et des effets sur les autres. Les quatre autres valeurs rendent ces considérations explicites :
Réduire les préjudices signifie respecter des limites de sécurité fermes et tenir compte des conséquences prévisibles des actions du modèle.
L’honnêteté et la transparence exigent de dire la vérité sur ce que le modèle sait, fait et ne sait pas avec certitude, pour que les gens puissent comprendre et évaluer son raisonnement et son travail.
Favoriser l’autonomie humaine signifie renforcer la capacité des gens à comprendre, à choisir et à agir par eux-mêmes.
La sollicitude signifie prêter attention à la situation des personnes touchées, respecter les normes sociales et professionnelles pertinentes et produire un travail sur lequel les gens peuvent compter.
La spécification traduit ces valeurs en directives pratiques, avec des limites fermes là où elles sont nécessaires pour protéger les personnes et la société. Pour le reste, elle prend surtout la forme de règles par défaut auxquelles les utilisateurs et les développeurs peuvent déroger.
Parallèlement à cette mise à jour de la spécification du modèle, nous explorons de nouvelles méthodes d’entraînement pour aider nos modèles à apprendre ces valeurs fondamentales et à mieux comprendre et suivre les principes comportementaux précis de la spécification. L’objectif est de leur faire comprendre pourquoi ces principes comptent et comment les appliquer dans de nouvelles situations : faire les bonnes choses pour les bonnes raisons. Nous voulons que cette compréhension favorise le discernement dans les décisions lourdes de conséquences et la sollicitude dans les décisions du quotidien, dont les effets cumulés peuvent produire des bénéfices durables pour les personnes et la société(s'ouvre dans une nouvelle fenêtre). Nous partagerons les résultats et les leçons de ces travaux d’entraînement dans de prochaines mises à jour.
Cette réorganisation nous a aussi aidés à repérer les besoins de directives supplémentaires, à élaborer de nouveaux principes pour y répondre et à réviser ou à retirer les directives existantes au besoin.
La nouvelle section sur la fidélité aux intentions humaines repose sur l’idée que les valeurs des gens priment, et que les instructions constituent généralement les indices les plus clairs et les plus importants de ces valeurs. Cette approche s’inspire du cadre des jeux d’assistance appliqué à l’alignement (voir les premiers travaux(s'ouvre dans une nouvelle fenêtre) et une synthèse ultérieure(s'ouvre dans une nouvelle fenêtre)). La section intègre une chaîne de commandement(s'ouvre dans une nouvelle fenêtre) mise à jour, qui explique quelles instructions s’appliquent et comment les conflits sont résolus. Une nouvelle sous-section, examiner attentivement le contexte(s'ouvre dans une nouvelle fenêtre), explique comment les conversations, les souvenirs et les autres indices contextuels devraient éclairer la compréhension qu’a le modèle des intentions et des préférences des gens.
Nous avons aussi ajouté des règles par défaut visant à soutenir l’autonomie humaine(s'ouvre dans une nouvelle fenêtre) et à respecter les normes sociales pertinentes(s'ouvre dans une nouvelle fenêtre), et étoffé les directives existantes pour maîtriser et communiquer les effets secondaires(s'ouvre dans une nouvelle fenêtre). Ces principes décrivent d’autres façons, souvent subtiles mais importantes, dont les autres valeurs devraient se manifester dans le comportement des modèles : tenir compte des effets du travail sur les autres, renforcer les capacités des utilisateurs et produire un travail fiable, tout en respectant les objectifs et les instructions de l’utilisateur.
En parallèle, nous retirons la plupart des directives détaillées de la spécification sur le style. Le style devrait s’adapter aux préférences des gens, tant globalement qu’au sein des langues et des cultures et pour chaque personne, en s’appuyant sur les commentaires des utilisateurs et le contexte pour cerner ces préférences. La spécification conserve des règles par défaut plus fermes, comme celle d’aborder les questions avec objectivité(s'ouvre dans une nouvelle fenêtre). Les utilisateurs et les développeurs peuvent demander explicitement au modèle d’adopter un point de vue particulier, mais le modèle ne devrait pas déduire cette préférence uniquement de ce qu’il croit qu’ils veulent entendre.
Enfin, pour refléter la diversité croissante des cas d’utilisation et des contextes de déploiement de nos modèles, nous désignons désormais le modèle par « GPT » plutôt que par « l’assistant » dans la spécification.
Cette mise à jour est une première étape pour rendre plus explicites les valeurs et le raisonnement qui sous-tendent la spécification, à mesure que les modèles gagnent en capacités. La spécification du modèle décrit le comportement que nous cherchons à atteindre; nos modèles ne le reflètent pas encore pleinement. Nous continuerons d’améliorer la spécification et les modèles à la lumière de la recherche, de leur utilisation réelle et des commentaires reçus.
Nous voulons savoir quelles parties de la spécification vous convainquent, où vous êtes en désaccord avec l’équilibre qu’elle établit, et ce qu’elle omet ou laisse flou. Vos commentaires sur les valeurs, les arbitrages et les formulations précises peuvent nous aider à l’améliorer. Nous vous invitons à lire la spécification du modèle mise à jour(s'ouvre dans une nouvelle fenêtre) et à partager votre point de vue(s'ouvre dans une nouvelle fenêtre).
