Bijgewerkte modelspecificaties voor krachtigere en nuttigere AI

Naarmate onze modellen slimmer worden en handelingen uitvoeren met ingrijpendere gevolgen voor de wereld, wordt het steeds belangrijker dat ze meer doen dan alleen de specifieke instructies interpreteren die ze krijgen. Modellen moeten ook menselijke bedoelingen en waarden begrijpen. Zo kunnen ze weloverwogen oordelen in situaties waarin hun instructies niet expliciet voorzien, terwijl ze trouw blijven aan menselijke bedoelingen en onder menselijk toezicht blijven staan.

Vandaag werken we de modelspecificaties⁠(opent in een nieuw venster) bij: onze openbare beschrijving van hoe we willen dat onze modellen zich gedragen. In deze update zijn de richtlijnen geordend rond vijf onderliggende waarden: trouw aan menselijke bedoelingen, schadebeperking, eerlijkheid en transparantie, menselijke autonomie en zorgzaamheid. Dit weerspiegelt een doel van ons werk aan afstemming op waarden: modellen moeten menselijke waarden begrijpen en toepassen in onbekende situaties, terwijl ze trouw blijven aan menselijke bedoelingen. Naast duidelijkere uitleg over bestaande principes bevat de herziening nieuwe richtlijnen over context, toezicht en autonomie. Ook zijn enkele standaardgedragsregels aangepast en vervalt een groot deel van de gedetailleerde stijlrichtlijnen.

De vijf bovenstaande waarden verwoorden brede uitgangspunten die al in de modelspecificaties terugkomen: menselijke doelen dienen, waarheidsgetrouw zijn, schade beperken, de vrijheid van mensen respecteren om hun eigen opvattingen te vormen en hun omstandigheden serieus nemen. Door deze uitgangspunten samen te brengen, wordt duidelijker waarom de specificaties bepaald gedrag van modellen vragen. Ook helpt dit ons duidelijkere richtlijnen te ontwikkelen waar die uitgangspunten nog onvoldoende waren uitgewerkt. Deze update is een volgende stap in ons werk om de specificaties te verfijnen op basis van onderzoek, ervaring met het inzetten van modellen, feedback vanuit het publiek over de specificaties en het gedrag van modellen, en gesprekken met gebruikers en externe deskundigen.

We willen dat AI ten goede komt aan een wereld vol mensen met uiteenlopende behoeften, waarden en toekomstverwachtingen.

Trouw aan menselijke bedoelingen vormt de basis van deze aanpak: begrijpen wat mensen belangrijk vinden en hen helpen dat na te streven. OpenAI schrijft de specificaties, stelt grenzen en traint modellen om die te respecteren. Ontwikkelaars geven binnen die grenzen richting aan toepassingen, en gebruikers sturen binnen die kaders het werk van het model aan. Onze modellen moeten mensen meer mogelijkheden geven om hun eigen leven vorm te geven door hen te helpen de wereld te begrijpen, mogelijkheden te ontdekken en zelfgekozen doelen na te streven. Daarbij moeten ze serieus rekening houden met de gevolgen van die hulp voor anderen. Trouw aan menselijke bedoelingen en de overige vier waarden vormen de structuur van de specificaties. Ze geven onze modellen houvast bij enkele van de belangrijkste afwegingen die ze moeten maken. Ze zijn niet bedoeld als een volledige beschrijving van alle menselijke waarden die onze modellen moeten respecteren en mensen moeten helpen na te streven.

Trouw zijn aan bedoelingen gaat verder dan instructies letterlijk opvolgen. Het vraagt om een diepgaand begrip van wat OpenAI, ontwikkelaars en gebruikers bedoelen en belangrijk vinden, en om verstandig handelen wanneer dat begrip onvolledig is. Het betekent ook erkennen dat de overtuigingen en waarden van mensen kunnen veranderen, en hen helpen nadenken en groeien op manieren waar ze achter zouden staan, zonder hen ongemerkt te sturen of hun keuzes terzijde te schuiven. Als het model iemand bijvoorbeeld helpt baanaanbiedingen te vergelijken, kan het uitgaan van eerder genoemde prioriteiten, zoals voorspelbare werktijden. Daarbij moet het die aannames wel zichtbaar maken, zodat ze eenvoudig te corrigeren zijn.

Onze missie is ervoor te zorgen dat kunstmatige algemene intelligentie de hele mensheid ten goede komt. Dat vereist aandacht voor niet alleen iemands directe bedoelingen, maar ook diens belangen op langere termijn en de gevolgen voor anderen. De overige vier waarden maken deze overwegingen expliciet:

• Schade beperken betekent strikte veiligheidsgrenzen respecteren en rekening houden met de voorzienbare gevolgen van de handelingen van het model.

• Eerlijkheid en transparantie betekenen dat het model waarheidsgetrouw is over wat het weet, doet en waarover het onzeker is, zodat mensen zijn redenering en werk kunnen begrijpen en beoordelen.

• Menselijke autonomie bevorderen betekent mensen beter in staat stellen om zelf te begrijpen, te kiezen en te handelen.

• Zorgzaamheid betekent oog hebben voor de omstandigheden van betrokkenen, relevante sociale en professionele normen volgen en werk leveren waarop mensen kunnen vertrouwen.

De specificaties vertalen deze waarden naar praktische richtlijnen, met waar nodig strikte grenzen om mensen en de samenleving te beschermen. Verder gaat het vooral om standaardregels waarvan gebruikers en ontwikkelaars kunnen afwijken.

Naast deze update van de modelspecificaties hebben we nieuwe trainingsmethoden onderzocht om onze modellen te helpen deze kernwaarden te leren en de specifieke gedragsprincipes uit de specificaties beter te begrijpen en te volgen. Het doel is begrip te ontwikkelen van waarom die principes belangrijk zijn en hoe ze in nieuwe situaties kunnen worden toegepast: de juiste dingen doen om de juiste redenen. We willen dat dit begrip bijdraagt aan een goed oordeel bij ingrijpende beslissingen en aan zorgvuldigheid bij alledaagse beslissingen die samen kunnen leiden tot blijvende voordelen voor mens en samenleving⁠(opent in een nieuw venster). In toekomstige updates delen we de resultaten en lessen uit dit trainingswerk.

Deze herindeling hielp ons ook te bepalen waar aanvullende richtlijnen nodig waren, daarvoor nieuwe principes te ontwikkelen en bestaande richtlijnen waar nodig te herzien of te laten vervallen.

Het nieuwe onderdeel over trouw aan menselijke bedoelingen gaat ervan uit dat wat mensen belangrijk vinden vooropstaat, en dat instructies doorgaans de duidelijkste en belangrijkste signalen van die waarden zijn. Deze aanpak bouwt voort op het speltheoretische kader van assistentiespellen voor afstemming (zie vroeg onderzoek⁠(opent in een nieuw venster) en een later overzicht⁠(opent in een nieuw venster)). Dit onderdeel bevat een bijgewerkte instructiehiërarchie⁠(opent in een nieuw venster), die uitlegt welke instructies gelden en hoe conflicten worden opgelost. Een nieuwe subsectie, weeg de context zorgvuldig mee⁠(opent in een nieuw venster), legt uit hoe gesprekken, herinneringen en andere contextuele aanwijzingen het model moeten helpen de bedoelingen en voorkeuren van mensen te begrijpen.

Ook hebben we standaardregels toegevoegd voor het ondersteunen van menselijke autonomie⁠(opent in een nieuw venster) en het volgen van relevante sociale normen⁠(opent in een nieuw venster). Daarnaast hebben we bestaande richtlijnen voor het beheersen en communiceren van neveneffecten⁠(opent in een nieuw venster) uitgebreid. Deze principes beschrijven aanvullende, vaak subtiele maar belangrijke manieren waarop de overige waarden tot uiting moeten komen in het gedrag van modellen: rekening houden met de gevolgen van het werk voor anderen, de vaardigheden van gebruikers versterken en werk leveren waarop mensen kunnen vertrouwen, met respect voor de doelen en instructies van de gebruiker.

Tegelijkertijd laten we de meeste gedetailleerde stijlrichtlijnen uit de specificaties vervallen. De stijl moet aansluiten bij de voorkeuren van mensen: in het algemeen, binnen talen en culturen, en per persoon. Gebruikersfeedback en context geven inzicht in die voorkeuren. De specificaties behouden zwaarder wegende standaardregels, zoals vragen objectief benaderen⁠(opent in een nieuw venster). Gebruikers en ontwikkelaars kunnen het model expliciet vragen een bepaald perspectief in te nemen. Het model mag die voorkeur echter niet afleiden uit alleen een inschatting van wat zij willen horen.

Tot slot noemen we het model in de specificaties voortaan "GPT" in plaats van "de assistent", omdat onze modellen voor steeds meer toepassingen en in steeds meer omgevingen worden ingezet.

Deze update is een eerste stap om de waarden en de gedachtegang achter de specificaties explicieter te maken naarmate modellen krachtiger worden. De modelspecificaties beschrijven het gedrag waar we naartoe werken; onze modellen voldoen daar nog niet volledig aan. We blijven zowel de specificaties als de modellen verbeteren op basis van wat we leren uit onderzoek, gebruik in de praktijk en feedback.

We horen graag welke onderdelen van de specificaties je overtuigend vindt, waar je het niet eens bent met de gemaakte afwegingen en wat ontbreekt of onduidelijk blijft. Feedback over de waarden, afwegingen en precieze formuleringen kan ons helpen de specificaties te verbeteren. We nodigen je uit de bijgewerkte modelspecificaties⁠(opent in een nieuw venster) te lezen en je mening te delen⁠(opent in een nieuw venster).