Een kijkje in onze aanpak van de modelspecificaties

Bij OpenAI vinden we dat AI eerlijk, veilig en breed beschikbaar moet zijn, zodat meer mensen het kunnen gebruiken om complexe problemen op te lossen, kansen te creëren en te profiteren op gebieden als gezondheid, wetenschap, onderwijs, werk en het dagelijks leven. Wij geloven dat brede toegang tot AI de beste weg vooruit is: niet AI waarvan de voordelen en controle bij een kleine groep liggen, maar AI die meer mensen kunnen gebruiken, begrijpen en mede vormgeven.

Dat is een belangrijke reden waarom de OpenAI modelspecificatie bestaat. De modelspecificatie⁠(opent in een nieuw venster) is ons formele kader voor modelgedrag. Het definieert hoe we willen dat modellen instructies opvolgen, conflicten oplossen, de vrijheid van gebruikers respecteren en zich veilig gedragen binnen het ongelooflijk brede scala aan vragen die gebruikers hun dagelijks stellen. Meer in het algemeen is dit onze poging om het beoogde gedrag van het model expliciet te maken: niet alleen binnen ons trainingsproces, maar ook in een vorm die gebruikers, ontwikkelaars, onderzoekers, beleidsmakers en het bredere publiek daadwerkelijk kunnen lezen, bestuderen en bediscussiëren.

De modelspecificaties betekenen niet dat onze modellen zich vandaag de dag al perfect zo gedragen. In veel opzichten is het beschrijvend, maar het is ook een richtpunt voor waar we het modelgedrag naartoe willen sturen. We gebruiken het om het beoogde gedrag duidelijker te maken, zodat we ernaartoe kunnen trainen, het eraan kunnen toetsen en het in de loop van de tijd kunnen verbeteren. 

In dit bericht delen we het achtergrondverhaal dat niet in de modelspecificaties zelf staat, waaronder de filosofie en werking erachter: hoe ze zijn gestructureerd, waarom we die structurele keuzes hebben gemaakt, en hoe we ze in de loop van de tijd schrijven, implementeren en verder ontwikkelen.

De modelspecificatie vormt een onderdeel van OpenAI’s bredere aanpak van veilige en verantwoorde AI. Hoewel het Preparedness Framework⁠ zich richt op risico's van grensverleggende capaciteiten en de veiligheidsmaatregelen die nodig zijn naarmate die risico's toenemen, behandelt de modelspecificatie een andere maar aanvullende vraag: hoe onze modellen zich in uiteenlopende situaties zouden moeten gedragen. Op een hoger abstractieniveau is AI-veerkracht erop gericht de bredere maatschappelijke uitdaging aan te pakken om de samenleving te helpen de voordelen van geavanceerde AI te benutten, terwijl ontwrichting en opkomende risico’s worden beperkt naarmate steeds capabelere systemen worden ingezet. Alles bij elkaar zijn deze initiatieven erop gericht de overgang naar AGI geleidelijk, iteratief en democratisch inzichtelijk te maken: door mensen en instellingen de tijd te geven om zich aan te passen, terwijl de waarborgen, verantwoordingsmechanismen en het publieke begrip worden opgebouwd die nodig zijn om krachtige AI in lijn te houden met menselijke belangen.

Publieke duidelijkheid over modelgedrag is belangrijk voor zowel eerlijkheid als veiligheid. Dit is belangrijk voor eerlijkheid: mensen moeten begrijpen hoe en waarom AI hen op een bepaalde manier behandelt, en zorgen over eerlijkheid kunnen herkennen, bevragen en aanpakken wanneer die zich voordoen. Ook is het belangrijk voor veiligheid, omdat AI-systemen steeds beter worden en mensen en instellingen duidelijker moeten weten hoe ze bedoeld zijn zich te gedragen, welke afwegingen ze maken en hoe die keuzes in de loop van de tijd kunnen worden verbeterd. Die vorm van leesbaarheid ondersteunt ook de veerkracht door meer mensen iets concreets te geven om te onderzoeken, ter discussie te stellen en te verbeteren.

Sinds de eerste versie in 2024 is de modelspecificatie verder ontwikkeld, naarmate we meer inzicht krijgen in wat gebruikers nodig hebben, rekening houden met toenemende mogelijkheden en leren van publieke feedback op modelgedrag en de modelspecificatie. In de geest van iteratieve implementatie⁠ is de modelspecificatie een document in ontwikkeling dat zowel achterliggende waarden als expliciete, begrijpelijke regels omvat, gekoppeld aan een proces voor het aanpassen van afzonderlijke elementen naarmate we leren van implementatie in de praktijk en feedback. We investeren ook in mechanismen voor publieke feedback, zoals collectieve afstemming⁠, om de mensheid de regie te helpen behouden over hoe AI wordt gebruikt en hoe het gedrag van AI wordt gevormd.

Intern geeft het ons een leidraad voor beoogd gedrag en een gedeeld kader voor training, evaluatie en governance. Extern creëert het een openbaar referentiepunt dat mensen kunnen gebruiken om onze aanpak te begrijpen, er kritiek op te geven en deze in de loop van de tijd te helpen verbeteren.

De modelspecificaties bestaan uit verschillende soorten richtlijnen voor modellen. Dat is bewust. Verschillende aspecten van het gedrag van een model moeten op verschillende manieren worden aangepakt, en een bruikbaar openbaar document moet meer doen dan alleen regels opsommen.

De modelspecificaties beginnen met de intentie op hoofdlijnen: een duidelijke uiteenzetting van wat we op systeemniveau proberen te optimaliseren, en waarom.

Deze inleiding verduidelijkt drie doelen om onze missie na te streven:

• Het iteratief inzetten van modellen die ontwikkelaars en gebruikers in staat stellen effectiever te zijn
• Voorkom dat onze modellen ernstige schade toebrengen aan gebruikers of anderen
• Behoud de licentie van OpenAI om actief te zijn

Vervolgens leggen we uit hoe we deze doelen in de praktijk tegen elkaar afwegen, en maken we die afwegingen concreet genoeg om de meer gedetailleerde principes die volgen te ondersteunen.

Belangrijk is dat deze preambule niet bedoeld is als een directe instructie aan het model. De mensheid ten goede komen is het doel van OpenAI, niet een doel dat we onze modellen autonoom willen laten nastreven. In plaats daarvan willen we dat modellen een chain of command volgen die de modelspecificaties en toepasselijke instructies van OpenAI, ontwikkelaars en gebruikers omvat, zelfs wanneer sommige mensen het in een bepaald geval misschien niet eens zijn met het resultaat.

We denken dat dit de juiste balans is, omdat we menselijke autonomie en intellectuele vrijheid waarderen. Als we modellen zouden trainen om op basis van onze eigen opvatting over wat goed is voor de maatschappij te bepalen welke instructies ze moeten opvolgen, zou OpenAI in de positie verkeren om op een zeer breed niveau over moraliteit te oordelen. Dat gezegd hebbende, is de preambule nog steeds van belang. Wanneer er onduidelijkheid bestaat over de toepassing van de modelspecificaties, moet de preambule die helpen weg te nemen.

De modelspecificatie bevat ook openbare toezeggingen die verder gaan dan direct meetbaar modelgedrag, namelijk trainingsintentie en implementatiebeperkingen. Onze Red-lineprincipes⁠(opent in een nieuw venster) omvatten bijvoorbeeld de toezegging dat we in eigen toepassingen zoals ChatGPT systeemberichten nooit gebruiken om objectiviteit⁠(opent in een nieuw venster) of verwante principes bewust te ondermijnen; en Geen andere doelen⁠(opent in een nieuw venster) legt vast dat we modelreacties optimaliseren in het belang van de gebruiker, en niet voor omzet of om betrokkenheid kunstmatig te vergroten.

De kern van de modelspecificaties is de 'chain of command': een kader om te bepalen welke instructies in een bepaalde situatie van toepassing zijn. Het behandelt ook hoe het model moet omgaan met ondergespecificeerde instructies, vooral in agentic omgevingen waarin van het model wordt verwacht dat het zelfstandig details invult, terwijl het neveneffecten in de echte wereld zorgvuldig beheerst.

Het basisidee achter het bepalen welke instructies van toepassing moeten zijn, is eenvoudig. Instructies kunnen uit verschillende bronnen komen, waaronder OpenAI, ontwikkelaars en gebruikers. Die instructies kunnen met elkaar in conflict komen. De chain of command legt uit hoe het model die conflicten moet oplossen.  

Elk beleid in de modelspecificatie en elke instructie krijgt een bevoegdheidsniveau⁠(opent in een nieuw venster). Het model wordt geïnstrueerd om bij conflicten prioriteit te geven aan de letter en de bedoeling van instructies met een hogere autoriteit. Als een gebruiker om hulp vraagt bij het maken van een bom, moet het model prioriteit geven aan strikte veiligheidsgrenzen⁠(opent in een nieuw venster). Als een gebruiker vraagt om te worden bekritiseerd, moet het model dat verzoek over het algemeen prioriteit geven boven het lager geplaatste beleid tegen misbruik⁠(opent in een nieuw venster) van de modelspecificatie.

Met deze structuur kunnen we een relatief kleine set niet-overschrijfbare regels definiëren, naast een grotere set standaardinstellingen. Zo proberen we de vrijheid van gebruikers te maximaliseren en ontwikkelaars controle te bieden binnen de veiligheidsgrenzen.

• Harde regels zijn expliciete grenzen die niet door gebruikers of ontwikkelaars kunnen worden overschreven (in de terminologie van de modelspecificatie zijn dit instructies op 'root'- of 'system'-niveau). Ze zijn grotendeels verbiedend van aard en vereisen dat modellen gedrag vermijden dat kan bijdragen aan catastrofale risico's of direct fysiek letsel, wetten schendt of de chain of command ondermijnt. We verwachten dat AI een fundamentele basistechnologie voor de maatschappij wordt, vergelijkbaar met de basisinfrastructuur van het internet, dus leggen we alleen regels op die de intellectuele vrijheid zouden kunnen beperken wanneer we van mening zijn dat die noodzakelijk zijn voor het brede spectrum aan ontwikkelaars en gebruikers dat ermee zal interageren. In de modelspecificatie bevat Blijf binnen de grenzen⁠(opent in een nieuw venster) strikte regels die concrete veiligheidsrisico's in de echte wereld aanpakken, en Principes voor gebruikers jonger dan 18⁠(opent in een nieuw venster) voegt extra beveiligingsmaatregelen toe voor gebruikers jonger dan 18 jaar.
• Standaardinstellingen zijn uitgangspunten die kunnen worden overschreven: het gedrag op basis van de ‘beste inschatting’ van de assistent wanneer de gebruiker of ontwikkelaar geen voorkeur heeft opgegeven. We gebruiken standaardinstellingen om gedrag voorspelbaar en beheersbaar op schaal te maken, zodat mensen kunnen anticiperen op wat er gebeurt zonder elke keer een op maat gemaakte set instructies te schrijven. Standaardinstellingen behouden de aanstuurbaarheid: gebruikers en ontwikkelaars kunnen toon, diepgang, indeling en zelfs perspectief expliciet aansturen binnen de veiligheidsgrenzen. Standaardinstellingen op richtlijnniveau (zoals toon of stijl) zijn ontworpen om impliciet stuurbaar te zijn, terwijl standaardinstellingen op gebruikersniveau (zoals waarheidsgetrouwheid en objectiviteit) ankers zijn voor vertrouwen en voorspelbaarheid en alleen kunnen worden overschreven door expliciete instructies. Die zouden niet stilletjes moeten afdrijven op basis van een onderbuikgevoel; als de gebruiker een ander feitelijk standpunt wil, blijft die verschuiving transparant en inzichtelijk door dat als een expliciete instructie te formuleren. Deze standaarden komen terug in Samen naar de waarheid zoeken⁠(opent in een nieuw venster), Het best mogelijke werk leveren⁠(opent in een nieuw venster) en Een passende stijl gebruiken⁠(opent in een nieuw venster), waaronder normen rond eerlijkheid en objectiviteit, het vermijden van vleierij en interactienormen zoals directheid en warmte en professionaliteit die passen bij de context.

Naast de hiërarchie zelf gebruiken de modelspecificaties interpretatieve hulpmiddelen om modellen (en mensen) te helpen die consistent toe te passen in grijze gebieden. Deze hulpmiddelen omvatten: 

• Beslissingsrubrieken die het model helpen consistente keuzes te maken in grijze gebieden, zonder te doen alsof er één mechanische regel is. De modelspecificatie bevat bijvoorbeeld richtlijnen voor het beheersen van neveneffecten⁠(opent in een nieuw venster), met aandachtspunten zoals het beperken van onomkeerbare acties, het afstemmen van acties op het doel, het voorkomen van ongewenste verrassingen en het kiezen voor omkeerbare oplossingen. Deze moeten worden afgewogen tegen andere doelen, zoals taken snel en effectief uitvoeren.
• Concrete voorbeelden die laten zien hoe een principe in de praktijk moet worden toegepast. Dit zijn korte voorbeelden van prompts en reacties die meestal zowel een conforme als een niet-conforme reactie bevatten, vaak bij een moeilijke prompt dicht bij een belangrijke beslissingsgrens. Het doel is niet om een volledig realistisch gesprek te simuleren. Het is bedoeld om het belangrijke onderscheid duidelijk te maken, en om dat te doen op een manier die ook de gewenste antwoordstijl laat zien.

We houden het aantal voorbeelden relatief klein en richten ons op de meest informatieve. Uitgebreidere evaluaties helpen ook minder voorkomende situaties te dekken.

De modelspecificatie is een interface, geen implementatie. Het beschrijft het gedrag dat we willen, niet elk detail van hoe we dat gedrag tot stand brengen. We proberen te voorkomen dat we het koppelen aan implementatiedetails, zoals interne tokens of het exacte trainingsrecept voor een bepaald gedrag, omdat die details kunnen veranderen, zelfs wanneer het gewenste gedrag dat niet doet. De belangrijkste doelgroep van de modelspecificaties is niet het model, maar mensen: ze zijn bedoeld om medewerkers van OpenAI, gebruikers, ontwikkelaars, onderzoekers en beleidsmakers te helpen het beoogde gedrag te begrijpen, te bespreken en er beslissingen over te nemen.

De specificatie beschrijft ook het model, niet het volledige product. Het wordt aangevuld door ons gebruiksbeleid⁠, waarin onze verwachtingen worden uiteengezet ten aanzien van de manier waarop mensen de API en ChatGPT moeten gebruiken. Het systeem waarmee gebruikers interageren, omvat meer dan alleen het model zelf: productfuncties zoals aangepaste instructies en geheugen, monitoring, beleidshandhaving en andere lagen zijn allemaal ook van belang. Veiligheid is veel meer dan gedrag van het model, en wij geloven in diepgaande verdediging⁠. 

En de modelspecificaties zijn geen volledige beschrijving van onze volledige trainingsstack of van elke interne beleidsnuance. Het doel is niet om elk detail vast te leggen. Het is bedoeld om de belangrijkste gedragsbeslissingen begrijpelijk te maken, op een manier die volledig consistent is met het door ons beoogde gedrag van het model.

Er zijn verschillende redenen om dit in deze mate in de specificaties op te nemen, in plaats van aan te nemen dat de lezer (of het model) alles kan afleiden uit een paar algemene doelstellingen.

Ten eerste is de modelspecificatie een instrument voor transparantie en verantwoording. Het is ontworpen om zinvolle publieke feedback aan te moedigen. Een duidelijk openbaar doel helpt mensen te bepalen of gedrag een bug of een feature is. Het geeft hun een stabiel referentiepunt voor kritiek en concrete feedback. Daarom hebben we de modelspecificatie opensource gemaakt⁠(opent in een nieuw venster) en kiezen we ervoor om in het openbaar te itereren. Sinds de eerste release zijn er veel wijzigingen aangebracht op basis van publieke feedback, verzameld via verschillende mechanismen, waaronder feedbackformulieren, publieke kritiek en doelbewuste inspanningen⁠ om democratische inbreng te verzamelen.

Ten tweede is de modelspecificatie binnen OpenAI een hulpmiddel voor coördinatie . Het biedt mensen binnen onderzoek, product, veiligheid, beleid, juridische zaken, communicatie en andere functies een gedeelde woordenschat om modelgedrag te bespreken, en een mechanisme om wijzigingen voor te stellen en te beoordelen.

Ten derde kunnen expliciete beleidsregels praktische beperkingen in modelintelligentie en runtime-context compenseren en het gedrag voorspelbaarder maken. Hoewel dit na verloop van tijd steeds minder waar wordt, zijn sommige beleidsmaatregelen erop gericht te compenseren voor onvoldoende intelligentie, waarbij modellen mogelijk niet op betrouwbare wijze het juiste gedrag kunnen afleiden uit principes op een hoger niveau. Zo adviseerde Wees duidelijk en direct⁠(opent in een nieuw venster) eerdere modellen bijvoorbeeld om hun tussenstappen te tonen voordat ze een antwoord gaven op uitdagende problemen die berekeningen vereisen, maar tegenwoordig leren onze modellen dit gedrag op natuurlijke wijze via reinforcement learning⁠. 

Ander beleid gaat over beperkte context tijdens runtime: de assistent kan alleen vertrouwen op wat waarneembaar is in de huidige interactie, en weet zelden wat de volledige situatie of intentie van de gebruiker is, hoe de output later wordt gebruikt, of welke waarborgen er buiten het model bestaan. In die gevallen verbetert specificiteit de efficiëntie en voorspelbaarheid, zelfs als modellen met voldoende onderzoek en denkwerk mogelijk het juiste gedrag zouden kunnen achterhalen, waarbij veel afwegingen worden samengebracht in richtlijnen die de variatie tussen vergelijkbare prompts verminderen en het gedrag zowel voor gebruikers als onderzoekers gemakkelijker te begrijpen maken.

Tot slot zijn de modelspecificaties bedoeld als een volledig overzicht van beleidslijnen op hoofdlijnen die relevant zijn voor evaluatie en meting. Als je wilt beoordelen of een model zich gedraagt zoals bedoeld, is het nuttig om een openbare lijst te hebben van de belangrijkste gedragscategorieën die voor je van belang zijn.

Het is verleidelijk om te denken dat een voldoende capabel model het juiste gedrag zou moeten kunnen afleiden uit een korte lijst met doelen zoals "wees behulpzaam en veilig." Er zit een kern van waarheid in. In domeinen met objectieve succescriteria, zoals wiskunde, kan intelligentie vaak gedetailleerde regels vervangen.

Maar in het algemeen is het gedrag van modellen niet te vergelijken met het oplossen van een eenvoudig wiskundeprobleem; modellen opereren vaak in weerbarstigere domeinen, waarop niet één moreel juist antwoord bestaat waar iedereen het over eens kan zijn. Wat het bijvoorbeeld betekent voor een model om ‘nuttig en veilig’ te zijn, is sterk van context afhankelijk en het resultaat van besluitvorming die onvermijdelijk met waarden is beladen. Intelligentie alleen vertelt je niet welke afwegingen je moet maken als het gaat om ethiek en waarden. Dus zelfs naarmate modellen intelligenter worden, blijft er werk nodig om te begrijpen en te sturen hoe waardeoordelen tot stand komen en wat het betekent om in een bepaald geval 'ethisch' te handelen. En de meeste redenen om modelspecificaties te hebben blijven relevant, zelfs wanneer modellen veel capabeler worden: we hebben nog steeds een publiek richtpunt nodig waar mensen zich op kunnen afstemmen, een manier om te beoordelen of gedrag overeenkomt met onze bedoelingen, en een mechanisme om de regels te herzien terwijl we leren. Als de enige regel “wees behulpzaam en veilig” is, dan is er geen mechanisme waarmee mensen kunnen debatteren over bijvoorbeeld de grenzen van welke content het model zou moeten weigeren te verstrekken, waardoor al deze beslissingen aan het model worden overgelaten.

Naarmate modellen capabeler worden, steeds meer als agents functioneren en breder worden ingezet, worden de kosten van ambiguïteit hoger. Dat maakt een duidelijk gedragskader belangrijker, niet minder belangrijk.

Een bruikbare analogie is het verschil tussen een geschreven grondwet en jurisprudentie. Hoewel een geschreven grondwet zowel algemene beginselen als concrete regels kan bieden, kan zij niet anticiperen op alle mogelijke gevallen die zich kunnen voordoen en waarbij haar richting nodig is. Echte governancesystemen hebben ook interpretatiekaders, verduidelijkingen en expliciete beslissingen nodig om complexe gevallen of onvoorziene kwesties op te lossen. Gepubliceerde regels helpen verschillende belanghebbenden zich op elkaar af te stemmen, zelfs als ze het oneens zijn, en beperken veranderingen doordat elke wijziging expliciet moet zijn. De modelspecificaties zijn bedoeld om al deze rollen te vervullen: een uiteenzetting van principes, een openbaar gedragskader en een proces om de specificaties in de loop van de tijd te wijzigen.

Dat gezegd hebbende, denken we niet dat alles wat van belang is aan het model en gedrag altijd tot expliciete regels kan worden teruggebracht. Naarmate systemen autonomer worden, zullen betrouwbaarheid en vertrouwen steeds meer afhangen van bredere vaardigheden en houdingen: onzekerheid goed communiceren, de grenzen van autonomie respecteren, onaangename verrassingen voorkomen, intentie in de loop van de tijd volgen en goed redeneren over menselijke waarden in context.

Bij het opstellen van de modelspecificaties is er een spectrum tussen het beschrijven van het daadwerkelijke modelgedrag van vandaag, met alle gebreken van dien, en het beschrijven van een ideaal streefdoel voor de verre toekomst. We proberen een balans te vinden, meestal op ongeveer 0-3 maanden vanaf het huidige moment. Daardoor lopen de modelspecificaties in ten minste enkele gebieden van actieve ontwikkeling vaak voor op het model.

Dat weerspiegelt de rol van de modelspecificaties als een beschrijving van het beoogde gedrag. Het moet ons een samenhangende richting geven en tegelijk geworteld blijven in wat we al doen of waarvoor we concrete plannen hebben om het op korte termijn uit te voeren.

De modelspecificaties worden ontwikkeld via een open intern proces. Iedereen bij OpenAI kan er opmerkingen over maken of wijzigingen voorstellen, en definitieve updates worden goedgekeurd door een brede groep cross-functionele belanghebbenden. In de praktijk hebben tientallen mensen rechtstreeks tekst aangeleverd, en denken nog veel meer mensen uit onderzoek, engineering, product, veiligheid, beleid, juridische zaken, communicatie, internationale zaken en andere functies mee. We leren ook van openbare releases en feedback, die helpen deze keuzes in de praktijk op de proef te stellen bij daadwerkelijke implementatie.

Dit is belangrijk omdat het gedrag van modellen, en de implicaties ervan in de wereld, ongelooflijk ingewikkeld zijn. Niemand kan in zijn eentje de volledige set gedragingen, het trainingsproces en de implicaties verderop in de keten overzien, maar met veel cross-functionele bijdragers en reviewers kunnen we de kwaliteit verbeteren en het vertrouwen vergroten.

Een aangename verrassing is geweest dat echte consensus vaak mogelijk is, vooral wanneer we onszelf dwingen de afwegingen nauwkeurig genoeg op te schrijven zodat meningsverschillen concreet worden.

De modelspecificaties zijn ook niet in een vacuüm geschreven. Veel van wat erin terechtkomt, is een samenvatting van breder werk op het gebied van gedrag, veiligheid en beleid. Een groot deel van het schrijven van modelspecificaties is in wezen vertaalwerk: bestaand werk nemen en het eenvoudiger, consistenter, overzichtelijker en toegankelijker maken zonder de onderliggende intentie te verliezen.

Onze productiemodellen weerspiegelen om verschillende redenen de modelspecificaties nog niet volledig.

• Modeltraining kan achterlopen op updates van de modelspecificaties. Het beschrijft gedrag waar we naartoe werken, dus het kan voorlopen op wat ons nieuwste model heeft geleerd te doen.
• Training kan onbedoeld gedrag aanleren dat niet in overeenstemming is met de modelspecificaties. We doen ons uiterste best om dit te voorkomen. Gebeurt het toch, dan zien we het als een ernstige bug en passen we het gedrag of de modelspecificatie aan om die weer op elkaar af te stemmen.
• Training kan nooit volledig alle mogelijke gedragingen omvatten. Daadwerkelijk gebruik bevat een groot aantal contexten en randgevallen die pas zichtbaar worden op schaal, en geen enkel trainingsproces kan alles afdekken.
• Generalisatie kan verschillen van wat we bedoelden. Een model kan tijdens de training om onbedoelde redenen de ‘juiste’ output produceren, wat kan leiden tot onbedoeld gedrag in nieuwe situaties die verschillen van de situaties die tijdens de training zijn gezien. Technieken zoals deliberatieve afstemming⁠ helpen, maar ze zijn geen volledige oplossing.

Meer in het algemeen betekent het feit dat de modelspecificaties een breed scala aan gewenste gedragingen beschrijven niet dat er één enkele methode is om die allemaal aan te leren. Verschillende aspecten van gedrag, het opvolgen van instructies, veiligheidsgrenzen, persoonlijkheid, een gekalibreerde uiting van onzekerheid en meer, vereisen vaak verschillende technieken en kennen verschillende faalmodi. De modelspecificaties maken het makkelijker om het beoogde gedrag te begrijpen en te bekritiseren, maar een goede implementatie ervan blijft zowel een kunst als een actief onderzoeksgebied.

Samen met dit bericht brengen we Model Spec Evals⁠(opent in een nieuw venster) uit: een scenariogebaseerde evaluatiesuite die probeert met een klein aantal representatieve voorbeelden zo veel mogelijk beweringen in de modelspecificatie te bestrijken. Dit helpt ons bij te houden waar het gedrag van het model en de modelspecificatie niet op één lijn liggen, en het helpt ons te controleren of modellen de modelspecificatie interpreteren zoals we bedoelen. Deze evaluaties vormen slechts één onderdeel van een bredere evaluatiestrategie die ook meer gerichte beoordelingen omvat op veel gedragsdimensies, waaronder specifieke veiligheidsgebieden, waarheidsgetrouwheid en vleierij, persoonlijkheid en stijl, en capaciteiten.

In de praktijk worden de meeste updates gedreven door een terugkerende reeks input:

• Openbare problemen en feedback. Onduidelijkheden, randgevallen of faalmodi, zowel in de taal van de modelspecificaties als in het gedrag van onze modellen.
• Interne problemen. Patronen die we zien tijdens de ontwikkeling en het testen, waaronder onduidelijkheden waarbij verschillende redelijke interpretaties tot verschillend gedrag leiden.
• Bijwerkingen van het gedrags- en veiligheidsbeleid. Wanneer beperkingen of toezeggingen op een hoger niveau veranderen, moet de specificatie die nieuwe structuur duidelijk weerspiegelen.
• Nieuwe mogelijkheden en producten. Naarmate modellen capabeler worden en we nieuwe producten uitbrengen, willen we dat de modelspecificatie inhoudelijk en qua dekking gelijke tred houdt. Bijvoorbeeld door regels voor multimodale interacties⁠(opent in een nieuw venster), autonome agents⁠(opent in een nieuw venster) en gebruikers onder de 18 jaar⁠(opent in een nieuw venster) toe te voegen.

Een paar ontwerpprincipes zijn leidend voor hoe we de modelspecificaties opstellen en herzien.

• Duidelijkheid en precisie. 'Wees eerlijk' is een goede waarde, maar geen volledige beslisprocedure. De modelspecificatie moet meningsverschillen aanscherpen, niet verbergen achter instemmende taal. Waar praktisch haalbaar, moeten we expliciet wijzen op mogelijke conflicten tussen regels en richtlijnen of voorbeelden geven voor hoe deze kunnen worden opgelost. Bijvoorbeeld, Liegen mag niet⁠(opent in een nieuw venster) wijst op een mogelijk conflict met Wees warm⁠(opent in een nieuw venster), en legt uit dat de assistent beleefdheidsnormen moet volgen, zonder daarbij te vervallen in leugentjes om bestwil die kunnen neerkomen op vleierij⁠(opent in een nieuw venster) en niet in het belang van de gebruiker zijn.
• Inhoudelijke regels. Een lezer moet in staat zijn een realistische prompt te nemen en een antwoord te formuleren dat een andere lezer duidelijk als binnen of buiten de lijnen herkent (zelfs als er aan de randen ruimte is voor interpretatie).
• Voorbeelden die het signaal ten opzichte van de ruis maximaliseren. Goede voorbeelden staan vaak centraal bij het opstellen van een hoogwaardige specificatie-update. Voorbeelden moeten doordringen tot de kern van de moeilijkheden bij het specificeren van modelgedrag, lastige conflicten naar de oppervlakte brengen en duidelijk stelling nemen over hoe die moeten worden opgelost. Ten tweede zouden zij ernaar moeten streven een voorbeeld te zijn van de gewenste toon en stijl, wat in proza moeilijk over te brengen kan zijn.
• Robuustheid. We proberen voorbeelden met onnodige dubbelzinnigheid of complexiteit te vermijden, zodat het centrale conflict en de beoogde oplossing duidelijk zijn.
• Consistentie en duidelijke organisatie. We streven ernaar dat de regels in de modelspecificaties volledig onderling consistent zijn en in overeenstemming zijn met het door ons beoogde modelgedrag, en dat de algehele opzet van het document duidelijk en toegankelijk is.

De modelspecificaties zijn geen bewering dat we alles kunnen opschrijven wat ertoe doet, of dat modellen altijd het doel zullen bereiken. Het is een bewering dat beoogd gedrag voldoende belangrijk is om duidelijk, uitvoerbaar en herzienbaar te zijn.

Drie succescriteria bepalen hoe we deze verder ontwikkelen.

• Leesbaarheid. Mensen binnen en buiten OpenAI kunnen zich een accuraat beeld vormen van het verwachte gedrag en kunnen naar tekst verwijzen wanneer het gedrag hen verrast.
• Toepasbaarheid. De modelspecificaties kunnen worden gebruikt om evaluaties op te zetten, incidenten te diagnosticeren en consequente productbeslissingen te nemen, niet alleen om waarden uit te drukken.
• Herzienbaarheid. De modelspecificaties kunnen zich blijven ontwikkelen naarmate we leren, zonder steeds van koers te veranderen.

Naarmate modellen en producten zich verder ontwikkelen, verwachten we dat de modelspecificaties worden uitgebreid en verduidelijkt in lijn met nieuwe mogelijkheden en implementatiecontexten. Het doel is om de gedragsspecificatie coherent, toetsbaar en in lijn te houden met onze missie om ervoor te zorgen dat AGI de hele mensheid ten goede komt.