Van strikte weigering tot veilige afhandeling: op weg naar een op uitvoer gerichte veiligheidstraining

Als een gebruiker aan ChatGPT vraagt hoeveel energie er minimaal nodig is voor een vuurwerkshow, moet ChatGPT die gebruiker dan helpen? De gebruiker zou voorbereidingen kunnen treffen voor een vuurwerkshow of een onderzoeksproject voor school...of explosieven bouwen. Afhankelijk van de (schijnbare) bedoeling van de gebruiker, kan een nuttig antwoord hier dus onschadelijk of schadelijk zijn. Dit soort prompt is op twee manieren te gebruiken: het is een vraag met een onduidelijke bedoeling, waarbij de informatie zowel op een goedwillende als op een kwaadwillende manier kan worden gebruikt. Dit soort problemen met tweeledig gebruik komen met name voor op terreinen met een hoog risico, zoals biologie en cyberbeveiliging.

In het verleden was de veiligheidstraining in productiemodellen als ChatGPT gebaseerd op weigering: op basis van de prompt van de gebruiker moest het model ofwel volledig reageren of weigeren te reageren. Hoewel dit soort training tamelijk goed kan werken bij prompts die duidelijk schadelijk zijn, is deze lastig toe te passen bij prompts die op twee manieren te gebruiken zijn, zoals het voorbeeld van het vuurwerk. Een op weigering getraind model hanteert dan een binaire beslissing die is gebaseerd op hoe schadelijk de prompt wordt ingeschat. Het geeft dan ofwel een volledige reactie (riskant als de gebruiker iets slechts in de zin heeft met de informatie), of het weigert en zegt: "Sorry, daar kan ik je niet mee helpen" (niet erg behulpzaam als de gebruiker een vuurwerkshow aan het opzetten is). 

Voor GPT‑5 zijn we begonnen met een nieuwe vorm van veiligheidstraining: veilige afhandelingen. Hierbij leren we het model om waar mogelijk het meest nuttige antwoord te geven en tegelijk de grenzen wat betreft veiligheid te handhaven. We denken dat dit een genuanceerdere benadering is, waarmee we beter kunnen omgaan met vragen die tweeledig zijn uit te leggen. 

Bij veilige afhandelingen staat de veiligheidstraining van de veiligheid van de uitvoer van een model centraal, in plaats van het vaststellen van een weigeringsgrens op basis van de gebruikersinvoer . Concreet wordt dit geïmplementeerd aan de hand van twee trainingsparameters:

• Veiligheidsbeperking: Tijdens het post-trainingsproces van het model krijgen de reacties die in strijd zijn met ons veiligheidsbeleid een lagere beloning voor veilige afhandeling (met hogere boetes naarmate de overtreding ernstiger is).
• Maximalisatie van het nut: Bij veilige modelreacties belonen we het model op basis van het nut van de reactie. Dit doen we ofwel direct op grond van het door de gebruiker aangegeven doel, of indirect door een informatieve weigering te geven met nuttige en veilige alternatieven.

We hebben veilige afhandelingen opgenomen in GPT‑5 (zowel in de redeneer- als in de chatmodellen). Daarbij hebben we vastgesteld dat de training in veilige afhandeling aanzienlijk betere resultaten oplevert voor zowel de veiligheid als het nut van reacties in vergelijking met de op weigering gebaseerde training. Voor een eerlijke vergelijking met OpenAI o3, rapporteren we de prestaties van GPT‑5 Thinking versus o3.  Bij vergelijkingen van beide productiemodellen en in gecontroleerde experimenten zien we dat veilige afhandelingen met name erg geschikt zijn voor vragen die voor tweeërlei uitleg vatbaar zijn. De onderstaande figuur vergelijkt de veiligheidsscore en de gemiddelde bruikbaarheidsscore voor veilige reacties.

Doordat bij de training in veilige afhandeling niet meer wordt uitgegaan van de binaire beslissing van meewerken/weigeren, worden onze modellen gestimuleerd om conservatiever te kijken naar potentieel onveilige context wanneer ze wel een reactie geven. In onze experimenten zien we dat wanneer een model voor veilige afhandeling wel een fout maakt, de onveilige uitvoer minder ernstig is dan de onveilige uitvoer van een op weigering getraind model.

Het is heel gemakkelijk om nut in te ruilen voor veiligheid: een model dat alles weigert, zal altijd veilig zijn. Maar wij willen dat onze modellen veilig en nuttig zijn. Een centrale uitdaging in ons onderzoek is hoe we die twee doelen tegelijk verbeteren. Bij GPT‑4 ontwikkelden we op regels gebaseerde beloningen⁠ als een manier om een compromis te vinden tussen nut en veiligheid. Bij GPT‑5 gaan we nu nog een stap verder met veilige afhandelingen en maken we gebruik van de toenemende mogelijkheden van AI om deze twee doelen dichter bij elkaar te brengen. We denken dat we met een focus op de veiligheid van modelreacties een solide basis leggen om de toenemende complexiteit van uitdagingen op veiligheidsgebied aan te kunnen. We zijn dan ook van plan om ons onderzoek in deze richting voort te zetten, zodat we het model kunnen leren om moeilijke situaties beter te begrijpen en met meer nuance en zorg te reageren.