De reacties van ChatGPT in gevoelige gesprekken verbeteren

We hebben onlangs het standaardmodel van ChatGPT⁠(opent in een nieuw venster) bijgewerkt om mensen in noodsituaties beter te herkennen en ondersteunen. Vandaag vertellen we hoe we die verbeteringen hebben doorgevoerd en hoe ze presteren. In samenwerking met deskundigen op het gebied van geestelijke gezondheidszorg, die beschikken over praktijkervaring, hebben we het model geleerd om beter te herkennen wanneer iemand in nood verkeert, gesprekken te de-escaleren en mensen waar nodig door te verwijzen naar professionele hulp. We hebben ook de toegang tot crisishulplijnen uitgebreid, gevoelige gesprekken die afkomstig zijn van andere modellen omgeleid⁠(opent in een nieuw venster) naar veiligere modellen, en vriendelijke herinneringen toegevoegd om pauzes te nemen⁠ tijdens lange sessies.

Wij geloven dat ChatGPT een ondersteunende ruimte kan bieden waar mensen hun gevoelens kunnen verwerken en hen kan begeleiden om contact op te nemen met vrienden, familie of een professional in de geestelijke gezondheidszorg wanneer dat nodig is. Onze veiligheidsverbeteringen in de recente modelupdate zijn gericht op de volgende gebieden: 1) psychische gezondheidsproblemen zoals psychose of manie; 2) zelfbeschadiging en zelfmoord; en 3) emotionele afhankelijkheid van AI. In de toekomst zullen we, naast onze bestaande basisveiligheidsmaatstaven voor zelfmoord en zelfbeschadiging, ook emotionele afhankelijkheid en niet-suïcidale noodsituaties op het gebied van geestelijke gezondheid toevoegen aan onze standaardreeks basisveiligheidstests voor toekomstige modelreleases. 

Deze updates breiden onze bestaande principes uit voor hoe modellen zich moeten gedragen, zoals uiteengezet in onze modelspecificatie⁠(opent in een nieuw venster). We hebben de modelspecificatie bijgewerkt om enkele van onze langetermijndoelen explicieter te maken: het model moet de echte relaties van gebruikers ondersteunen en respecteren, ongefundeerde overtuigingen die mogelijk verband houden met mentale of emotionele problemen vermijden, veilig en empathisch reageren op mogelijke tekenen van waanideeën of manie, en meer aandacht besteden aan indirecte signalen van een mogelijk risico op zelfbeschadiging of zelfmoord.

We volgen een proces van vijf stappen om de reacties van ChatGPT in elk prioriteitsdomein te verbeteren: 

• Definieer het probleem - we brengen verschillende soorten potentiële schade in kaart.
• Begin met het meten ervan - we gebruiken tools zoals evaluaties, gegevens uit echte gesprekken en gebruikersonderzoek om te begrijpen waar en hoe risico's ontstaan.
• Valideren van onze aanpak - we beoordelen onze definities en ons beleid met externe deskundigen op het gebied van geestelijke gezondheid en veiligheid.
• Beperk de risico's - we trainen het model na afloop en werken productinterventies bij om onveilige resultaten te verminderen.
• Ga door met meten en herhalen - we controleren of de beperkingen de veiligheid hebben verbeterd en herhalen waar nodig. 

Als onderdeel van dit proces stellen we gedetailleerde handleidingen op (zogenaamde ‘taxonomieën’). Hierin worden de kenmerken van gevoelige gesprekken uitgelegd en beschrijven we wat ideaal en ongewenst modelgedrag is. Zo kunnen we het model leren om beter te reageren en de prestaties ervan voor en na de implementatie bijhouden. Het resultaat is een model dat betrouwbaarder reageert op gebruikers die tekenen van psychose, manie, zelfmoord- en zelfbeschadigingsgedachten of een ongezonde emotionele gehechtheid aan het model vertonen.

Psychische symptomen en emotionele problemen komen overal in de samenleving voor. Door het groeiende aantal gebruikers gaat een deel van de gesprekken op ChatGPT ook over dit soort kwesties. Gesprekken over geestelijke gezondheid die aanleiding geven tot bezorgdheid over de veiligheid, zoals psychoses, manie of zelfmoordgedachten, komen echter uiterst zelden voor. Omdat ze zo zeldzaam zijn, kunnen zelfs kleine verschillen in de manier waarop we ze meten een aanzienlijke invloed hebben op de cijfers die we rapporteren. ¹

De schattingen van de prevalentie in het huidige productieverkeer die we hieronder geven, zijn onze huidige beste schattingen. Deze kunnen aanzienlijk veranderen naarmate we onze taxonomieën verder verfijnen, onze meetmethodologieën volwassener worden en het gedrag van onze gebruikerspopulatie verandert. 

Gezien de zeer lage prevalentie van relevante gesprekken, baseren we ons niet alleen op metingen van het daadwerkelijke gebruik van ChatGPT. We voeren ook gestructureerde tests uit vóór de implementatie (zogenaamde ‘offline evaluaties’). Deze richten zich op bijzonder moeilijke of risicovolle scenario's. Deze evaluaties zijn uitdagend genoeg dat onze modellen er nog niet perfect op presteren: voorbeelden zijn opzettelijk geselecteerd vanwege de grote kans dat ze ongewenste reacties uitlokken. Ze kunnen ons laten zien waar we ons nog kunnen verbeteren en ons helpen om de voortgang nauwkeuriger te meten door ons te richten op moeilijke gevallen in plaats van op typische gevallen, en door reacties te beoordelen op basis van meerdere veiligheidsvoorwaarden. De evaluatieresultaten die in de onderstaande secties worden vermeld, zijn afkomstig van evaluaties die zijn ontworpen om bijna perfecte prestaties niet te ‘verzadigen’. Verder zijn de foutpercentages niet representatief voor het gemiddelde productieverkeer.

Om de beschermingsmaatregelen van onze modellen verder te versterken en inzicht te krijgen in hoe mensen ChatGPT gebruiken, hebben we verschillende aandachtsgebieden gedefinieerd en de omvang en bijbehorende modelgedragingen gekwantificeerd. Op al deze drie gebieden zien we aanzienlijke verbeteringen in het modelgedrag bij productieverkeer, geautomatiseerde evaluaties en evaluaties die zijn beoordeeld door onafhankelijke clinici op het gebied van geestelijke gezondheid. We schatten dat het model nu 65% tot 80% minder vaak reacties geeft die niet volledig overeenkomen met het gewenste gedrag volgens onze taxonomieën voor domeinen die verband houden met geestelijke gezondheid. 

Onze taxonomie voor geestelijke gezondheid is ontworpen om te bepalen wanneer gebruikers tekenen van ernstige geestelijke gezondheidsproblemen vertonen, zoals psychose en manie. Maar ook minder ernstige signalen, zoals geïsoleerde waanideeën. We zijn begonnen met psychose en manie, omdat deze symptomen relatief vaak voorkomen bij psychische noodsituaties en omdat ze, wanneer ze zich voordoen, doorgaans zeer intens en ernstig zijn. Hoewel symptomen zoals depressie relatief vaak voorkomen, werd de meest acute vorm ervan al aangepakt door ons werk op het gebied van zelfmoord- en zelfbeschadigingspreventie. De clinici die we hebben geraadpleegd, hebben onze aandachtsgebieden gevalideerd.  

• We schatten dat de laatste update van GPT‑5 het percentage reacties dat niet volledig voldoet aan het gewenste gedrag volgens onze taxonomieën voor uitdagende gesprekken over geestelijke gezondheidsproblemen met 65% heeft verminderd in het recente productieverkeer. ²
• Hoewel deze gesprekken, zoals hierboven vermeld, moeilijk te detecteren en te meten zijn omdat ze zo zeldzaam zijn, schat onze eerste analyse dat ongeveer 0,07% van de gebruikers die in een bepaalde week actief zijn en 0,01% van de berichten mogelijke tekenen van psychische noodsituaties in verband met psychose of manie vertoont. ³
• Bij uitdagende gesprekken over geestelijke gezondheid ontdekten deskundigen dat het nieuwe GPT‑5‑model (het standaardmodel van ChatGPT) ongewenste reacties met 39% verminderde in vergelijking met GPT‑4o (n=677).
• Op basis van een modelevaluatie van meer dan 1000 uitdagende gesprekken over geestelijke gezondheid, geven onze nieuwe geautomatiseerde evaluaties een score voor het nieuwe GPT‑5‑model van 92% conformiteit met ons gewenste gedrag volgens onze taxonomieën. Bij het vorige GPT‑5‑model lag dat percentage op 27%. Zoals hierboven vermeld, is dit een uitdagende taak die is bedoeld om continue verbetering mogelijk te maken.

We hebben voortgebouwd op ons bestaande werk⁠ op het gebied van zelfmoord- en zelfbeschadigingspreventie om te detecteren wanneer een gebruiker mogelijk aan zelfmoord en zelfbeschadiging denkt of tekenen vertoont die wijzen op interesse in zelfmoord. Omdat deze gesprekken zo zeldzaam zijn, blijft het detecteren van gesprekken met mogelijke aanwijzingen voor zelfbeschadiging of zelfmoord een voortdurend onderzoeksgebied waar we continu aan werken om te verbeteren. 

• We trainen onze modellen om veilig te reageren, onder andere door mensen door te verwijzen naar professionele hulpbronnen zoals crisishulplijnen. In sommige zeldzame gevallen kan het model zich in deze gevoelige situaties niet gedragen zoals bedoeld. Sinds we aanvullende beschermingsmaatregelen en het verbeterde model hebben geïmplementeerd, hebben we een geschatte daling van 65% gezien in het percentage gevallen waarin onze modellen reacties geven die niet volledig voldoen aan het gewenste gedrag volgens onze taxonomieën.
• Hoewel deze gesprekken, zoals hierboven vermeld, moeilijk te detecteren en te meten zijn omdat ze zo zeldzaam zijn, schat onze eerste analyse dat ongeveer 0,15% van de gebruikers die in een bepaalde week actief zijn, gesprekken voert die expliciete aanwijzingen bevatten voor mogelijke zelfmoordplannen of -intenties, en dat 0,05% van de berichten expliciete of impliciete aanwijzingen bevat voor zelfmoordgedachten of -intenties.
• Bij uitdagende gesprekken over zelfbeschadiging en zelfmoord ontdekten deskundigen dat bij het nieuwe GPT‑5‑model het aantal ongewenste antwoorden met 52% was verminderd in vergelijking met GPT‑4o (n=630).
• Op basis van een modelevaluatie van meer dan 1000 uitdagende gesprekken over zelfbeschadiging en zelfmoord, geven onze nieuwe geautomatiseerde evaluaties een score voor het nieuwe GPT‑5‑model van 91% conformiteit met ons gewenste gedrag. Dat percentage lag op 77% bij het vorige GPT‑5‑model.
• We zijn doorgegaan met het verbeteren van de betrouwbaarheid van GPT‑5 bij lange gesprekken. We hebben een nieuwe reeks uitdagende lange gesprekken gecreëerd op basis van scenario's uit de praktijk die zijn geselecteerd vanwege hun grotere kans op mislukking. We schatten dat onze nieuwste modellen een betrouwbaarheid van meer dan 95% behielden bij langere gesprekken, een verbetering in een bijzonder uitdagende omgeving die we eerder hebben genoemd⁠.

Onze taxonomie van emotionele afhankelijkheid (die voortbouwt op ons eerdere werk⁠(opent in een nieuw venster) op dit gebied) maakt onderscheid tussen gezonde betrokkenheid en zorgwekkende gebruikspatronen. Bijvoorbeeld wanneer iemand tekenen vertoont van exclusieve gehechtheid aan het model ten koste van relaties in de echte wereld, zijn of haar welzijn of verplichtingen. 

• We schatten dat de laatste update het percentage modelreacties dat niet volledig voldoet aan het gewenste gedrag volgens onze emotionele afhankelijkheidstaxonomieën met ongeveer 80% heeft verminderd in het recente productieverkeer. 
• Hoewel deze gesprekken, zoals hierboven vermeld, moeilijk te detecteren en te meten zijn omdat ze zo zeldzaam zijn, schat onze eerste analyse dat ongeveer 0,15% van de gebruikers die in een bepaalde week actief zijn en 0,03% van de berichten duidt op een mogelijk verhoogd niveau van emotionele afhankelijkheid van ChatGPT. ³ 
• Bij uitdagende gesprekken die wijzen op emotionele afhankelijkheid, ontdekten deskundigen dat bij het nieuwe GPT‑5‑model het aantal ongewenste antwoorden met 42% was verminderd in vergelijking met 4o (n=507).
• Op basis van een modelevaluatie van meer dan 1000 uitdagende gesprekken die op emotionele afhankelijkheid duiden, geven onze geautomatiseerde evaluaties een score voor het nieuwe GPT‑5‑model van 97% conformiteit met ons gewenste gedrag. Dat percentage lag op 50% bij het vorige GPT‑5‑model.

Voor gesprekken die duiden op emotionele afhankelijkheid, leren we onze modellen om echte connecties aan te moedigen:

Voor gesprekken over waanvoorstellingen leren we onze modellen om veilig en empathisch te reageren, en om ongefundeerde overtuigingen niet te bevestigen:

We hebben een Global Physician Network opgebouwd: een brede pool van bijna 300 artsen en psychologen die in 60 landen hebben gewerkt. We gebruiken dit netwerk om ons veiligheidsonderzoek rechtstreeks te informeren en wereldwijde standpunten te vertegenwoordigen. Meer dan 170 van deze clinici (met name psychiaters, psychologen en huisartsen) hebben ons onderzoek de afgelopen maanden op een of meer van de volgende manieren ondersteund:

• Het schrijven van ideale reacties voor prompts over geestelijke gezondheid
• Het maken van op maat gemaakte, klinisch onderbouwde analyses van modelreacties
• Het beoordelen van de veiligheid van modelreacties van verschillende modellen
• Het geven van hoogwaardige begeleiding en feedback over onze aanpak

In deze beoordelingen hebben clinici opgemerkt dat het nieuwste model beter en consistenter reageert dan eerdere versies. 

Als onderdeel van dit werk hebben psychiaters en psychologen meer dan 1800 modelreacties op ernstige psychische situaties beoordeeld en de reacties van het nieuwe GPT‑5‑chatmodel vergeleken met eerdere modellen. Deze deskundigen constateerden dat het nieuwe model aanzienlijk verbeterd was ten opzichte van GPT‑4o, met een afname van 39-52% in ongewenste reacties in alle categorieën. Deze kwalitatieve feedback sluit aan bij de kwantitatieve verbeteringen die we hebben waargenomen in het productieverkeer sinds het nieuwe model beschikbaar is.

Zoals bij elk complex onderwerp zijn zelfs deskundigen het soms oneens over wat de beste reactie is. We meten deze variatie aan de hand van de interbeoordelaarsovereenstemming: hoe vaak komen deskundigen tot dezelfde conclusie over de vraag of een modelreactie wenselijk of onwenselijk is? Zo kunnen we beter begrijpen waar professionele meningen uiteenlopen en hoe we het gedrag van het model kunnen afstemmen op een gedegen klinisch oordeel. We zien een redelijke interbeoordelaarsbetrouwbaarheid tussen deskundige clinici die modelreacties met betrekking tot geestelijke gezondheid, emotionele afhankelijkheid en zelfmoord beoordelen.Maar we zien in sommige gevallen ook onenigheid tussen deskundigen, met een interbeoordelaarsovereenstemming die varieert van 71% tot 77%.

Net als bij ons werk voor HealthBench⁠ hebben we samen met het Global Physician Network gerichte evaluaties gemaakt die we intern gebruiken om de prestaties van modellen in de context van geestelijke gezondheid te beoordelen, ook bij nieuwe modellen voordat ze worden uitgebracht. 

Dit werk is voor ons van groot belang. We zijn de vele deskundigen op het gebied van geestelijke gezondheidszorg over de hele wereld die ons hierbij blijven begeleiden zeer dankbaar. We hebben aanzienlijke vooruitgang geboekt, maar er is nog veel te doen. We blijven zowel onze taxonomieën als de technische systemen verder ontwikkelen die we gebruiken om modelgedrag op deze en toekomstige gebieden te meten en te versterken. Omdat deze tools in de loop van de tijd evolueren, zijn toekomstige metingen mogelijk niet direct vergelijkbaar met eerdere metingen. Maar ze blijven een belangrijk middel om onze koers en voortgang bij te houden.

Je kunt meer lezen over dit werk in een aanvulling⁠ bij de GPT‑5‑systeemkaart.