Hjälpa människor när de behöver det mest

I takt med att användningen av ChatGPT har ökat globalt har vi sett att människor inte enbart använder sig av verktyget för att söka, koda och skriva – utan också för djupt personliga beslut som livsråd⁠(öppnas i ett nytt fönster), handledning⁠(öppnas i ett nytt fönster) och support⁠(öppnas i ett nytt fönster).

Med denna omfattande användning möter vi ibland människor med allvarlig psykisk ohälsa och känslomässiga problem. Vi skrev om detta för några veckor sedan och hade planerat att komma med mer information efter vår nästa stora uppdatering. De tragiska fall som det rapporterats om på senare tid, där människor använt ChatGPT i samband med akuta kriser, påverkar oss dock starkt. Därför tror vi att det är viktigt att informera om detta nu.

Vårt mål är att våra verktyg ska vara till så stor hjälp som möjligt för människor – och som ett led i detta arbete fortsätter vi att förbättra hur våra modeller känner igen och svarar på tecken på psykisk ohälsa och känslomässiga problem genom att sätta användarna i kontakt med omsorgsresurser, under vägledning av experter.

Samtidigt som världen anpassar sig till den nya tekniken känner vi ett stort ansvar att hjälpa dem med störst behov. Vi vill förklara hur ChatGPT är avsett att fungera, hur våra system kan förbättras och vilka åtgärder vi planerar inför framtiden.

Vårt mål är inte att behålla människors uppmärksamhet. Vi mäter inte framgång genom användningstid och antal klick, utan bryr oss mer om att vara hjälpsamma på riktigt. När det i ett samtal finns tecken på att någon är sårbar och kan befinna sig i en riskzon har vi byggt in en stack av skyddsåtgärder i flera nivåer i ChatGPT.

Känna igen och svara med empati.

Sedan början av 2023 har våra modeller tränats så att de inte tillhandahåller instruktioner för självskadebeteenden, utan går över till att använda stödjande, empatiska formuleringar. Om någon exempelvis skriver att de vill skada sig själv är ChatGPT tränad att inte följa instruktionerna, utan känner istället igen känslorna och hänvisar personen till platser där han/hon kan få hjälp.

Dessutom blockeras automatiskt svar som inte överensstämmer med våra modellers säkerhetsträning och som identifieras av våra klassificerare – i enlighet med vår strategi för djupgående försvarsmetoder. Vi har också starkare skydd för minderåriga och utloggade användare. Bildutdata med självskadebeteende blockeras också för alla, med starkare skydd för minderåriga.

Under mycket långa sessioner uppmanar ChatGPT användaren att ta en paus.

Hänvisning till resurser i verkligheten.

Om någon uttrycker att de har för avsikt att begå självmord är ChatGPT tränad att uppmana användaren att söka professionell hjälp. I USA hänvisar ChatGPT användare till 988 (en hjälplinje för självmords- och krissituationer), i Storbritannien till Samaritans och i andra länder till findahelpline.com⁠(öppnas i ett nytt fönster). Den här logiken är inbyggd i modellens beteende.

Vi har ett nära samarbete med drygt 90 läkare i mer än 30 länder – psykiatriker, barnläkare och allmänläkare – och vi arbetar med en rådgivande grupp med experter på psykisk hälsa, ungdomars utveckling och samspel mellan människa och dator för att säkerställa att vår strategi återspeglar den senaste forskningen och bästa praxis.

Eskalering av risken för fysisk skada till andra för mänsklig granskning.

När vi identifierar användare som planerar att skada sig själva styr vi deras samtal till specialiserade pipelines där de granskas av ett litet team som är utbildade i våra användningspolicyer och som har befogenhet att vidta åtgärder, däribland stänga av konton. Om mänskliga granskare fastställer att ett ärende gäller ett omedelbart hot om allvarlig fysisk skada mot andra kan vi skicka det vidare till rättsliga instanser. Idag vidarebefordrar vi inte fall av självskadebeteende till rättsväsendet av respekt för människors integritet, givet att interaktioner med ChatGPT är privata till sin natur.

Vi förbättrar hela tiden hur våra modeller svarar på känsliga interaktioner och arbetar för närvarande på riktade säkerhetsförbättringar på flera områden, inklusive känslomässig tillit, akutsituationer kopplade till psykisk hälsa och inställsamhet.

I augusti lanserade vi GPT‑5 som den standardmodell som driver ChatGPT. Sammantaget har GPT‑5 gett prov på meningsfulla förbättringar på områden som undvikande av ohälsosamma nivåer av känslomässig tillit, minskad inställsamhet och minskad förekomst av olämpliga modellsvar vad gäller akutsituationer kopplade till psykisk ohälsa. Förbättringen är drygt 25 procent jämfört med 4o. GPT‑5 bygger också på en ny säkerhetsträningsmetod kallad ”safe completions”, som lär modellen att vara så hjälpsam som möjligt samtidigt som den håller sig inom givna säkerhetsgränser. Det kan innebära att GPT‑5 ger ett delsvar eller ett övergripande svar istället för detaljerade svar som skulle kunna vara farliga.

Också med de här skyddsåtgärderna har det inträffat att våra system inte agerade som avsett i känsliga situationer. Här är några av de punkter som vi arbetar med att förbättra.

Förstärkta skyddsåtgärder i långa samtal.

Våra skyddsåtgärder fungerar mer tillförlitligt i vanliga, korta utbyten. Med tiden har vi lärt oss att de här skyddsåtgärderna ibland kan vara mindre tillförlitliga i långa interaktioner: allt eftersom dialogen växer kan modellens säkerhetsträning försvagas. ChatGPT kan exempelvis hänvisa på ett korrekt sätt till en självmordshjälplinje när en person nämner en sådan avsikt första gången, men efter många meddelanden under en lång tidsperiod kan verktyget så småningom ge ett svar som inte överensstämmer med våra skyddsåtgärder. Det är precis den här sortens misslyckanden som vi arbetar för att förebygga. Vi stärker de här åtgärderna så att de är fortsatt tillförlitliga under långa samtal och vi undersöker olika sätt att säkerställa ett robust beteende i alla samtal. På så sätt kan modellen fortfarande svara på lämpligt sätt om någon uttrycker en självmordsavsikt i en chatt och senare startar en ny chatt.

Finjustering av hur vi blockerar innehåll.

Vi har sett vissa fall där innehåll som borde ha blockerats inte blockerades. De här luckorna uppstår normalt på grund av att klassificeraren underskattar allvarlighetsgraden hos det som observeras. Vi justerar dessa tröskelvärden så att skyddsåtgärderna löser ut när de ska göra det.

Vår främsta prioritet är att säkerställa att ChatGPT inte förvärrar en redan svår situation.

Arbetet är inte klart när vi har åtgärdat det som nämns ovan. Vi planerar också för följande: 

Fler ingripande som omfattar fler människor i kris.

De åtgärder vi fokuserade på inledningsvis prioriterade akut självskadebeteende, men det finns också människor som upplever andra former av psykisk ohälsa. Exempelvis kan en användare entusiastiskt berätta för modellen att de kan köra bil i flera dygn, eftersom personen tycker att han/hon är i toppform efter två sömnlösa nätter. Idag känner ChatGPT kanske inte igen detta som ett farligt beteende eller drar slutsatsen att det handlar om lek och kan subtilt förstärka agerandet genom att nyfiket utforska det.

Vi arbetar med en uppdatering av GPT‑5 som kommer att göra att ChatGPT skruvar ned intensiteten i situationen genom att förankra personen i verkligheten. I det aktuella exemplet skulle ChatGPT förklara att sömnbrist är farligt och rekommendera att man vilar innan man gör något annat.

Göra det ännu enklare att nå hjälptjänster i nödsituationer och få hjälp från experter.

När människor uttrycker en avsikt att skada sig själva uppmuntrar vi dem att söka hjälp och hänvisar dem till resurser i verkligheten. Vi har börjat lokalisera resurser i USA och Europa och vi planerar att expandera till andra globala marknader. Vi kommer också att öka tillgängligheten genom åtkomst med ett enda klick till hjälptjänster i nödsituationer.

Vi undersöker hur vi kan ingripa tidigare och sätta människor i kontakt med certifierade terapeuter innan de befinner sig i en akut kris. Det handlar om att erbjuda fler resurser än hjälplinjer i krissituationer och vi tittar på hur vi kan bygga ett nätverk av licensierade yrkespersoner som kan kontaktas direkt via ChatGPT. Det kommer ta tid och kräver ett omsorgsfullt arbete för att allt ska bli rätt.

Etablera sätt att vända sig till betrodda kontaktpersoner.

Utöver hjälptjänster i nödsituationer undersöker vi olika sätt att göra det enklare för människor att kontakta anhöriga. Det kan handla om meddelanden eller samtal som aktiveras genom ett enda klick till sparade kontakter, vänner eller familjemedlemmar med formuleringsförslag som gör det mindre skrämmande att inleda samtalet.

Vi tittar också på funktioner som skulle göra det möjligt för användare att välja att ChatGPT ska kontakta en utsedd kontaktperson för deras räkning i allvarliga situationer.

Stärkt skydd för tonåringar.

Tidigare specificerade vi ett perfekt modellbeteende för alla våra användare. I takt med att ChatGPT växte började vi lägga till ytterligare skyddsåtgärder när vi vet att användaren är yngre än 18 år. Vi fortsätter att utveckla och implementera skyddsåtgärder som tar hänsyn till tonåringars unika utvecklingsbehov, med starkare skyddsräcken runt känsligt innehåll och riskfyllda beteenden.

Snart kommer vi också att införa föräldrainställningar som ger föräldrar möjlighet att få ökad insyn i och bestämma hur deras tonåringar använder ChatGPT. Vi undersöker också om vi kan göra det möjligt för tonåringar (under tillsyn av föräldrar) att utse en betrodd kontaktperson i nödsituationer. På så sätt kan ChatGPT i akuta nödsituationer göra mer än att bara hänvisa till olika resurser: verktyget kan också sätta tonåringarna i direktkontakt med någon som kan gå in och hjälpa till.

Vi är väl medvetna om att skyddsåtgärder är som starkast när alla komponenter fungerar som de ska. Vi kommer att fortsätta att införa förbättringar, under vägledning av experter och grundade i ett ansvar gentemot de människor som använder våra verktyg. Vi hoppas att andra också kommer att bidra till att säkerställa att den här tekniken skyddar människor när de är som mest utsatta.