Når ChatGPT‑bruk har økt på verdensbasis, har vi sett at folk ikke bare bruker den til søk, koding og skriving, men også dypt personlige avgjørelser som inkluderer livsråd(åpnes i et nytt vindu), veiledning(åpnes i et nytt vindu) og støtte(åpnes i et nytt vindu).
I denne skalaen møter vi noen ganger på folk i alvorlig mental eller emosjonell nød. Vi skrev om dette for noen uker siden, og hadde planer om å dele mer etter den neste store oppdateringen vår. Men nylige hjerteskjærende tilfeller med folk som bruker ChatGPT midt i akutte kriser, er tunge for oss, og vi mener at det er viktig å dele mer nå.
Målet for verktøyene våre er å være så nyttige som mulig for folk, og som en del av dette fortsetter vi å forbedre hvordan modellene våre gjenkjenner og svarer på tegn på mental og emosjonell nød, og setter folk i kontakt med omsorg, veiledet av innspill fra eksperter.
Når verden tilpasser seg etter denne nye teknologien, føler vi et dypt ansvar for å hjelpe de som trenger den mest. Vi vil forklare hva ChatGPT er designet til å gjøre, hvor systemet vårt kan forbedres, og fremtiden vi planlegger.
Målet vårt er ikke å holde oppmerksomheten til folk. I stedet for å måle suksess med tid brukt eller klikk, bryr vi oss mer om å faktisk være nyttig. Når en samtale antyder at noen er sårbare og kan være i risiko, har vi bygget en stabel med beskyttelser i lag i ChatGPT.
Anerkjenn og svar med empati.
Siden tidlig 2023 har modellene våre vært opplært til å ikke gi instruksjoner til selvskade og til å bytte til støttende, empatisk språk. Hvis noen for eksempel skriver at de vil skade seg selv, er ChatGPT opplært til å ikke gi etter og i stedet anerkjenne følelsene og styre vedkommende mot hjelp.
I tillegg, i tråd med tilnærmelsen vår for forsvar i dybde, blir svar som er i strid med sikkerhetsopplæringen til modellene våre, som er identifisert av klassifikatorene våre, automatisk blokkert med sterkere beskyttelse for mindreårige og avloggede brukere. Bildeutdata med selvskading er også blokkert for alle, med sterkere beskyttelse for mindreårige.
Under veldig lange økter ber ChatGPT folk ta en pause.
Henvis folk til ressurser i den virkelige verdenen.
Hvis noen uttrykker selvmordstanker, er ChatGPT opplært til å be folk oppsøke profesjonell hjelp. I USA henviser ChatGPT folk til 988 (selvmords- og krisehjelpelinje), i Storbritannia til Samaritans og andre steder til findahelpline.com(åpnes i et nytt vindu). Denne logikken er innebygd i modellatferd.
Vi jobber tett med mer enn 90 leger fra over enn 30 land, psykiatere, barneleger og allmennpraktikere, og vi samler en rådgivende gruppe med eksperter innen mental helse, ungdomsutvikling og samhandling mellom mennesker og datamaskiner for å sikre at tilnærmelsen vår gjenspeiler den nyeste forskningen og god praksis.
Eskalere risiko for fysisk skade av andre til menneskelig gjennomgang.
Når vi oppdager brukere som planlegger å skade andre, omdirigerer vi samtalene deres til spesialiserte prosesser der de blir gjennomgått av et lite team. Teamet er opplært innen retningslinjene for bruk, og autorisert til å iverksette tiltak, inkludert utestengelse av kontoer. Hvis menneskelige evaluerere fastslår at et tilfelle involverer en umiddelbar trussel for alvorlig fysisk skade av andre, kan vi henvise det til politiet. Vi henviser foreløpig ikke tilfeller av selvskading til politiet, for å respektere personvernet til folk, gitt ChatGPT‑samtalenes unikt private natur.
Vi forbedrer kontinuerlig hvordan modellene våre svarer på sensitive samhandlinger, og jobber med målrettede sikkerhetsforbedringer mellom flere områder, inkludert emosjonell avhengighet, kriser innen mental helse og sykofanti.
I august lanserte vi GPT‑5 som standardmodellen som driver ChatGPT. Generelt sett har GPT‑5 vist betydelige forbedringer innen områder som å unngå usunne nivåer av emosjonell avhengighet, redusert sykofanti og reduksjon av forekomsten av ikke-ideelle modellsvar på kriser innen mental helse med mer enn 25 % sammenlignet med 4o. GPT‑5 bygger også på en ny metode innen sikkerhetsopplæring som kalles trygge svar, som lærer modellen å være så nyttig som mulig mens den holder seg innenfor sikkerhetsgrensene. Det kan bety å gi delvis svar eller svar på høyt nivå i stedet for detaljer som kan være usikre.
Selv med disse beskyttelsene har det vært øyeblikk der systemene våre ikke oppførte seg som de skulle i sensitive situasjoner. Her er noen av tingene vi jobber med å forbedre.
Styrke beskyttelse i lange samtaler.
Beskyttelsene våre fungerer mer pålitelig i vanlige, korte utvekslinger. Vi har lært at over tid kan disse beskyttelsene noen ganger være mindre pålitelige i lange samhandlinger: når dialogen blir større, kan deler av modellens sikkerhetsopplæring svekkes. ChatGPT kan for eksempel henvende til en hjelpelinje for selvmord første gang noen nevner hensikt, men etter mange meldinger over en lang periode, kan den til slutt gi et svar som er i strid med beskyttelsen. Det er nøyaktig den typen feil vi jobber med å forhindre. Vi styrker disse tiltakene, slik at de forblir pålitelige i lange samtaler, og vi forsker på metoder for å sikre robust atferd over flere samtaler. På den måten, hvis noen uttrykker selvmordstanker i én chat og senere starter en annen, kan modellen fremdeles svare på riktig måte.
Finjustering av hvordan vi blokkerer innhold.
Vi har sett noen tilfeller der innhold som skulle ha blitt blokkert, ikke ble det. Disse hullene skjer vanligvis fordi klassifikatoren undervurderer alvorligheten av det den ser. Vi justerer de tersklene, slik at beskyttelse utløses når den skal.
Den høyeste prioriteten vår er å sikre at ChatGPT ikke gjør et vanskelig øyeblikk verre.
Arbeidet stopper ikke med å fikse det ovennevnte. Vi planlegger også følgende:
Utvidelse av tiltak til flere personer i krise.
Selv om de første tiltakene våre prioriterer akutt selvskade, opplever noen personer andre typer mental nød. Noen kan for eksempel entusiastisk fortelle modellen at de kan kjøre døgnet rundt fordi de er uovervinnelige, etter å ikke ha sover på to netter. CharGPT gjenkjenner ikke nødenvigvis dette som farlig, eller tolker det som lek, og kan tendere til å forsterke det ved nysgjerrig utforskning.
Vi jobber med en oppdatering av GPT‑5 som gjør at ChatGPT deeskalerer ved å holde føttene plantet på jorden. I dette eksemplet hadde den forklart at søvnmangel er farlig, og anbefalt hvile før noe blir gjort.
Gjør det enda enklere å kontakte nødtjenester og få hjelp fra eksperter.
I dag, når folk uttrykker hensikt om å skade seg selv, oppmuntrer vi dem til å oppsøke hjelp og henviser til ressurser i den virkelige verdenen. Vi har begynt å lokalisere ressurser i USA og Europa, og vi planlegger å utvide til andre globale markeder. Vi øker også tilgjengeligheten med ettklikkstilgang til nødtjenester.
Vi utforsker hvordan vi kan gripe inn tidligere og sette folk i kontakt med sertifiserte terapeuter før de er i en akutt krise. Det betyr å gå utover krisehjelpelinjer og vurdere hvordan vi kan bygge et nettverk med lisensierte fagfolk som folk kan kontakte direkte via ChatGPT. Det kommer til å ta tid og nøye arbeid for å få dette riktig.
Muliggjøre tilkoblinger til betrodde kontakter.
I tillegg til nødtjenester utforsker vi metoder for å gjøre det enklere for folk å kontakte deres nærmeste. Dette kan inkludere ettklikksmeldinger eller -anrop til lagrede nødkontakter, venner eller familiemedlemmer med foreslått språk for å gjøre det mindre overveldende å starte samtalen.
Vi vurderer også funksjoner som lar folk velge at ChatGPT kontakter en utpekt kontakt på deres vegne i alvorlige tilfeller.
Styrke beskyttelse for tenåringer.
Historisk sett har vi spesifisert en enkelt ideell modellatferd for alle brukerne våre. Da ChatGPT vokste, begynte vi å legge til ekstra beskyttelse når vi vet at brukeren er under 18 år. Vi fortsetter å utvikle og lansere beskyttelser som anerkjenner tenåringers unike utviklingsbehov, med sterkere beskyttelse for sensitivt innhold og risikabel atferd.
Vi kommer snart også til å introdusere foreldrekontroll som gir foreldre muligheten til å få mer innsikt i og forme hvordan tenåringene deres bruker ChatGPT. Vi utforsker også å gjøre det mulig for tenåringer (med foreldretilsyn) å utpeke en betrodd nødkontakt. På den måten, i øyeblikk med akutt nød, kan ChatGPT gjøre mer enn å henvise til ressurser: den kan hjelpe med å knytte tenåringer direkte til noen som kan gripe inn.
Vi er dypt klar over at beskyttelser er sterkest når hvert element fungerer som det skal. Vi kommer til å jobbe videre med forbedringer, veiledet av eksperter og basert på ansvar til personene som bruker verktøyene våre, og vi håper at andre kommer til å bidra til å sørge for at denne teknologien beskytter folk på sitt mest sårbare.
