Hilfestellung für Menschen, wenn sie sie am dringendsten benötigen

Mit dem weltweiten Anstieg der Nutzung von ChatGPT stellen wir fest, dass Menschen es nicht nur für Such-, Coding- und Schreibzwecke verwenden, sondern auch für sehr persönliche Entscheidungen wie Lebensratschläge⁠(wird in einem neuen Fenster geöffnet), Coaching⁠(wird in einem neuen Fenster geöffnet)und allgemeine Unterstützung⁠(wird in einem neuen Fenster geöffnet).

In diesem Rahmen begegnen wir gelegentlich Menschen, die sich in einer ernsthaften mentalen Notsituation befinden. Wir hatten dazu bereits vor einigen Wochen einen Beitrag veröffentlicht wollten in unserem nächsten großen Update mehr dazu schreiben. Die jüngsten Beispiele von Menschen, die ChatGPT inmitten akuter Krisen nutzen, gehen uns jedoch sehr nah, weshalb wir uns entschlossen haben, bereits jetzt Stellung zu beziehen.

Wir möchten natürlich, dass unsere Tools für Menschen so hilfreich wie möglich sind. Deshalb arbeiten wir unaufhörlich daran, wie unsere Modelle Anzeichen von psychischer und emotionaler Belastung erkennen und darauf reagieren und wie wir Menschen mithilfe von Expertenwissen an die richtigen Kontaktstellen weiterleiten.

Während sich die Welt an diese neue Technologie gewöhnt, fühlen wir uns zutiefst verpflichtet, jenen zu helfen, die diese Hilfe am meisten brauchen. Wir möchten erklären, wofür ChatGPT entwickelt wurde, wo unsere Systeme noch verbessert werden können und welche Pläne wir für die Zukunft haben.

Unser Ziel besteht nicht darin, die Aufmerksamkeit der Menschen zu fesseln. Wir messen Erfolg nicht anhand der aufgewendeten Zeit oder Klicks – uns ist es wichtig, echte Hilfe zu leisten. Wenn aus einem Gespräch hervorgeht, dass jemand verletzlich ist und einem Risiko ausgesetzt sein könnte, haben wir in ChatGPT mehrere Sicherheitsvorkehrungen eingebaut.

Erkennen und mit Empathie reagieren.

Seit Anfang 2023 werden unsere Modelle darauf trainiert, keine Hinweise zur Selbstverletzung zu geben und stattdessen eine unterstützende, empathische Sprache zu verwenden. Wenn eine Person zum Beispiel schreibt, dass sie sich selbst verletzen möchte, ist ChatGPT darauf trainiert, nicht darauf einzugehen, sondern stattdessen ihre Gefühle anzuerkennen und sie in Richtung Hilfe zu lenken.

Zudem werden gemäß unserer Strategie der gestaffelten Verteidigung Antworten, die gegen das Sicherheitstraining unserer Modelle verstoßen (wie von unseren Klassifizierern identifiziert), automatisch blockiert. Außerdem gilt ein stärkerer Schutz für Minderjährige sowie die Nutzung im abgemeldeten Zustand. Auch Bild-Output mit Selbstverletzungen wird für alle gesperrt, insbesondere für minderjährige Benutzer.

Während ungewöhnlich langer Sitzungen fordert ChatGPT die Benutzer auf, eine Pause einzulegen.

Menschen an reale Ressourcen weiterleiten.

Wenn jemand Selbstmordabsichten äußert, ist ChatGPT darauf trainiert, die betroffene Person anzuleiten, sich an professionelle Hilfe zu wenden. In den USA verweist ChatGPT Menschen an 988 (Selbstmord- und Krisenhotline), im Vereinigten Königreich auf die Samariter und anderswo an findahelpline.com⁠(wird in einem neuen Fenster geöffnet). Diese Logik ist in das Modellverhalten integriert.

Wir arbeiten eng mit über 90 Ärzten – darunter Psychiater, Kinderärzte und Allgemeinmediziner – in mehr als 30 Ländern zusammen und stellen eine Beratungsgruppe aus Experten für psychische Gesundheit, Jugendentwicklung und Mensch-Computer-Interaktion zusammen, um sicherzustellen, dass unser Ansatz den neuesten Forschungsergebnissen und bewährten Verfahren entspricht.

Weiterleitung an Menschen bei Androhung physischer Gewalt.

Wenn wir feststellen, dass Benutzer anderen Schaden zufügen möchten, leiten wir ihre Gespräche an spezielle Pipelines weiter, wo diese von einem kleinen Team überprüft werden, das gemäß unseren Nutzungsrichtlinien trainiert und befugt ist, Maßnahmen zu ergreifen, einschließlich der Sperrung von Konten. Wenn menschliche Prüfer feststellen, dass in einem Fall eine unmittelbare Gefahr schwerer körperlicher Schäden für andere besteht, können wir diesen an die Strafverfolgungsbehörden weiterleiten. Angesichts der einmaligen privaten Natur der ChatGPT‑Interaktionen leiten wir Fälle von Selbstverletzung aktuell nicht an die Strafverfolgungsbehörden weiter, um die Privatsphäre der Menschen zu respektieren.

Wir verbessern die Reaktion unserer Modelle bei sensiblen Interaktionen fortlaufend und arbeiten derzeit an gezielten Sicherheitsverbesserungen in mehreren Bereichen, darunter emotionale Abhängigkeit, psychische Notfälle und übertriebene Zustimmung.

Im August haben wir GPT‑5 als Standardmodell für ChatGPT eingeführt. Insgesamt zeigte GPT‑5 im Vergleich zu 4o bedeutende Verbesserungen in Bereichen wie der Vermeidung eines ungesunden Maßes an emotionaler Abhängigkeit, der Reduzierung von übertriebener Zustimmung und der Senkung der Prävalenz nicht idealer Modellreaktionen bei mentalen Krisen um mehr als 25 %. Für GPT‑5 haben außerdem wir mit sicheren Abschlüssen („safe completions“) eine neue Form des Sicherheitstrainings eingeführt. Dabei wird das Modell darin geschult, möglichst hilfreiche Antworten zu geben und dennoch innerhalb der Sicherheitsgrenzen zu bleiben. Das bedeutet möglicherweise eine allgemeine oder eine Teilantwort, statt eine mit Details, die potenziell gefährlich sind.

Sogar mit diesen Sicherheitsmaßnahmen gab es Momente, in denen sich unsere Systeme in sensiblen Situationen nicht wie vorgesehen verhielten. Dies sind einige der Dinge, die wir verbessern möchten.

Stärkere Sicherheitsvorkehrungen bei langen Gesprächen.

Unsere Sicherheitsvorkehrungen sind effektiver bei kurzen Gesprächen mit gewöhnlichem Inhalt. Im Laufe der Zeit haben wir erkannt, dass die Zuverlässigkeit dieser Sicherheitsvorkehrungen bei längeren Interaktionen manchmal nachlässt: Mit zunehmendem Austausch kann es dazu kommen, dass Teile des Sicherheitstrainings des Modells abbauen. Zum Beispiel kann ChatGPT bei der ersten Äußerung einer Selbstmordabsicht korrekt auf eine Selbstmord-Hotline verweisen, doch nach vielen Nachrichten über einen langen Zeitraum hinweg kann es zu Antworten kommen, die gegen unsere Sicherheitsvorkehrungen verstoßen. Genau diese Art von Ausfällen möchten wir verhindern. Wir verstärken diese Schutzmaßnahmen, damit sie auch bei langen Gesprächen zuverlässig bleiben. Gleichzeitig erforschen wir Möglichkeiten, um ein robustes Verhalten über mehrere Gespräche hinweg zu gewährleisten. So kann das Modell trotzdem noch angemessen reagieren, wenn jemand in einem Chat Selbstmordabsichten äußert und später einen weiteren startet.

Präziseres Sperren von Inhalten.

Es ist vorgekommen, dass Inhalte, die hätten blockiert werden sollen, nicht blockiert wurden. Diese Lücken entstehen in der Regel, weil der Klassifizierer den Schweregrad des Gesehenen unterschätzt. Wir arbeiten an diesen Schwellenwerten, damit der Schutz zum richtigen Zeitpunkt ausgelöst wird.

Unsere oberste Priorität besteht darin, sicherzustellen, dass ChatGPT einen schwierigen Moment nicht noch weiter verschlimmert.

Die Arbeit endet nicht mit der Lösung der oben beschriebenen Probleme. Wir planen außerdem Folgendes: 

Mehr Menschen in Krisensituationen durch Intervention zu unterstützen.

Während unsere Erstmaßnahmen auf akute Selbstverletzungen ausgerichtet waren, erleben manche Menschen auch andere Formen mentaler Belastung. Zum Beispiel könnte jemand dem Modell begeistert mitteilen, dass er das Gefühl hat, rund um die Uhr Auto fahren zu können, weil er sich nach zwei Nächten ohne Schlaf für unbesiegbar hält. Heute würde ChatGPT dies möglicherweise nicht als gefährlich erkennen oder es für ein Spiel halten und durch neugieriges Erkunden unbewusst verstärken.

Wir arbeiten an einem Update für GPT‑5, damit ChatGPT Situationen entschärfen kann, indem der Realitätsbezug der Person gewahrt wird. In diesem Beispiel würde das Tool erklären, dass Schlafentzug gefährlich ist und unbedingt Ruhe empfehlen.

Zugriff auf Notdienste und Expertenhilfe noch stärker erleichtern.

Wenn Menschen heute die Absicht äußern, sich selbst zu verletzen, fordern wir sie auf, sich Hilfe zu suchen, und verweisen sie auf reale Ressourcen. Wir haben mit der Lokalisierung von Ressourcen in den USA und Europa begonnen und planen eine Expansion in andere globale Märkte. Zudem verbessern wir die Zugänglichkeit durch den Ein-Klick-Zugriff auf Notdienste.

Wir erkunden Möglichkeiten, früher einzugreifen und Menschen mit zertifizierten Therapeuten in Kontakt zu bringen, bevor sie in eine akute Krise geraten. Das bedeutet, dass wir über Krisen-Hotlines hinausgehen und überlegen müssen, wie wir ein Netzwerk aus lizenzierten Fachleuten aufbauen können, das für Menschen direkt über ChatGPT erreichbar ist. Dafür braucht es Zeit und ein sorgfältiges Vorgehen.

Verbindung zu vertrauenswürdigen Kontakten ermöglichen.

Zusätzlich zu den Notdiensten erkunden wir Möglichkeiten, den Menschen die Kontaktaufnahme mit ihren Nächsten zu erleichtern. Dies könnte zum Beispiel Ein-Klick-Nachrichten oder Anrufe an gespeicherte Notfallkontakte, Freunde oder Familienmitglieder mit Sprachvorschlägen umfassen, um den Gesprächsbeginn zu erleichtern.

Wir denken außerdem an Funktionen, die es Benutzern ermöglichen würden, in besonders schweren Fällen ChatGPT zu erlauben, in ihrem Namen mit bestimmten Stellen Kontakt aufzunehmen.

Stärkerer Schutz für Jugendliche.

In der Vergangenheit haben wir für alle unsere Benutzer ein einziges ideales Modellverhalten festgelegt. Mit dem Wachstum von ChatGPT haben wir begonnen, zusätzliche Schutzmaßnahmen für Benutzer unter 18 Jahren hinzuzufügen. Wir entwickeln und implementieren kontinuierlich Sicherheitsvorkehrungen, die den einzigartigen Entwicklungsbedürfnissen von jungen Menschen gerecht werden und strengere Schutzmaßnahmen für sensible Inhalte und riskantes Verhalten vorsehen.

In Kürze planen wir die Einführung einer Kindersicherung, die Eltern die Möglichkeit gibt, die Nutzung von ChatGPT durch ihre Teenager besser zu überwachen und mitzugestalten. Wir prüfen außerdem die Möglichkeit für Jugendliche, unter Aufsicht ihrer Eltern einen vertrauenswürdigen Notfallkontakt zu benennen. So kann ChatGPT in akuten Krisenmomenten mehr tun, als nur auf Ressourcen hinzuweisen: Es kann dabei helfen, Jugendliche direkt mit jemandem zu in Kontakt zu bringen, der eingreifen kann.

Wir wissen ganz genau, dass Schutzmaßnahmen dann am wirksamsten sind, wenn jedes Element wie vorgesehen funktioniert. Wir werden uns aus Verantwortung gegenüber den Menschen, die unsere Tools verwenden unter Anleitung von Experten immer weiter verbessern – und wir hoffen, dass andere sich uns anschließen und dazu beitragen, dass diese Technologie die Menschen in ihren verletzlichsten Augenblicken schützt.