Wzmocnienie odpowiedzi ChatGPT w konwersacjach na wrażliwe tematy

Zaktualizowaliśmy ostatnio domyślny model ChatGPT⁠(otwiera nowe okno) tak, aby lepiej rozpoznawał oznaki problemów psychicznych i udzielał wsparcia użytkownikom. Dzisiaj chcemy opowiedzieć o tym, jak wprowadziliśmy te poprawki i jak sprawdzają się w praktyce. Razem z doświadczonymi specjalistami z zakresu zdrowia psychicznego nauczyliśmy model, jak lepiej rozpoznawać objawy problemów psychicznych, łagodzić konwersacje i, jeśli zajdzie taka potrzeba, kierować użytkowników do źródeł fachowego wsparcia. Rozszerzyliśmy dostępność kryzysowych infolinii, przekierowaliśmy⁠(otwiera nowe okno) obsługę konwersacji na wrażliwe tematy z innych modeli do bezpieczniejszych odpowiedników i dodaliśmy delikatne przypomnienia o konieczności robienia przerw⁠ podczas długotrwałych sesji.

Uważamy, że ChatGPT może zapewniać bezpieczną przestrzeń dla osób pragnących omówić swoje odczucia i, jeśli to konieczne, sugerować im zwrócenie się o pomoc do przyjaciół, rodziny lub specjalistów w zakresie zdrowia psychicznego. Nasze poprawki bezpieczeństwa wprowadzone w najnowszej aktualizacji modelu koncentrowały się na następujących obszarach: 1) objawy zaburzeń psychicznych takich jak psychoza lub mania; 2) samookaleczenie i samobójstwo; i 3) emocjonalna zależność od AI. Obok już ugruntowanych bazowych wskaźników bezpieczeństwa dotyczących samobójstwa i samookaleczenia, przyszłe wersje naszych modeli będą wyposażone w zabezpieczenia nastawione na zależność emocjonalną i kryzysy psychiczne bez myśli samobójczych. 

Omawiane aktualizacje bazują na naszych obecnych zasadach dotyczących pożądanych zachowań modeli, które opisuje nasza Specyfikacja modeli⁠(otwiera nowe okno). Zaktualizowaliśmy treść Specyfikacji modeli, aby podkreślić niektóre z naszych długofalowych celów: aby model wspierał relacje użytkownika w prawdziwym świecie, unikał afirmowania bezpodstawnych przekonań mogących potencjalnie być wynikiem zaburzeń psychicznych lub emocjonalnych, udzielał bezpiecznych i nacechowanych empatią odpowiedzi na potencjalne objawy urojeń lub manii i zwracał większą uwagę na pośrednie oznaki potencjalnych zagrożeń związanych z samobójstwem lub samookaleczeniem.

Odpowiedzi ChatGPT w każdym ze wspomnianych obszarów priorytetowych ulepszamy w ramach procesu obejmującego pięć etapów: 

• Zdefiniowanie problemu — określamy różnorodne kategorie potencjalnych szkód.
• Rozpoczęcie pomiarów — wykorzystujemy narzędzia takie jak oceny, dane z konwersacji prowadzonych w prawdziwym świecie i badania użytkowników, aby lepiej zrozumieć, gdzie i w jaki sposób mogą pojawiać się zagrożenia.
• Walidacja przyjętego podejścia — omawiamy nasze definicje i zasady z zewnętrznymi ekspertami w zakresie zdrowia psychicznego i bezpieczeństwa.
• Ograniczenie zagrożeń — przeprowadzamy trening uzupełniający modeli i aktualizujemy interwencje produktowe, aby ograniczyć występowanie niebezpiecznych wyników.
• Kontynuacja pomiarów i iteracje — sprawdzamy, czy podjęte kroki poprawiły bezpieczeństwo i tworzymy kolejne iteracje stosownie do potrzeb. 

W ramach tego procesu tworzymy i udoskonalamy szczegółowe wytyczne (tzw. „taksonomie”) wyjaśniające charakterystykę konwersacji na wrażliwe tematy oraz idealnych i niepożądanych zachowań modelu w tym kontekście. Pomagają nam one w trenowaniu modelu do udzielania lepszych odpowiedzi i w śledzeniu jego wyników przed i po wdrożeniu zmiany. W ten sposób uzyskujemy model, który w bardziej pożądany sposób reaguje na użytkowników wykazujących objawy psychozy, manii, myśli samobójczych lub skłonności do samookaleczenia, bądź niezdrowego emocjonalnego przywiązania do modelu.

Zaburzenia psychiczne i emocjonalne są stałym elementem ludzkiego życia społecznego, a stale rosnąca liczba użytkowników modeli oznacza, że pewien odsetek konwersacji prowadzonych z ChatGPT będzie obejmował tego rodzaju sytuacje. Jednocześnie jednak konwersacje wchodzące w obszary zdrowia psychicznego w stopniu wywołującym obawy związane z możliwą psychozą, manią lub myślami samobójczymi użytkownika są niezmiernie rzadkie. W efekcie nawet niewielka zmiana sposobu pomiaru tego rodzaju sytuacji może istotnie wpływać na liczby pojawiające się w raportach¹.

Podane poniżej częstotliwości występowania w kontekście modeli produkcyjnych stanowią wartości szacunkowe oparte na naszych najnowszych wyliczeniach. Wartości te mogą ulegać istotnym zmianom wraz z dalszym udoskonalaniem naszych taksonomii, dopracowywaniem naszych metod pomiarowych i w kontekście zmian zachowań populacji naszych użytkowników. 

Z uwagi na niewielką częstotliwość występowania konwersacji istotnych w omawianym kontekście, nie polegamy wyłącznie na pomiarach z faktycznego wykorzystania ChatGPT. Przeprowadzamy również ustrukturyzowane testy przed wdrożeniem (tzw. „oceny offline”), koncentrujące się na szczególnie trudnych scenariuszach lub sytuacjach wiążących się ze szczególnie wysokim ryzykiem. Oceny te mają stanowić na tyle duże wyzwanie, aby obecne wyniki modeli w ich kontekście nie były jeszcze idealne, tj. przykłady dobierane są antagonistycznie pod kątem wysokiego prawdopodobieństwa uzyskania niepożądanej odpowiedzi. Pozwalają one na identyfikację obszarów, w których występują możliwości poprawy i bardziej precyzyjny pomiar postępów dzięki koncentracji na najtrudniejszych, a nie typowych przypadkach i ocenom odpowiedzi w oparciu o różnorodne czynniki bezpieczeństwa. Wyniki przedstawione w punktach poniżej uzyskano w toku ocen zaprojektowanych tak, aby nie wykazywały nadmiernej liczby niemal doskonałych zachowań, w związku z czym współczynniki błędów nie odzwierciedlają przeciętnych wyników obserwowanych w zastosowaniach produkcyjnych.

Z myślą o dalszym wzmacnianiu zabezpieczeń naszych modeli i w celu zrozumienia sposobów korzystania z ChatGPT w praktyce, zdefiniowaliśmy kilka istotnych obszarów i skwantyfikowaliśmy ich rozmiary oraz powiązane zachowania modelu. W każdym z tych obszarów zaobserwowaliśmy znaczną poprawę zachowań modelu w kontekście zastosowań produkcyjnych, zautomatyzowanych ocen i ocen weryfikowanych przez niezależnych ekspertów w zakresie zdrowia psychicznego. Szacujemy, że w całym zakresie domen związanych ze zdrowiem psychicznym model generuje obecnie o 65 do 80% mniej odpowiedzi, które nie są w pełni zgodne z pożądanym zachowaniem w świetle naszych taksonomii. 

Nasza taksonomia związana ze zdrowiem psychicznym stworzona została z myślą o identyfikowaniu sytuacji, w których użytkownicy mogą wykazywać objawy poważnych zaburzeń psychicznych takich jak psychozy lub manie, bądź mniej poważne objawy, takie jak jednostkowe urojenia. Pierwotnie skoncentrowaliśmy się na psychozie i manii ponieważ są to względnie powszechnie występujące problemy psychiczne, a ich objawy są zazwyczaj bardzo intensywne i poważne. Choć przypadłości takie jak depresja również występują stosunkowo często, ich najpoważniejsze objawy objęte są już zakresem naszych prac w kontekście zapobiegania samobójstwom i samookaleczeniom. Eksperci kliniczni, z którymi się konsultowaliśmy, potwierdzili zasadność naszych obszarów badań.  

• Oceniamy, że w ostatnich zastosowaniach produkcyjnych najnowsza aktualizacja GPT‑5 pozwoliła na ograniczenie o 65% częstotliwości odpowiedzi niezupełnie zgodnych z zachowaniem pożądanym w świetle naszych taksonomii dla trudnych konwersacji związanych z problemami psychicznymi².
• Choć, jak wspomniano powyżej, konwersacje tego rodzaju są trudne do wykrycia i oceny ze względu na rzadkość ich występowania, wstępne analizy wykazały, że około 0,07% naszych użytkowników aktywnych w danym tygodniu i 0,01% przesyłanych wiadomości wskazuje na potencjalne objawy problemów psychicznych związanych z psychozą lub manią[[fn:3].
• W kontekście trudnych konwersacji związanych ze zdrowiem psychicznym eksperci zaobserwowali, że nowy model GPT‑5 (domyślny model GPT) obniżył występowanie niepożądanych odpowiedzi o 39% w porównaniu z GPT‑4o (n=677).
• W toku oceny modelu obejmującej 1000 trudnych konwersacji związanych ze zdrowiem psychicznym wynik uzyskany w naszym nowym systemie zautomatyzowanej oceny przez nowy model GPT‑5 wskazał na 92% zgodność z pożądanym schematem zachowań w świetle naszych taksonomii, w porównaniu do wyniku 27% uzyskanego przez poprzedni model GPT‑5. Jak wspomniano powyżej, zadanie to stanowi celowo trudne wyzwanie, aby móc wskazywać możliwości dalszego rozwoju.

W tym obszarze bazujemy na naszej dotychczasowej pracy⁠ w zakresie zapobiegania samobójstwom i samookaleczeniom poprzez wykrywanie u użytkownika myśli wskazujących na takie skłonności lub zespołu objawów sugerujących myśli samobójcze. Zważywszy na fakt, że tego rodzaju konwersacje są niezmiernie rzadkie, wykrywanie konwersacji wskazujących na potencjalną intencję samookaleczenia lub samobójstwa stanowi jeden z trudniejszych obszarów naszych badań, nad którym nieustannie pracujemy. 

• Trenujemy nasze modele tak, aby odpowiadały w sposób bezpieczny, w tym poprzez kierowanie użytkowników do fachowych źródeł pomocy, takich jak infolinie. W rzadkich przypadkach model może reagować na takie sytuacje w sposób inny niż pożądany. Dzięki dodatkowo wdrożonym zabezpieczeniom i udoskonaleniom modelu zaobserwowaliśmy szacunkowe obniżenie o 65% częstotliwości, z jaką nasze modele udzielają odpowiedzi nie w pełni zgodnych z zachowaniem pożądanym w świetle naszych taksonomii.
• Pomimo faktu, że, jak wspomniano powyżej, konwersacje tego rodzaju są trudne do identyfikacji i pomiaru ze względu na rzadkość ich występowania, nasze wstępne szacunkowe analizy wykazują, że około 0,15% użytkowników aktywnych w danym tygodniu prowadzi konwersacje zawierające bezpośrednie sygnały potencjalnych planów lub intencji samobójczych, a 0,05% wiadomości zawiera bezpośrednie lub pośrednie sygnały rozważań lub intencji samobójczych.
• W kontekście trudnych konwersacji związanych z samobójstwem lub samookaleczeniem eksperci zaobserwowali, że nowy model GPT‑5 obniżył występowanie niepożądanych odpowiedzi o 52% w porównaniu z GPT‑4o (n=630).
• W toku oceny modelu obejmującej 1000 trudnych konwersacji związanych z samobójstwem lub samookaleczeniem wynik uzyskany w naszym nowym systemie zautomatyzowanej oceny przez nowy model GPT‑5 wskazał na 91% zgodność z pożądanym schematem zachowań, w porównaniu do wyniku 77% uzyskanego przez poprzedni model GPT‑5.
• W dalszym ciągu pracujemy nad poprawą niezawodności GPT‑5 w długich konwersacjach. Opracowaliśmy nowy zestaw trudnych, długich konwersacji opartych na scenariuszach zaczerpniętych z prawdziwego życia, które zostały dobrane pod kątem wysokiego prawdopodobieństwa niepowodzenia. Oceniamy, że nasze najnowsze modele zapewniają niezawodność na poziomie ponad 95% w trakcie długich konwersacji, co stanowi poprawę w kontekście szczególnie trudnych parametrów wspomnianych powyżej⁠.

Nasza taksonomia dotycząca zależności emocjonalnej (oparta na naszych wcześniejszych pracach⁠(otwiera nowe okno) w tym obszarze) nakierowana jest na odróżnienie zdrowego zaangażowania od niepokojących wzorców zachowań, w których na przykład użytkownik wykazuje możliwe oznaki silnego przywiązania do modelu ze szkodą dla jego rzeczywistych relacji, dobrostanu lub zobowiązań. 

• Oceniamy, że w ostatnich zastosowaniach produkcyjnych najnowsza aktualizacja pozwoliła na ograniczenie o 80% częstotliwości odpowiedzi modelu niezupełnie zgodnych z zachowaniem pożądanym w świetle naszych taksonomii związanych z zależnością emocjonalną. 
• Choć, jak wspomniano powyżej, konwersacje tego rodzaju są trudne do wykrycia i oceny ze względu na rzadkość ich występowania, wstępne analizy wykazały, że około 0,15% naszych użytkowników aktywnych w danym tygodniu i 0,03% przesyłanych wiadomości wskazuje na potencjalnie podwyższone poziomy emocjonalnej zależności od ChatGPT. 
• W kontekście trudnych konwersacji wskazujących na zależność emocjonalną eksperci zaobserwowali, że nowy model GPT‑5 obniżył występowanie niepożądanych odpowiedzi o 42% w porównaniu z GPT‑4o (n=507).
• W toku oceny modelu obejmującej 1000 trudnych konwersacji wskazujących na zależność emocjonalną wynik uzyskany w naszym nowym systemie zautomatyzowanej oceny przez nowy model GPT‑5 wskazał na 97% zgodność z pożądanym schematem zachowań, w porównaniu do wyniku 50% uzyskanego przez poprzedni model GPT‑5.

W zakresie konwersacji wskazujących na zależność emocjonalną trenujemy nasze modele, aby zachęcały do nawiązywania relacji w prawdziwym świecie:

W przypadku konwersacji wskazujących na występowanie urojeń uczymy nasze modele, jak odpowiadać w sposób bezpieczny i nacechowany empatią oraz unikać afirmowania bezpodstawnych przekonań:

Stworzyliśmy Globalną Sieć Lekarzy — szerokie gremium niemal 300 lekarzy i psychologów praktykujących w 60 krajach — która wnosi bezpośredni wkład w nasze badania z zakresu bezpieczeństwa i pozwala nam zachować globalną perspektywę. Ponad 170 spośród tych lekarzy klinicznych (w tym psychiatrów, psychologów i lekarzy podstawowej opieki zdrowotnej) wspierało nasze badania na przestrzeni kilku ostatnich miesięcy w jednym lub więcej z poniższych obszarów:

• Pisanie idealnych odpowiedzi na polecenia związane ze zdrowiem psychicznym
• Tworzenie niestandardowych analiz odpowiedzi modelu w oparciu o wiedzę kliniczną
• Ocena bezpieczeństwa odpowiedzi generowanych przez różne modele
• Tworzenie wysokopoziomowych wytycznych i ocena naszego podejścia

W toku tego rodzaju ocen lekarze kliniczni zaobserwowali, że najnowszy model udziela odpowiedzi w sposób bardziej pożądany i spójny niż wcześniejsze modele. 

W ramach opisywanych prac psychiatrzy i psychologowie oceniali ponad 1800 odpowiedzi modelu związanych z poważnymi przypadkami problemów psychicznych i porównywali odpowiedzi GPT‑5 z odpowiedziami udzielanymi przez wcześniejsze modele. Zaobserwowali oni, że nowy model wykazał znaczącą poprawę w porównaniu z GPT‑4o przy 39–52% zmniejszeniu częstotliwości niepożądanych odpowiedzi we wszystkich kategoriach. Ten wynik jakościowy odzwierciedla poprawę ilościową obserwowaną w kontekście produkcyjnych zastosowań po udostępnieniu najnowszego modelu.

Jak ma to zazwyczaj miejsce w przypadku tak złożonych kwestii, nawet eksperci nie zawsze zgadzają się ze sobą co do najlepszej możliwej odpowiedzi. Mierzymy te rozbieżności na podstawie zgodności opinii oceniających — jak często eksperci dochodzą do tego samego wniosku co do poprawności lub niepoprawności danej odpowiedzi modelu. Pomaga nam to lepiej zrozumieć różnice między poszczególnymi specjalistycznymi opiniami i dostosowywać zachowanie modelu zgodnie z akceptowaną wiedzą kliniczną. Obserwujemy dość wysoką zgodność ocen ekspertów klinicznych w odniesieniu do odpowiedzi modelu związanych ze zdrowiem psychicznym, zależnością emocjonalną i skłonnościami samobójczymi, lecz w niektórych przypadkach zauważamy również pewne rozbieżności, przy poziomie zgodności ocen w zakresie od 71% do 74%.

Podobnie jak w przypadku naszych prac nad HealthBench⁠, podjęliśmy współpracę z Globalną Siecią Lekarzy w celu opracowania ukierunkowanych testów, które wykorzystujemy wewnętrznie do oceny działania modeli w kontekstach związanych ze zdrowiem psychicznym, w tym również nowych modeli przed ich udostępnieniem. 

Opisana tutaj praca jest dla nas niezwykle istotna i jesteśmy niezmiernie wdzięczni wielu ekspertom w zakresie zdrowia psychicznego z całego świata, którzy nieustannie nas w niej wspierają. Udało nam się osiągnąć istotne postępy, lecz wciąć pozostaje wiele do zrobienia. Będziemy nadal rozwijać nasze taksonomie i systemy techniczne umożliwiające pomiary i wzmacnianie zachowań modeli zarówno w powyższych, jak i w innych obszarach. Z uwagi na fakt, że narzędzia te ewoluują w czasie, wyniki przyszłych pomiarów mogą nie być bezpośrednio porównywalne z uzyskiwanymi w przeszłości, lecz nie wpływa to na ich znaczenie jako wyznaczników kierunku i postępu naszych prac.

Więcej na informacji temat tego rodzaju prac zawiera dodatek⁠ do karty systemu GPT‑5.