Îți prezentăm MentalHealthBench

Oamenii apelează la AI pentru multe tipuri de conversații: navigarea într-o relație dificilă, depășirea stresului cotidian, sprijinirea cuiva drag sau decizia de a aborda o situație dificilă. Aceste conversații necesită acuratețe, judecată practică și respect pentru autonomia oamenilor. Cu peste un miliard de oameni care utilizează ChatGPT în fiecare săptămână, cercetarea noastră se concentrează pe a ajuta modelele să răspundă cu grijă la o gamă largă de nevoi și să pună siguranța și bunăstarea oamenilor pe primul loc.

Majoritatea evaluărilor AI din acest domeniu s-au concentrat în principal pe situațiile de urgență, având în vedere importanța lor pentru siguranță, și măsoară succesul folosind criterii generale, prestabilite. Acest lucru a lăsat o lacună în înțelegerea modului în care modelele performează în întreaga gamă de conversații despre sănătatea mintală și a măsurii în care răspunsurile lor se aliniază cu îndrumările experților pentru fiecare situație, dincolo de simplul fapt că evită răspunsurile nepermise. Evaluarea modului în care modelele gestionează aceste situații diferite este esențială pentru construirea unei AI care să sprijine activ bunăstarea și siguranța pe termen lung a oamenilor.

Lansăm MentalHealthBench, un nou instrument de referință deschis pentru măsurarea modului în care sistemele de AI răspund în conversații realiste despre sănătate mintală. MentalHealthBench a fost creat în colaborare cu un grup internațional de 80 de specialiști din 22 de țări, autorizați în sănătate mintală. Evaluează capacitățile modelului în cadrul unor comportamente cheie de sănătate mintală, cum ar fi siguranța, căutarea contextului, păstrarea libertății de acțiune a utilizatorului și furnizarea de îndrumări practice atunci când este cazul. Îl publicăm cu acces liber, astfel încât alți cercetători să poată analiza metodele, să își desfășoare propriile evaluări și să continue dezvoltarea acestei lucrări.

Rezultatele de pe MentalHealthBench arată îmbunătățirea constantă a sistemelor de AI în a ajuta oamenii să se descurce în situații de sănătate mintală. Deși ChatGPT nu înlocuiește terapia sau îngrijirea profesională, informațiile furnizate de experți ne ajută să măsurăm progresul către modele de AI capabile să răspundă cu empatie, să promoveze bunăstarea și să îndrume oamenii către asistență din lumea reală, cum ar fi linii telefonice locale pentru crize⁠(se deschide într-o fereastră nouă) sau o persoană în care au încredere.

Conversațiile care implică bunăstare, sfaturi de viață sau alte scenarii legate de sănătate mintală pot varia foarte mult în ceea ce privește subiectul, urgența și contextul cultural. MentalHealthBench este conceput pentru a surprinde diversitatea acestor scenarii realiste și a profilurilor utilizatorilor. Folosind tehnici de păstrare a confidențialității, am creat conversații sintetice despre sănătatea mintală care reflectă cu acuratețe modelele de utilizare a AI pentru sănătatea mintală în lumea reală. Unele scenarii includ și informații relevante despre utilizatorul sintetic - cum ar fi o pierdere recentă în familie - astfel încât să putem evalua dacă modelele folosesc acel context pentru a-și adapta răspunsurile în mod corespunzător.

MentalHealthBench include scenarii cu adulți, adolescenți, îngrijitori și clinicieni, în mai multe limbi și regiuni. Conversațiile acoperă mai multe teme de actualitate și oferă o acoperire completă a spectrului de acuitate:

• Non-acut — Conversații cotidiene care pot implica unele componente emoționale.

• Acuitate ridicată — Conversații care indică probleme mai grave de sănătate mintală sau suferință semnificativă, dar nu o urgență imediată.

• Urgențe — Conversații care implică semne ale unei urgențe de sănătate mintală sau preocupări imediate de siguranță care necesită sprijin urgent în lumea reală.

Bazându-ne pe munca noastră anterioară, bazată pe studii clinice, pentru HealthBench și HealthBench Professional⁠(se deschide într-o fereastră nouă),⁠(se deschide într-o fereastră nouă) am dezvoltat MentalHealthBench în strânsă colaborare cu grupul nostru de experți în sănătate mintală. Acesta a fost format din peste 80 de psihologi și psihiatri autorizați din 22 de țări, vorbitori de 19 limbi și reprezentând aproape 20 de subspecialități de sănătate mintală.

Experții au fost responsabili de citirea fiecărei conversații sintetice și de elaborarea unei liste detaliate de criterii de rubrică pentru a evalua răspunsurile model la ultimul mesaj al utilizatorului. Fiecare criteriu vizează un singur aspect al răspunsului model, cum ar fi adresarea întrebării corecte sau oferirea celui mai bun sfat posibil. Fiecare dintre ele are o pondere cuprinsă între -10 și +10: punctele pozitive recompensează comportamentele benefice, în timp ce punctele negative le penalizează pe cele dăunătoare, iar criteriile cu valori mai mari indică o importanță clinică mai mare în contextul unei conversații.

Fiecare conversație a fost revizuită de cel puțin trei experți, iar în criteriile de referință finale au fost incluse doar criteriile acceptate de toți aceștia. Prin urmare, rubricile finale din cadrul testului de performanță reflectă o judecată comună despre modul în care modelele ar trebui să răspundă în fiecare context. Pentru fiecare conversație, folosim un evaluator automat, GPT‑5.6 Sol, pentru a evalua răspunsurile modelului în funcție de criteriile elaborate de experți. Lucrarea descrie în detaliu procesul de notare și setările de evaluare.

Am evaluat o gamă largă de modele pe MentalHealthBench. Rezultatele de mai jos arată performanța acestor modele pe întregul set de date. Evaluarea măsoară dacă răspunsul unui model demonstrează toate comportamentele ideale identificate de experți pentru fiecare scenariu și evită comportamentele nepermise.

Reperul de evaluare acoperă conversații cu niveluri diferite de acuitate. Acest lucru ne permite să înțelegem performanța modelului atât în scenarii cotidiene legate de sănătatea mintală, cât și în urgențe de sănătate mintală mai presante, care necesită sprijin în lumea reală.

Conversațiile din setul de evaluare reprezintă patru categorii de utilizatori: adulți, adolescenți cu vârste între 13 și 17 ani, persoane care oferă îngrijire și clinicieni. Pentru profilul adolescentului, am precizat explicit printr-un mesaj de sistem că utilizatorul avea între 13 și 17 ani. Această abordare este concepută să funcționeze pentru mai mulți furnizori de modele, deși este posibil să nu surprindă toate măsurile de protecție integrate în produse individuale. Conversațiile cu profilul de adolescent au fost analizate de clinicieni specializați în sănătatea mintală a tinerilor, pentru a evalua dacă răspunsurile sunt adecvate nevoilor specifice ale adolescenților.

MentalHealthBench permite și măsurarea multidimensională a comportamentului modelelor. Scorul general poate fi descompus în performanța pe zece dimensiuni ale comportamentului modelului în domeniul sănătății mintale. Aceste comportamente sunt definite de experți în sănătate mintală și urmăresc să surprindă nuanțele performanței modelelor. Modelele cu scoruri generale similare pot avea puncte forte diferite în privința acestor comportamente.

O astfel de măsurare detaliată îi poate ajuta pe cercetători să identifice oportunități de îmbunătățire în comportamente interpretabile ale modelelor. De exemplu, observăm că abilitatea unui model de a solicita contextul în mod adecvat a crescut odată cu dezvoltarea unor modele mai avansate. Aceste progrese reflectă investițiile OpenAI și ale altor furnizori pentru a îmbunătăți modul în care modelele gestionează conversațiile despre sănătatea mintală.

În paralel cu MentalHealthBench, am realizat o analiză separată pentru a compara îndrumările experților cu ceea ce oamenii consideră util în sprijinul oferit de AI. Am vrut să verificăm dacă răspunsurile evaluate foarte bine de experți ar putea totuși să pară reci sau neutile utilizatorilor. Comparând atât evaluările utilizatorilor, cât și ale experților privind răspunsurile modelului și criteriile pe care le-au redactat, am putut cuantifica situațiile în care perspectivele lor au coincis, au fost diferite sau s-au completat reciproc. Criteriile finale de punctare ale reperului de evaluare se bazează pe consensul experților; această analiză separată nu le-a modificat.

Am colaborat cu 44 de adulți care folosiseră AI pentru sănătate mintală sau sprijin emoțional, reprezentând 16 țări și 14 limbi. Participanții au evaluat răspunsurile modelelor la conversații sintetice și au redactat criterii care descriu cum ar trebui să arate un sprijin util. Analiza lor s-a limitat la conversații non-acute, pentru a evita expunerea la materiale cu gravitate ridicată, care le-ar fi putut provoca suferință.

Perspectivele utilizatorilor au evidențiat calități pe care oamenii le apreciază în sprijinul oferit de AI, dar care au fost mai puțin accentuate în îndrumările experților, în special următorii pași practici și tonul. Experții au pus un accent mai mare pe colectarea contextului relevant și interpretarea atentă a situațiilor ambigue. Această comparație ne oferă o imagine mai completă a ceea ce apreciază oamenii în sprijinul primit și a modului în care preferințele lor se raportează la îndrumările clinice.

MentalHealthBench le oferă experților, cercetătorilor și dezvoltatorilor un instrument comun pentru evaluarea unui sprijin AI sigur și util în diferite situații legate de sănătatea mintală. Prin publicarea sa în mod deschis, invităm comunitatea să îi analizeze metodele, să identifice lacunele modelelor existente și să lucreze la îmbunătățirea modelelor viitoare. Niciun reper de evaluare nu poate surprinde tot ceea ce contează într-o conversație personală, dar sperăm ca MentalHealthBench să contribuie la stabilirea unui standard mai ridicat pentru modul în care AI sprijină oamenii.

Sprijinim și alte inițiative din domeniul AI și al sănătății mintale, inclusiv prin granturi pentru cercetări noi, reunind experți alături de Partnership on AI⁠(se deschide într-o fereastră nouă) și contribuind la inițiative independente complementare, precum evaluarea sănătății mintale⁠(se deschide într-o fereastră nouă) realizată de Transluce.

În paralel cu această cercetare, am îmbunătățit răspunsurile ChatGPT în conversațiile sensibile, am extins accesul la resurse pentru situații de criză și am adăugat funcția Persoană de contact de încredere, pentru a-i pune pe oameni în legătură cu o persoană de încredere în momentele dificile. Am lansat și ChatGPT pentru adolescenți, cu măsuri de protecție suplimentare pentru utilizatorii mai tineri.

MentalHealthBench este una dintre modalitățile prin care lucrăm la o AI care să ajute milioane de oameni să depășească momentele dificile, să-și consolideze relațiile și să ducă o viață mai sănătoasă și mai împlinită.