Predstavljamo MentalHealthBench

Ljudi se okreću umjetnoj inteligenciji za mnoge vrste razgovora: za snalaženje u teškoj vezi, rješavanje svakodnevnog stresa, podršku nekome do koga im je stalo ili odlučivanje kako pristupiti izazovnoj situaciji. Ovi razgovori zahtijevaju tačnost, praktično prosuđivanje i poštovanje autonomije ljudi. S obzirom na to da više od milijardu ljudi koristi ChatGPT svake sedmice, naše istraživanje se fokusira na pomaganje modelima da s pažnjom odgovore na širok spektar potreba i da sigurnost i dobrobit ljudi stave na prvo mjesto.

Većina evaluacija umjetne inteligencije u ovoj oblasti fokusirala se prvenstveno na scenarije vanrednih situacija, s obzirom na njihov značaj za sigurnost, a uspjeh se mjeri korištenjem širokih, unaprijed definiranih kriterija. Ovo je ostavilo prazninu u razumijevanju kako modeli funkcionišu u cijelom spektru razgovora o mentalnom zdravlju i koliko su njihovi odgovori usklađeni sa smjernicama stručnjaka za svaku situaciju, a ne samo po tome da li izbjegavaju nedozvoljene odgovore. Procjena načina na koji modeli rješavaju ove različite situacije ključna je za izgradnju umjetne inteligencije koja aktivno podržava dugoročnu dobrobit i sigurnost ljudi.

Predstavljamo MentalHealthBench, novi otvoreni benchmark za mjerenje kako AI sistemi reaguju u realističnim razgovorima o mentalnom zdravlju. MentalHealthBench je kreiran u saradnji sa globalnom grupom od 80 licenciranih stručnjaka za mentalno zdravlje iz 22 zemlje. Procjenjuje sposobnosti modela u ključnim ponašanjima mentalnog zdravlja kao što su sigurnost, traženje konteksta, očuvanje korisničke agencije i pružanje praktičnih smjernica kada je to prikladno. Objavljujemo ga javno kako bi drugi istraživači mogli ispitati metode, provesti vlastite evaluacije i nadograditi rad.

Rezultati na MentalHealthBench-u pokazuju stalno poboljšanje sistema umjetne inteligencije u pomaganju ljudima da se snađu u situacijama mentalnog zdravlja. Iako ChatGPT nije zamjena za terapiju ili profesionalnu njegu, uvidi zasnovani na stručnjacima pomažu nam da mjerimo napredak prema modelima umjetne inteligencije koji su sposobni reagovati s empatijom, promovirati dobrobit i voditi ljude prema podršci u stvarnom svijetu, kao što su lokalizirane krizne linije⁠(otvara se u novom prozoru) ili neko kome vjeruju.

Razgovori koji uključuju dobrobit, životne savjete ili druge scenarije mentalnog zdravlja mogu se uveliko razlikovati po temi, hitnosti i kulturnom kontekstu. MentalHealthBench je dizajniran da obuhvati širinu ovih realističnih scenarija i korisničkih persona. Koristeći tehnike očuvanja privatnosti, kreirali smo sintetičke razgovore o mentalnom zdravlju koji tačno odražavaju obrasce korištenja umjetne inteligencije za mentalno zdravlje u stvarnom svijetu. Neki scenariji također uključuju relevantne pozadinske informacije o sintetičkom korisniku - poput nedavnog gubitka u porodici - tako da možemo procijeniti da li modeli koriste taj kontekst za odgovarajuće prilagođavanje svojih odgovora.

MentalHealthBench uključuje scenarije s odraslima, tinejdžerima, njegovateljima i kliničarima, na više jezika i u više regija. Razgovori obuhvataju više aktuelnih tema i pružaju pokrivenost cijelog spektra aktuelnih pitanja:

• Neakutni -Svakodnevni razgovori koji mogu uključivati neke emocionalne komponente.

• Visoka akutnost— Razgovori koji ukazuju na ozbiljnije probleme s mentalnim zdravljem ili značajnu patnju, ali ne i na neposrednu hitnu situaciju.

• Hitni slučajevi— Razgovori koji uključuju znakove hitnog stanja mentalnog zdravlja ili neposredne sigurnosne probleme koji zahtijevaju hitnu podršku u stvarnom svijetu.

Nadovezujući se na naš prethodni rad za HealthBench i HealthBench Professional⁠(otvara se u novom prozoru) , zasnovan na potrebama kliničara.,⁠(otvara se u novom prozoru) razvili smo MentalHealthBench u bliskoj saradnji sa našom grupom stručnjaka za mentalno zdravlje. To se sastojalo od više od 80 licenciranih psihologa i psihijatara iz 22 zemlje, koji su govorili 19 jezika i predstavljali gotovo 20 subspecijalnosti mentalnog zdravlja.

Stručnjaci su bili odgovorni za čitanje svakog sintetičkog razgovora i izradu detaljne liste kriterija rubrika za procjenu odgovora modela na posljednju korisničku poruku. Svaki kriterij cilja na jedan aspekt odgovora modela, kao što je postavljanje pravog pitanja ili pružanje najboljeg mogućeg savjeta. Svaki od njih nosi težinu u rasponu od -10 do +10: pozitivni bodovi nagrađuju korisna ponašanja, dok negativni bodovi kažnjavaju štetna, a kriteriji s većim vrijednostima ukazuju na veći klinički značaj u kontekstu razgovora.

Svaki razgovor su pregledala najmanje tri stručnjaka, a u konačnu ocjenu uključeni su samo kriteriji koje su svi prihvatili. Konačne rubrike u referentnom testu stoga odražavaju zajednički sud o tome kako bi modeli trebali reagirati u svakom kontekstu. Za svaki razgovor koristimo automatizirani ocjenjivač, GPT‑5.6 Sol, kako bismo procijenili odgovore modela u odnosu na kriterije koje su napisali stručnjaci. Rad detaljno opisuje proces ocjenjivanja i postavke evaluacije.

Na testu MentalHealthBench ocijenili smo širok raspon modela. Rezultati u nastavku prikazuju performanse tih modela na cijelom skupu podataka. Evaluacijom se mjeri pokazuje li odgovor modela sva idealna ponašanja koja su stručnjaci utvrdili za svaki scenarij, uz izbjegavanje nedopuštenih ponašanja.

Test obuhvata razgovore na različitim stepenima ozbiljnosti. To nam omogućava da razumijemo performanse modela u svakodnevnim scenarijima mentalnog zdravlja, kao i u hitnijim slučajevima mentalnog zdravlja koji zahtijevaju podršku u stvarnom svijetu.

Razgovori u testu predstavljaju četiri vrste korisnika: odrasle osobe, tinejdžere od 13 do 17 godina, njegovatelje i kliničare. Za personu tinejdžera izričito smo naveli putem sistemske poruke da korisnik ima između 13 i 17 godina. Ovaj pristup osmišljen je tako da funkcionira kod različitih pružalaca modela, iako možda ne obuhvata sve zaštitne mjere ugrađene u pojedinačne proizvode. Razgovore s personom tinejdžera pregledali su kliničari stručni za mentalno zdravlje mladih kako bi procijenili jesu li odgovori primjereni jedinstvenim potrebama tinejdžera.

MentalHealthBench omogućava i višedimenzionalno mjerenje ponašanja modela. Ukupan rezultat može se raščlaniti na performanse u deset dimenzija ponašanja modela u području mentalnog zdravlja. Ta ponašanja definirali su stručnjaci za mentalno zdravlje kako bi obuhvatili nijanse u performansama modela. Modeli sa sličnim ukupnim rezultatima mogu imati različite prednosti u tim ponašanjima.

Ovako precizno mjerenje može pomoći istraživačima da utvrde područja za poboljšanje kroz razumljiva ponašanja modela. Naprimjer, vidimo da se s naprednijim modelima poboljšala sposobnost modela da na primjeren način zatraži kontekst. Ova poboljšanja odražavaju ulaganja kompanije OpenAI i drugih pružalaca modela u poboljšanje načina na koji modeli vode razgovore o mentalnom zdravlju.

Uz MentalHealthBench proveli smo zasebnu analizu kako bismo uporedili smjernice stručnjaka s onim što ljudi smatraju korisnim u podršci koju pruža AI. Željeli smo provjeriti mogu li odgovori koje su stručnjaci visoko ocijenili korisnicima ipak djelovati hladno ili nekorisno. Upoređivanjem ocjena korisnika i stručnjaka o odgovorima modela, kao i kriterija koje su napisali, mogli smo kvantificirati u čemu se njihova gledišta podudaraju, razlikuju ili dopunjuju. Konačni kriteriji ocjenjivanja testa zasnovani su na konsenzusu stručnjaka; ova zasebna analiza ih nije promijenila.

Surađivali smo s 44 odrasle osobe koje su koristile AI za mentalno zdravlje ili emocionalnu podršku, iz 16 zemalja i s 14 jezika. Učesnici su ocijenili odgovore modela na sintetičke razgovore i napisali kriterije koji opisuju kako bi korisna podrška trebala izgledati. Njihov pregled bio je ograničen na razgovore koji nisu akutni kako ih ne bismo izložili potencijalno uznemirujućem sadržaju visokog stepena ozbiljnosti.

Stavovi korisnika istaknuli su osobine koje ljudi cijene u podršci koju pruža AI, a koje su bile manje naglašene u smjernicama stručnjaka, naročito praktični sljedeći koraci i ton. Stručnjaci su više naglašavali prikupljanje relevantnog konteksta i pažljivo tumačenje nejasnih situacija. Ovo poređenje pruža nam potpuniju sliku onoga što ljudi cijene u podršci i kako su njihove sklonosti povezane s kliničkim smjernicama.

MentalHealthBench stručnjacima, istraživačima i programerima pruža zajednički alat za procjenu sigurne i korisne podrške koju AI pruža u različitim situacijama povezanima s mentalnim zdravljem. Otvorenim objavljivanjem pozivamo zajednicu da ispita metode, utvrdi nedostatke postojećih modela i radi na poboljšanju budućih modela. Nijedan test ne obuhvata sve što je važno u ličnom razgovoru, ali nadamo se da će MentalHealthBench pomoći u postavljanju višeg standarda za način na koji AI podržava ljude.

Podržavamo i druge inicijative na području umjetne inteligencije i mentalnog zdravlja, uključujući bespovratna sredstva za nova istraživanja, okupljanje stručnjaka s organizacijom Partnership on AI⁠(otvara se u novom prozoru) te pomoć komplementarnim nezavisnim inicijativama kao što je Transluceova evaluacija mentalnog zdravlja⁠(otvara se u novom prozoru).

Uz ovo istraživanje poboljšali smo odgovore usluge ChatGPT u osjetljivim razgovorima, proširili pristup resursima za krizne situacije i dodali Pouzdanog kontakta kako bismo ljude u trenucima uznemirenosti povezali s osobom kojoj vjeruju. Uveli smo i ChatGPT za tinejdžere, s dodatnim zaštitama za mlađe korisnike.

MentalHealthBench jedan je od načina na koje radimo na razvoju umjetne inteligencije koja milionima ljudi pomaže da prebrode teške trenutke, ojačaju odnose i žive zdravijim i ispunjenijim životom.