Predstavljamo MentalHealthBench

Ljudje se na umetno inteligenco obračajo za številne vrste pogovorov: pri krmarjenju skozi težaven odnos, premagovanju vsakodnevnega stresa, podpori nekomu, za kogar jim je mar, ali odločanju, kako se lotiti zahtevne situacije. Ti pogovori zahtevajo natančnost, praktično presojo in spoštovanje človekove avtonomije. Ker ChatGPT vsak teden uporablja več kot milijarda ljudi, se naše raziskave osredotočajo na pomoč modelom pri skrbnem odzivanju na širok spekter potreb in dajanju prednosti varnosti in dobremu počutju ljudi.

Večina ocen umetne inteligence na tem področju se je osredotočila predvsem na izredne scenarije glede na njihov pomen za varnost, uspeh pa je bil merjen z uporabo širokih, vnaprej določenih meril. To je povzročilo vrzel v razumevanju, kako se modeli obnesejo v celotnem razponu pogovorov o duševnem zdravju in kako dobro so njihovi odzivi v posamezni situaciji usklajeni s smernicami strokovnjakov, ne le glede tega, ali se izogibajo nedovoljenim odzivom. Ocenjevanje, kako modeli ravnajo v teh različnih situacijah, je bistvenega pomena za gradnjo umetne inteligence, ki aktivno podpira dolgoročno dobro počutje in varnost ljudi.

Predstavljamo MentalHealthBench, novo odprto merilo za merjenje odziva sistemov umetne inteligence v realističnih pogovorih o duševnem zdravju. MentalHealthBench je bil ustvarjen v sodelovanju z globalno kohorto 80 licenciranih strokovnjakov za duševno zdravje iz 22 držav. Ocenjuje zmogljivosti modela pri ključnih vedenjih duševnega zdravja, kot so varnost, iskanje konteksta, ohranjanje uporabniške sposobnosti in zagotavljanje praktičnih smernic, kadar je to primerno. Objavljamo ga javno, da lahko drugi raziskovalci preučijo metode, izvedejo lastne ocene in nadgradijo delo.

Rezultati na MentalHealthBench kažejo na stalno izboljševanje sistemov umetne inteligence pri pomoči ljudem pri krmarjenju po duševnih težavah. Čeprav ChatGPT ni nadomestilo za terapijo ali strokovno oskrbo, nam strokovni vpogledi pomagajo meriti napredek pri modelih umetne inteligence, ki se lahko odzovejo z empatijo, spodbujajo dobro počutje in vodijo ljudi do podpore v resničnem svetu, kot so lokalizirane krizne telefonske linije⁠(odpre se v novem oknu) ali nekdo, ki mu zaupajo.

Pogovori, ki vključujejo dobro počutje, življenjske nasvete ali druge scenarije duševnega zdravja, se lahko zelo razlikujejo po temi, nujnosti in kulturnem kontekstu. MentalHealthBench je zasnovan tako, da zajame širino teh realističnih scenarijev in uporabniških person. Z uporabo tehnik ohranjanja zasebnosti smo ustvarili sintetične pogovore o duševnem zdravju, ki natančno odražajo vzorce uporabe umetne inteligence za duševno zdravje v resničnem svetu. Nekateri scenariji vključujejo tudi ustrezne osnovne informacije o sintetičnem uporabniku – na primer nedavno izgubo v družini, da lahko ocenimo, ali modeli uporabljajo ta kontekst za ustrezno prilagoditev svojih odzivov.

MentalHealthBench vključuje scenarije z odraslimi, najstniki, skrbniki in kliničnimi strokovnjaki v več jezikih in regijah. Pogovori zajemajo več aktualnih tem in pokrivajo celoten spekter aktualnih vprašanj:

• Neakutni primeri –Vsakodnevni pogovori, ki lahko vključujejo nekaj čustvenih komponent.

• Visoko akutni primeri – Pogovori, ki kažejo na resnejše težave z duševnim zdravjem ali znatno stisko, vendar ne na takojšnjo nujno situacijo.

• Nujni primeri – Pogovori, ki vključujejo znake duševne stiske ali takojšnje varnostne pomisleke, ki zahtevajo nujno podporo v resničnem svetu.

Na podlagi našega prejšnjega dela za HealthBench in HealthBench Professional⁠(odpre se v novem oknu), ki je temeljilo na kliničnih izkušnjah.MentalHealthBench⁠(odpre se v novem oknu) smo razvili v tesnem sodelovanju z našo skupino strokovnjakov za duševno zdravje. Sestavljalo jo je več kot 80 licenciranih psihologov in psihiatrov iz 22 držav, ki so govorili 19 jezikov in zastopali skoraj 20 podspecializacij na področju duševnega zdravja.

Strokovnjaki so bili odgovorni za branje vseh sintetičnih pogovorov in pripravo podrobnega seznama rubrik za oceno odzivov modela na zadnje uporabniško sporočilo. Vsak kriterij je usmerjen na en sam vidik odziva modela, kot je postavljanje pravega vprašanja ali zagotavljanje najboljšega možnega nasveta. Vsak od njih ima težo od -10 do +10: pozitivne točke nagrajujejo koristna vedenja, negativne točke pa kaznujejo škodljiva, merila z večjimi vrednostmi pa kažejo na večji klinični pomen v kontekstu pogovora.

Vsak pogovor so pregledali vsaj trije strokovnjaki, v končno primerjalno oceno pa so bila vključena le merila, ki so jih sprejeli vsi. Končne rubrike v primerjalnem testu zato odražajo skupno presojo o tem, kako naj se modeli odzivajo v posameznem kontekstu. Za vsak pogovor uporabljamo avtomatizirani ocenjevalec GPT‑5.6 Sol, da oceni odzive modela glede na merila, ki so jih pripravili strokovnjaki. V članku je podrobno opisan postopek ocenjevanja in nastavitve vrednotenja.

Z merilom MentalHealthBench smo ovrednotili širok nabor modelov. Spodnji rezultati prikazujejo uspešnost teh modelov na celotnem naboru podatkov in glede na stopnjo resnosti pogovora. Evalvacija meri, ali odziv modela izkazuje vsa idealna vedenja, ki so jih strokovnjaki določili za posamezen scenarij, obenem pa se izogiba nedovoljenemu vedenju.

Ustvarili smo sintetične pogovore, ki predstavljajo štiri vrste uporabnikov: odrasle, najstnike, stare od 13 do 17 let, skrbnike in klinične strokovnjake. Kontekst smo podali v sistemskih sporočilih, pri profilu najstnika pa smo izrecno navedli, da je uporabnik star od 13 do 17 let. Ta pristop je zasnovan za uporabo pri različnih ponudnikih modelov, vendar morda ne zajame vseh varoval, vgrajenih v posamezne izdelke.

Klinični strokovnjaki so za vsak pogovor oblikovali merila, ki opisujejo, kaj naj ustrezen naslednji odgovor vsebuje oziroma čemu naj se izogne, nato pa smo odzive modelov ovrednotili glede na ta merila. Pogovore s profilom najstnika so pregledali klinični strokovnjaki za duševno zdravje mladih in pomagali presoditi, ali so odzivi primerni za edinstvene potrebe najstnikov.

MentalHealthBench omogoča tudi večplastno merjenje vedenja modelov. Skupni rezultat je mogoče razčleniti na uspešnost vzdolž desetih razsežnosti vedenja modela na področju duševnega zdravja. Ta vedenja so opredelili strokovnjaki za duševno zdravje, njihov namen pa je zajeti odtenke v uspešnosti modelov. Modeli s podobnimi skupnimi rezultati imajo lahko pri teh vedenjih različne prednosti.

Tako podrobno merjenje lahko raziskovalcem pomaga prepoznati možnosti za izboljšave pri razumljivih vedenjih modelov. Opažamo denimo, da se je z naprednejšimi modeli izboljšala zmožnost modela, da ustrezno pridobi kontekst. Te izboljšave odražajo naložbe OpenAI in drugih ponudnikov modelov v izboljšanje načina, kako se modeli odzivajo v pogovorih o duševnem zdravju.

Ob merilu MentalHealthBench smo izvedli ločeno analizo, v kateri smo primerjali smernice kliničnih strokovnjakov s tem, kar se ljudem zdi koristno pri podpori umetne inteligence. Merilo uporablja ocenjevalna merila kliničnih strokovnjakov, ta analiza pa je preučila, kje se pogledi uporabnikov in kliničnih strokovnjakov ujemajo, razlikujejo ali si nasprotujejo.

Sodelovali smo s 44 odraslimi iz 16 držav, ki govorijo 14 jezikov in so umetno inteligenco uporabljali za podporo pri duševnem zdravju ali čustvenih stiskah. Udeleženci so ocenili odzive modelov na sintetične pogovore in oblikovali merila, ki opisujejo koristno podporo. Njihov pregled je bil omejen na neakutne pogovore, da jih ne bi izpostavljali morebitno pretresljivemu gradivu z visoko stopnjo resnosti.

Pogledi uporabnikov so izpostavili lastnosti, ki jih ljudje cenijo pri podpori umetne inteligence, a so bile v kliničnih smernicah manj poudarjene, zlasti praktične naslednje korake in ton. Klinični strokovnjaki so bolj poudarjali zbiranje relevantnega konteksta in skrbno razlaganje dvoumnih situacij. Ta primerjava nam daje celovitejšo sliko o tem, kaj ljudje cenijo pri podpori in kako so njihove preference povezane s kliničnimi smernicami.

MentalHealthBench strokovnjakom, raziskovalcem in razvijalcem ponuja skupno orodje za vrednotenje varne in koristne podpore umetne inteligence v različnih situacijah na področju duševnega zdravja. Z javno objavo skupnost vabimo, naj preuči metode, odkrije vrzeli v obstoječih modelih in si prizadeva za njihovo izboljšanje. Nobeno merilo ne zajame vsega, kar je pomembno v osebnem pogovoru, vendar upamo, da bo MentalHealthBench pripomogel k višjim standardom podpore umetne inteligence ljudem.

Podpiramo tudi druga prizadevanja na področju umetne inteligence in duševnega zdravja, med drugim z nepovratnimi sredstvi za nove raziskave, povezovanjem strokovnjakov skupaj s partnerstvom Partnership on AI⁠(odpre se v novem oknu) ter podporo dopolnilnim neodvisnim prizadevanjem, kot je evalvacija duševnega zdravja⁠(odpre se v novem oknu) podjetja Transluce.

Ob tej raziskavi smo tudi izboljšali odzive ChatGPT v občutljivih pogovorih, razširili dostop do virov za pomoč v krizi in dodali funkcijo Zaupna oseba, ki ljudem v trenutkih stiske pomaga stopiti v stik z osebo, ki ji zaupajo. Uvedli smo tudi ChatGPT za najstnike z dodatnimi zaščitnimi ukrepi za mlajše uporabnike.

MentalHealthBench je eden od načinov, kako si prizadevamo za umetno inteligenco, ki milijonom ljudi pomaga prebroditi težke trenutke, okrepiti odnose ter živeti bolj zdravo in izpolnjujoče.