Představujeme MentalHealthBench

Lidé se obracejí na umělou inteligenci během mnoha druhů konverzací: orientace v obtížném vztahu, práce s každodenním stresem, podpora někoho, na kom jim záleží, nebo rozhodování, jak přistupovat k náročné situaci. Tyto rozhovory vyžadují přesnost, praktický úsudek a respekt k lidské autonomii. Více než jedna miliarda lidí používá ChatGPT každý týden a náš výzkum se zaměřuje na to, abychom pomohli modelům reagovat péčí v širokém spektru potřeb a upřednostňovat bezpečnost a pohodu lidí.

Většina hodnocení umělé inteligence v této oblasti se zaměřovala především na nouzové scénáře, vzhledem k jejich významu pro bezpečnost, a úspěšnost se měří pomocí širokých, předem definovaných kritérií. Tím vznikl nedostatek v chápání toho, jak modely fungují v celé škále konverzací o duševním zdraví a jak dobře se jejich reakce shodují s odbornými pokyny pro každou situaci, nad rámec toho, zda se vyhýbají nepovoleným reakcím. Posouzení toho, jak modely zvládají tyto různé situace, je zásadní pro budování umělé inteligence, která aktivně podporuje dlouhodobou pohodu a bezpečnost lidí.

Představujeme MentalHealthBench, nový otevřený benchmark pro měření toho, jak systémy umělé inteligence reagují v realistických rozhovorech o duševním zdraví. MentalHealthBench byl vytvořen ve spolupráci s globální skupinou 80 licencovaných odborníků na duševní zdraví z 22 zemí. Posuzuje schopnosti modelu v klíčových oblastech duševního zdraví, jako je bezpečnost, hledání kontextu, zachování uživatelské autonomie a poskytování praktického vedení, když je to vhodné. Zveřejňujeme ho, aby si ostatní výzkumníci mohli prozkoumat metody, provést vlastní hodnocení a na základě této práce stavět.

Výsledky v rámci MentalHealthBench ukazují neustálé zlepšování systémů umělé inteligence v pomoci lidem orientovat se v situacích duševního zdraví. Ačkoli ChatGPT nenahrazuje terapii ani profesionální péči, poznatky od odborníků nám pomáhají měřit posun směrem k modelům umělé inteligence, které jsou schopny reagovat s empatií, podporovat pohodu a vést lidi k reálné podpoře, jako jsou lokální krizové linky⁠(otevře se v novém okně) nebo někdo, komu důvěřují.

Konverzace, které se týkají pohody, životních rad nebo jiných scénářů duševního zdraví, se mohou značně lišit tématem, naléhavostí a kulturním kontextem. MentalHealthBench je navržen tak, aby zachytil šíři těchto realistických scénářů a uživatelských person. Pomocí technik chránících soukromí jsme vytvořili syntetické konverzace o duševním zdraví, které přesně odrážejí reálné vzorce používání umělé inteligence pro duševní zdraví. Některé scénáře zahrnují také relevantní informace o syntetickém uživateli – například nedávnou ztrátu v rodině – abychom mohli posoudit, zda modely využívají tento kontext k vhodnému přizpůsobení svých reakcí.

MentalHealthBench zahrnuje scénáře týkající se dospělých, dospívajících, pečovatelů a klinických pracovníků v různých jazycích a regionech. Rozhovory se zaměřují na několik aktuálních témat a poskytují pokrytí celého spektra závažnosti:

• Neakutní –Každodenní konverzace, které mohou zahrnovat určité emocionální prvky.

• Vysoce akutní– Rozhovory naznačující závažnější problémy s duševním zdravím nebo značné potíže, ale ne bezprostřední stav nouze.

• Nouzové situace– Rozhovory zahrnující příznaky duševní nouze nebo bezprostřední bezpečnostní obavy, které vyžadují naléhavou podporu v reálném světě.

Navazujeme na naši předchozí práci pro HealthBench a HealthBench Professional,⁠(otevře se v novém okně)která vycházela z potřeb klinických lékařů,,⁠(otevře se v novém okně) jsme vyvinuli MentalHealthBench v úzké spolupráci s naší skupinou odborníků na duševní zdraví. Ta se skládala z více než 80 licencovaných psychologů a psychiatrů ve 22 zemích, kteří hovořili 19 jazyky a zastupovali téměř 20 dílčích specializací z oblasti duševního zdraví.

Odborníci byli zodpovědní za přečtení každé syntetické konverzace a vytvoření podrobného seznamu kritérií pro hodnocení reakcí modelu na poslední uživatelskou zprávu. Každé kritérium se zaměřuje na jeden aspekt odpovědi modelu, například položení správné otázky nebo poskytnutí nejlepší možné rady. Každý z nich nese váhu v rozmezí od -10 do +10: pozitivní body odměňují prospěšné chování, zatímco negativní body penalizují škodlivé a kritéria s většími hodnotami naznačují větší klinický význam v kontextu konverzace.

Každý rozhovor byl posouzen nejméně třemi experty a do konečného srovnávacího hodnocení byla zahrnuta pouze kritéria, která všichni akceptovali. Závěrečné rubriky v benchmarku proto odrážejí sdílený úsudek o tom, jak by modely měly reagovat v každém kontextu. Pro každou konverzaci používáme automatizovaný hodnoticí systém GPT‑5.6 Sol k posouzení odpovědí modelu podle kritérií stanovených odborníky. Článek podrobně popisuje proces hodnocení a nastavení hodnocení.

Pomocí MentalHealthBench jsme vyhodnotili širokou škálu modelů. Níže uvedené výsledky ukazují výkon těchto modelů v celém datovém souboru. Evaluace měří, zda odpověď modelu vykazuje veškeré ideální chování, které odborníci určili pro daný scénář, a současně se vyhýbá nepovolenému chování.

Benchmark zahrnuje rozhovory na různých úrovních závažnosti. Díky tomu můžeme lépe porozumět výkonu modelu jak v každodenních scénářích duševního zdraví, tak v naléhavějších případech duševní nouze vyžadujících podporu v reálném světě.

Konverzace v benchmarku zastupují čtyři typy uživatelů: dospělé uživatele, dospívající ve věku 13–17 let, pečující osoby a klinické pracovníky. U persony dospívajícího jsme prostřednictvím systémové zprávy výslovně uvedli, že uživatel byl ve věku 13–17 let. Tento přístup je navržen tak, aby fungoval v rámci různých poskytovatelů modelů, nemusí však zachytit všechna ochranná opatření zabudovaná do jednotlivých produktů. Konverzace s personou dospívajícího posoudili odborníci na duševní zdraví mladých lidí, aby pomohli určit, zda odpovědi odpovídají specifickým potřebám dospívajících.

MentalHealthBench rovněž umožňuje mnohostranně měřit chování modelu. Celkové skóre lze rozložit na výkon v deseti dimenzích chování modelu v oblasti duševního zdraví. Tato chování definovali odborníci na duševní zdraví s cílem zachytit jemné rozdíly ve výkonu modelů. Modely s podobným celkovým skóre mohou mít v těchto oblastech rozdílné silné stránky.

Takto podrobné měření může výzkumníkům pomoci určit možnosti zlepšení u srozumitelně vymezených druhů chování modelu. Například vidíme, že u pokročilejších modelů vzrostla schopnost vhodně si vyžádat kontext. Tato zlepšení odrážejí investice OpenAI a dalších poskytovatelů do zdokonalování způsobu, jakým modely vedou konverzace o duševním zdraví.

Vedle MentalHealthBench jsme provedli samostatnou analýzu, která porovnávala doporučení odborníků s tím, co lidé považují za užitečné při podpoře poskytované AI. Chtěli jsme ověřit, zda odpovědi, které odborníci hodnotili vysoko, mohou uživatelům i nadále připadat chladné nebo neužitečné. Porovnáním hodnocení odpovědí modelu uživateli i odborníky a kritérií, která sepsali, jsme mohli vyčíslit, kde se jejich pohledy shodovaly, lišily nebo vzájemně doplňovaly. Konečná hodnoticí kritéria benchmarku vycházejí z konsenzu odborníků; tato samostatná analýza je nezměnila.

Spolupracovali jsme se 44 dospělými, kteří využívali AI kvůli duševnímu zdraví nebo emoční podpoře a pocházeli ze 16 zemí a 14 jazykových prostředí. Účastníci hodnotili odpovědi modelů na syntetické konverzace a sepsali kritéria popisující podobu užitečné podpory. Jejich hodnocení se omezilo na neakutní konverzace, aby nebyli vystaveni potenciálně znepokojivému materiálu s vysokou naléhavostí.

Pohled uživatelů zdůraznil vlastnosti, kterých si lidé u podpory poskytované AI cení, ale odborná doporučení je akcentovala méně – zejména praktické další kroky a tón komunikace. Odborníci kladli větší důraz na získání relevantního kontextu a pečlivou interpretaci nejednoznačných situací. Toto srovnání nám poskytuje ucelenější obraz o tom, čeho si lidé u podpory cení a jak jejich preference souvisejí s klinickými doporučeními.

MentalHealthBench poskytuje odborníkům, výzkumníkům a vývojářům společný nástroj k hodnocení bezpečné a užitečné podpory AI v různých situacích týkajících se duševního zdraví. Jeho otevřeným zveřejněním vyzýváme komunitu, aby prozkoumala jeho metody, odhalila nedostatky stávajících modelů a podílela se na zlepšování budoucích modelů. Žádný benchmark nezachytí vše, na čem v osobní konverzaci záleží, ale doufáme, že MentalHealthBench pomůže nastavit vyšší standard toho, jak AI podporuje lidi.

Podporujeme také další aktivity v oblasti AI a duševního zdraví, mimo jiné prostřednictvím grantů na nový výzkum, pořádáním setkání odborníků s organizací Partnership on AI⁠(otevře se v novém okně) a pomocí doplňkovým nezávislým projektům, jako je evaluace duševního zdraví⁠(otevře se v novém okně) od Transluce.

Souběžně s tímto výzkumem jsme zlepšili odpovědi ChatGPT v citlivých konverzacích, rozšířili přístup ke krizovým zdrojům a přidali funkci Důvěryhodný kontakt, která lidem ve chvílích tísně umožňuje spojit se s někým, komu důvěřují. Představili jsme také ChatGPT pro dospívající s dalšími ochrannými prvky pro mladší uživatele.

MentalHealthBench je jedním ze způsobů, jak pracujeme na AI, která milionům lidí pomůže zvládat těžké chvíle, posilovat vztahy a žít zdravější a naplněnější život.