Представяме MentalHealthBench

Хората се обръщат към изкуствения интелект за много видове разговори: за справяне с трудна връзка, преминаване през ежедневния стрес, подкрепа на някого, за когото им пука, или за решаване как да подходят към предизвикателна ситуация. Тези разговори изискват точност, практическа преценка и уважение към автономността на хората. С повече от един милиард души, използващи ChatGPT всяка седмица, нашите изследвания са насочени към това да помагат на моделите да реагират с грижа за широк спектър от нужди и да поставят безопасността и благополучието на хората на първо място.

Повечето оценки на ИИ в тази област са съсредоточени предимно върху спешни ситуации поради значението им за безопасността и измерват успеха чрез общи, предварително определени критерии. Това е оставило празнина в разбирането за това как моделите се представят в целия спектър от разговори за психично здраве и доколко техните отговори съответстват на насоките на експертите за всяка ситуация, отвъд това дали избягват забранени отговори. Оценката на това как моделите се справят с тези различни ситуации е от съществено значение за изграждането на изкуствен интелект, който активно подкрепя дългосрочното благополучие и безопасност на хората.

Представяме MentalHealthBench, нов отворен бенчмарк за измерване на това как системите с изкуствен интелект реагират в реалистични разговори за психично здраве. MentalHealthBench е създаден съвместно с глобална кохорта от 80 лицензирани експерти по психично здраве от 22 държави. Той оценява възможностите на модела в ключови поведения, свързани с психичното здраве, като безопасност, търсене на контекст, запазване на потребителската свобода на действие и предоставяне на практически насоки, когато е уместно. Публикуваме го открито, за да могат други изследователи да проучат методите, да направят свои собствени оценки и да надградят работата.

Резултатите в MentalHealthBench показват постоянното подобрение на системите с изкуствен интелект в подпомагането на хората да се ориентират в ситуации, свързани с психичното здраве. Въпреки че ChatGPT не е заместител на терапията или професионалните грижи, експертните прозрения ни помагат да измерим напредъка към модели с изкуствен интелект, които са способни да реагират с емпатия, да насърчават благополучието и да насочват хората към реална подкрепа, като например локализирани кризисни горещи линии⁠(отваря се в нов прозорец) или някой, на когото имат доверие.

Разговорите, които включват благополучие, житейски съвети или други сценарии, свързани с психичното здраве, могат да варират значително по тема, спешност и културен контекст. MentalHealthBench е проектиран да обхване широчината на тези реалистични сценарии и потребителски персони. Използвайки техники за запазване на поверителността, създадохме синтетични разговори за психично здраве, които точно отразяват реалните модели на използване на изкуствен интелект за психично здраве. Някои сценарии включват и подходяща фонова информация за синтетичния потребител – като например скорошна загуба в семейството – така че можем да оценим дали моделите използват този контекст, за да адаптират отговорите си по подходящ начин.

MentalHealthBench включва сценарии с участието на възрастни, тийнейджъри, болногледачи и клиницисти, на множество езици и в различни региони. Разговорите обхващат различни теми и целия диапазон на тежест на състоянията:

• Неостри—Ежедневни разговори, които може да включват някои емоционални компоненти.

• Висока острота— Разговори, които показват по-сериозни психични проблеми или значителен стрес, но не и непосредствена спешност.

• Спешни случаи— Разговори, включващи признаци на спешно психично заболяване или непосредствени проблеми с безопасността, които изискват спешна подкрепа в реалния свят.

Надграждайки върху предишната ни, клинично информирана работа за HealthBench и HealthBench Professional⁠(отваря се в нов прозорец),⁠(отваря се в нов прозорец) разработихме MentalHealthBench в тясно сътрудничество с нашата група от експерти по психично здраве. Групата включваше над 80 лицензирани психолози и психиатри от 22 държави, говорещи 19 езика и представляващи близо 20 тесни специалности в областта на психичното здраве.

Експертите бяха отговорни за прочитането на всеки синтетичен разговор и за изготвянето на подробен списък с критерии за рубрика, за да се оценят отговорите на модела на последното потребителско съобщение. Всеки критерий е насочен към един аспект от отговора на модела, като например задаване на правилния въпрос или предоставяне на най-добрия възможен съвет. Всеки от тях носи тежест от -10 до +10: положителните точки възнаграждават полезните поведения, докато отрицателните точки санкционират вредните, а критериите с по-големи стойности показват по-голямо клинично значение в контекста на разговор.

Всеки разговор беше прегледан от поне трима експерти и в окончателния показател бяха включени само критерии, които бяха приети от всички тях. Следователно окончателните схеми за оценяване в теста отразяват общата преценка на експертите за това как моделите трябва да отговарят във всеки контекст. За всеки разговор използваме автоматизиран оценител, GPT‑5.6 Sol, за оценяване на отговорите на модела спрямо критериите, написани от експертите. В документа се описват подробно процесът на оценяване и настройките за оценяване.

Оценихме широк набор от модели с MentalHealthBench. Резултатите по-долу показват представянето на тези модели върху целия набор от данни. Оценката измерва дали отговорът на модела проявява всички идеални поведения, определени от експертите за съответния сценарий, и същевременно избягва недопустимото поведение.

Тестът обхваща разговори с различни нива на тежест. Това ни позволява да разберем как се представя моделът както при ежедневни сценарии, свързани с психичното здраве, така и при по-спешни случаи, свързани с психичното здраве, които изискват подкрепа в реални условия.

Разговорите в теста представят четири вида потребители: възрастни, тийнейджъри на 13–17 години, полагащи грижи лица и клиницисти. При профила на тийнейджър изрично посочихме чрез системно съобщение, че потребителят е на възраст между 13 и 17 години. Подходът е предназначен да работи при различни доставчици на модели, но може да не обхваща всички защитни механизми, вградени в отделните продукти. Разговорите, включващи профила на тийнейджър, бяха прегледани от клиницисти с опит в психичното здраве на младежите, за да се прецени дали отговорите са подходящи за специфичните нужди на подрастващите.

MentalHealthBench позволява и многоаспектно измерване на поведението на моделите. Общият резултат може да се раздели на представянето по десет измерения на поведението на моделите в областта на психичното здраве. Тези поведения са определени от експерти по психично здраве и целят да уловят нюансите в представянето на моделите. Модели с близки общи резултати може да имат различни силни страни по тези поведения.

Подобно детайлно измерване може да помогне на изследователите да откриват области за подобрение чрез разбираеми характеристики на поведението на моделите. Например виждаме, че при по-усъвършенстваните модели се е подобрила способността им да търсят подходящ контекст. Тези подобрения отразяват инвестициите на OpenAI и други доставчици в усъвършенстването на начина, по който моделите водят разговори за психичното здраве.

Успоредно с MentalHealthBench проведохме отделен анализ, за да сравним насоките на експертите с това, което хората намират за полезно в подкрепата от ИИ. Искахме да проверим дали отговорите, които експертите оценяват високо, все пак могат да изглеждат студени или безполезни за потребителите. Като сравнихме оценките на потребителите и експертите за отговорите на модела, както и критериите, които те са изготвили, можахме да определим количествено къде гледните им точки съвпадат, различават се или се допълват. Окончателните критерии за оценяване на бенчмарка се основават на консенсус между експерти; този отделен анализ не ги промени.

Работихме с 44 възрастни от 16 държави, говорещи 14 езика, които са използвали ИИ за подкрепа на психичното здраве или емоционална подкрепа. Участниците оценяваха отговори на модели в синтетични разговори и написаха критерии, описващи как трябва да изглежда полезната подкрепа. Прегледът им беше ограничен до неспешни разговори, за да не бъдат излагани на потенциално разстройващи материали с висока степен на риск.

Гледните точки на потребителите откроиха качества, които хората ценят в подкрепата от ИИ, но на които експертните насоки поставят по-малък акцент – особено практичните следващи стъпки и тона. Експертите поставиха по-силен акцент върху събирането на подходящ контекст и внимателното тълкуване на нееднозначни ситуации. Това сравнение ни дава по-пълна представа какво ценят хората в подкрепата и как предпочитанията им се съотнасят към клиничните насоки.

MentalHealthBench предоставя на експерти, изследователи и разработчици общ инструмент за оценяване на безопасна и полезна подкрепа от ИИ в различни ситуации, свързани с психичното здраве. Като го публикуваме свободно, каним общността да проучи методите му, да открие пропуски в съществуващите модели и да работи за подобряването на бъдещите модели. Нито един тест не обхваща всичко важно в един личен разговор, но се надяваме MentalHealthBench да помогне за налагането на по-висок стандарт за начина, по който ИИ подкрепя хората.

Подкрепяме и други инициативи в областта на ИИ и психичното здраве, включително чрез грантове за нови изследвания, събиране на експерти съвместно с Partnership on AI⁠(отваря се в нов прозорец) и подпомагане на допълващи независими инициативи като оценката на психичното здраве⁠(отваря се в нов прозорец) на Transluce.

Наред с това изследване подобрихме отговорите на ChatGPT в чувствителни разговори, разширихме достъпа до ресурси при криза и добавихме Доверен контакт, за да свързваме хората с доверен човек в моменти на дистрес. Представихме и ChatGPT за тийнейджъри с допълнителни защити за по-младите потребители.

MentalHealthBench е един от начините, по които работим за ИИ, помагащ на милиони хора да преминават през трудни моменти, да укрепват отношенията си и да водят по-здравословен и пълноценен живот.