Представляем MentalHealthBench

Люди обращаются к ИИ для решения самых разных задач: урегулирования сложных взаимоотношений, преодоления повседневного стресса, оказания поддержки близким или принятия решений в непростой ситуации. Для таких разговоров необходимы точность, практическое суждение и уважение к свободе выбора людей. Еженедельно ChatGPT пользуется более миллиарда человек, и наши исследования направлены на то, чтобы помочь моделям реагировать с заботой на широкий спектр потребностей, ставя безопасность и благополучие людей на первое место.

Большинство оценок ИИ в этой области сосредоточены в основном на чрезвычайных ситуациях, учитывая их важность для безопасности, и измеряют успех, используя широкие, заранее определенные критерии. Это создало пробел в понимании того, как модели работают во всем спектре разговоров о психическом здоровье и насколько хорошо их ответы соответствуют рекомендациям экспертов для каждой ситуации, помимо того, избегают ли они запрещенных ответов. Оценка того, как модели справляются с этими различными ситуациями, имеет важное значение для создания ИИ, который активно поддерживает долгосрочное благополучие и безопасность людей.

Мы представляем MentalHealthBench, новый открытый бенчмарк для измерения реакции систем ИИ на реалистичные разговоры о психическом здоровье. MentalHealthBench был создан совместно с глобальной группой из 80 лицензированных экспертов в области психического здоровья из 22 стран. В нем оцениваются возможности моделей по ключевым видам поведения в области психического здоровья, таким как безопасность, поиск контекста, сохранение свободы действий пользователей и предоставление действенных рекомендаций, когда это необходимо. Мы публикуем его в открытом доступе, чтобы другие исследователи могли изучать методы, проводить собственные оценки и развивать работу.

Результаты MentalHealthBench демонстрируют, демонстрируют устойчивое улучшение работы систем ИИ в оказании помощи людям в решении проблем, связанных с психическим здоровьем. Хотя ChatGPT не заменяет терапию или профессиональную помощь, экспертные оценки помогают нам измерять прогресс в создании моделей ИИ, способных реагировать с эмпатией, способствовать благополучию и направлять людей к реальной поддержке, такой как локальные горячие линии помощи в кризисных ситуациях⁠(открывается в новом окне) или к тем, кому они доверяют.

Разговоры, касающиеся благополучия, жизненных советов или других ситуаций, связанных с психическим здоровьем, могут значительно различаться по тематике, срочности и культурному контексту. MentalHealthBench разработан для того, чтобы охватить весь спектр этих реалистичных сценариев и пользовательских профилей. Используя методы, обеспечивающие конфиденциальность, мы создали синтетические диалоги о психическом здоровье, которые точно отражают реальные модели использования ИИ в этой области. В некоторых сценариях также учитывается соответствующая справочная информация о смоделированном пользователе, например, недавняя потеря в семье, чтобы мы могли оценить, используют ли модели этот контекст для соответствующей адаптации своих ответов.

MentalHealthBench включает сценарии с участием взрослых, подростков, лиц, осуществляющих уход, и клиницистов, на разных языках и в разных регионах. Разговоры охватывают различные темы и весь спектр степеней остроты состояния:

• Неострые —повседневные разговоры, которые могут включать в себя некоторые эмоциональные составляющие.

• Высокая острота— разговоры, указывающие на более серьезные проблемы с психическим здоровьем или значительный дистресс, но не являющиеся неотложной чрезвычайной ситуацией.

• Чрезвычайные ситуации — разговоры с признаками острого кризиса в области психического здоровья или непосредственной угрозы безопасности, требующей срочной помощи в реальной жизни.

Опираясь на нашу предыдущую работу над HealthBench и HealthBench Professional⁠(открывается в новом окне), проводившуюся с учетом экспертного мнения клиницистовМы⁠(открывается в новом окне) разработали MentalHealthBench в тесном сотрудничестве с нашей группой экспертов в области психического здоровья. В состав группы вошли более 80 лицензированных психологов и психиатров из 22 стран, говорящих на 19 языках и представляющих почти 20 узких специализаций в области психического здоровья.

Эксперты отвечали за прочтение каждого синтезированного диалога и составление подробного списка критериев для оценки ответов модели на последнее сообщение пользователя. Каждый критерий нацелен на отдельный аспект реакции модели, например, на умение задавать правильные вопросы или предоставлять наилучшие возможные рекомендации. Каждый из них имеет вес от -10 до +10: положительные баллы поощряют полезное поведение, отрицательные — вредное, а критерии с большими значениями указывают на большую клиническую значимость в контексте разговора.

Каждый разговор был рассмотрен как минимум тремя экспертами, и в итоговый бенчмарк были включены только те критерии, которые были приняты всеми экспертами. Таким образом, окончательные критерии оценки отражают общее мнение о том, как модели должны реагировать в каждом конкретном контексте. Для каждой беседы мы используем автоматизированную систему оценки GPT‑5.6 Sol, которая анализирует ответы модели по критериям, разработанным экспертами. В статье подробно описаны процесс выставления оценок и условия проведения аттестации.

Мы оценили широкий спектр моделей в MentalHealthBench. Ниже представлены результаты работы этих моделей на всём наборе данных. Оценка показывает, демонстрирует ли ответ модели все идеальные модели поведения, определённые экспертами для каждого сценария, и избегает ли недопустимого поведения.

Бенчмарк охватывает разговоры с разной степенью остроты состояния. Это позволяет нам понять эффективность модели как в повседневных сценариях, связанных с психическим здоровьем, так и в более неотложных чрезвычайных ситуациях в области психического здоровья, требующих поддержки в реальных условиях.

Разговоры в бенчмарке представляют четыре типа пользователей: взрослых, подростков 13–17 лет, лиц, осуществляющих уход, и клиницистов. Для подросткового персонажа мы явно указывали в системном сообщении, что пользователю от 13 до 17 лет. Этот подход рассчитан на работу с моделями разных поставщиков, хотя он может учитывать не все меры защиты, встроенные в отдельные продукты. Разговоры с персонажем-подростком проверяли специалисты по психическому здоровью молодёжи, чтобы оценить соответствие ответов особым потребностям подростков.

MentalHealthBench также позволяет проводить многоаспектную оценку поведения моделей. Общий балл можно разложить на показатели по десяти аспектам поведения модели в разговорах о психическом здоровье. Эти аспекты определены экспертами по психическому здоровью и призваны учитывать нюансы эффективности модели. Модели с близкими общими баллами могут иметь разные сильные стороны по этим аспектам.

Такая детальная оценка помогает исследователям выявлять возможности для улучшения по понятным аспектам поведения модели. Например, мы видим, что более совершенные модели лучше запрашивают необходимый контекст. Эти улучшения отражают инвестиции OpenAI и других поставщиков в развитие способности моделей вести разговоры о психическом здоровье.

Наряду с MentalHealthBench мы провели отдельный анализ, чтобы сравнить рекомендации экспертов с тем, что люди считают полезным в поддержке со стороны ИИ. Мы хотели проверить, могут ли ответы, высоко оценённые экспертами, всё же казаться пользователям холодными или бесполезными. Сравнив оценки ответов модели пользователями и экспертами, а также составленные ими критерии, мы смогли количественно определить, в чём их точки зрения совпадали, различались или дополняли друг друга. Окончательные критерии оценки бенчмарка основаны на консенсусе экспертов; этот отдельный анализ не повлиял на них.

В исследовании участвовали 44 взрослых из 16 стран, говорящих на 14 языках и ранее использовавших ИИ для поддержки психического здоровья или эмоциональной поддержки. Участники оценивали ответы моделей на синтетические разговоры и составляли критерии полезной поддержки. Они рассматривали только разговоры о неострых состояниях, чтобы не подвергать их воздействию потенциально тяжёлых материалов о состояниях высокой остроты.

Отзывы пользователей выявили качества поддержки со стороны ИИ, которые важны людям, но реже подчёркиваются в рекомендациях экспертов, особенно практические дальнейшие шаги и тон ответа. Эксперты уделяли больше внимания сбору необходимого контекста и осторожной интерпретации неоднозначных ситуаций. Это сравнение даёт более полное представление о том, что люди ценят в поддержке и как их предпочтения соотносятся с клиническими рекомендациями.

MentalHealthBench предоставляет экспертам, исследователям и разработчикам общий инструмент для оценки безопасной и полезной поддержки со стороны ИИ в различных ситуациях, связанных с психическим здоровьем. Публикуя его в открытом доступе, мы приглашаем сообщество изучать его методы, выявлять недостатки существующих моделей и работать над улучшением будущих моделей. Ни один бенчмарк не охватывает всё, что важно в личном разговоре, но мы надеемся, что MentalHealthBench поможет задать более высокий стандарт поддержки людей с помощью ИИ.

Мы также поддерживаем другие инициативы в области ИИ и психического здоровья, включая гранты на новые исследования, встречи экспертов совместно с Partnership on AI⁠(открывается в новом окне) и помощь независимым проектам, дополняющим нашу работу, таким как оценка в области психического здоровья⁠(открывается в новом окне) от Transluce.

Наряду с этим исследованием мы улучшили ответы ChatGPT в деликатных разговорах, расширили доступ к ресурсам кризисной помощи и добавили функцию «Доверенный контакт», чтобы в моменты дистресса люди могли связаться с тем, кому доверяют. Мы также представили ChatGPT для Подростков с дополнительными мерами защиты молодых пользователей.

MentalHealthBench — одно из направлений нашей работы над ИИ, который помогает миллионам людей справляться с трудными моментами, укреплять отношения и вести более здоровую и полноценную жизнь.