Представляємо MentalHealthBench

Люди звертаються до ШІ з найрізноманітніших питань: як упоратися зі складнощами у стосунках, подолати повсякденний стрес, підтримати близьку людину або вирішити, як діяти в непростій ситуації. Такі розмови вимагають точності, практичної розсудливості та поваги до самостійності людей у прийнятті рішень. Оскільки ChatGPT щотижня користуються понад один мільярд людей, наші дослідження спрямовані на те, щоб допомогти моделям обачно реагувати на широкий спектр потреб і ставити безпеку та благополуччя людей на перше місце.

Більшість оцінювань ШІ в цій сфері зосереджувалися переважно на надзвичайних ситуаціях через їхню важливість для безпеки та вимірювали успішність за широкими, заздалегідь визначеними критеріями. Через це залишалася прогалина в розумінні того, як моделі працюють у всьому спектрі розмов про психічне здоров’я та наскільки їхні відповіді відповідають рекомендаціям експертів у кожній конкретній ситуації, а не лише того, чи уникають вони заборонених відповідей. Оцінювання того, як моделі справляються з такими різними ситуаціями, має ключове значення для створення ШІ, який активно сприяє довгостроковому благополуччю та безпеці людей.

Ми представляємо MentalHealthBench — новий відкритий бенчмарк для оцінювання того, як системи ШІ реагують у реалістичних розмовах про психічне здоров’я. MentalHealthBench було створено спільно з міжнародною групою з 80 ліцензованих фахівців у сфері психічного здоров’я з 22 країн. Він оцінює можливості моделей за ключовими аспектами взаємодії у сфері психічного здоров’я, зокрема безпечністю, з’ясуванням контексту, збереженням самостійності користувача у прийнятті рішень і наданням практичних рекомендацій, коли це доречно. Ми публікуємо його у відкритому доступі, щоб інші дослідники могли вивчати методи, проводити власні оцінювання та розвивати цю роботу.

Результати на MentalHealthBench показують поступове вдосконалення систем ШІ у допомозі людям орієнтуватися у ситуаціях психічного здоров'я. Хоча ChatGPT не є заміною терапії чи професійної допомоги, експертні інсайти допомагають оцінити прогрес у створенні моделей ШІ, здатних реагувати емпатично, сприяти добробуту та спрямовувати людей до реальної підтримки, такої як локалізовані кризові гарячі лінії⁠(відкривається у новому вікні) або людина, якій вони довіряють.

Розмови, що стосуються добробуту, життєвих порад чи інших ситуацій психічного здоров'я, можуть суттєво відрізнятися за темою, терміновістю та культурним контекстом. MentalHealthBench створений для того, щоб охопити широту цих реалістичних сценаріїв і образів користувачів. Використовуючи техніки збереження приватності, ми створювали синтетичні розмови про психічне здоров'я, які точно відображають реальні моделі використання ШІ для психічного здоров'я. Деякі сценарії також містять релевантну фонову інформацію про користувача синтетика — наприклад, нещодавню втрату в родині — щоб ми могли оцінити, чи використовують моделі цей контекст для адаптації своїх реакцій.

MentalHealthBench містить сценарії за участю дорослих, підлітків, осіб, які здійснюють догляд, і медичних фахівців із різних мовних і регіональних груп. Розмови охоплюють різні тематичні напрями та весь спектр ступенів гостроти ситуації:

• Негострі —Повсякденні розмови, які можуть включати емоційні компоненти.

• Високої гостроти— розмови, що вказують на серйозніші проблеми з психічним здоров'ям або значний стрес, але не про негайну надзвичайну ситуацію.

• Надзвичайні ситуації— Розмови, що стосуються ознак психічної надзвичайної ситуації або негайних проблем із безпекою, які потребують термінової реальної підтримки.

Спираючись на нашу попередню роботу, засновану на потребах клініцистів, для HealthBench та HealthBench Professional⁠(відкривається у новому вікні),⁠(відкривається у новому вікні) MentalHealthBench було розроблено в тісній співпраці з нашою групою фахівців у сфері психічного здоров’я. До неї увійшли понад 80 ліцензованих психологів і психіатрів із 22 країн, які розмовляють 19 мовами та представляють майже 20 вузьких спеціалізацій у сфері психічного здоров’я.

Експерти відповідали за читання кожної синтетичної розмови та складання детального списку критеріїв для оцінки відповідей моделі на останнє повідомлення користувача. Кожен критерій спрямований на один аспект відповіді моделі, наприклад, на правильне запитання або на надання найкращої поради. Кожен із них має вагу від -10 до +10: позитивні бали винагороджують корисну поведінку, негативні — шкідливі, а критерії з більшими значеннями вказують на більшу клінічну важливість у контексті розмови.

Кожну розмову перевіряли щонайменше троє експертів, і до фінальної версії бенчмарку включали лише ті критерії, які схвалили всі вони. Тому остаточні критерії оцінювання в бенчмарку відображають спільне бачення того, як моделі мають реагувати в кожному конкретному контексті. Для кожної розмови ми використовуємо автоматизованого оцінювача GPT‑5.6 Sol, щоб зіставляти відповіді моделей із критеріями, сформульованими експертами. У статті докладно описано процес оцінювання та його налаштування.

Ми оцінили широкий спектр моделей за допомогою MentalHealthBench. Наведені нижче результати показують ефективність цих моделей на всьому наборі даних і за гостротою стану в розмовах. Оцінювання визначає, чи демонструє відповідь моделі всі ідеальні типи поведінки, визначені експертами для кожного сценарію, і водночас уникає забороненої поведінки

Ми створили синтетичні розмови, що представляють чотири типи користувачів: дорослих, підлітків віком 13–17 років, осіб, які здійснюють догляд, і клініцистів. Довідкову інформацію ми надавали в системних повідомленнях, а для образу підлітка прямо зазначали, що користувачеві від 13 до 17 років. Цей підхід розрахований на моделі різних постачальників, хоча може не враховувати всі засоби захисту, вбудовані в окремі продукти.

Для кожної розмови клініцисти сформулювали критерії того, що має містити належна наступна відповідь і чого в ній слід уникати, а ми оцінили відповіді моделей за цими критеріями. Розмови з образом підлітка перевіряли клініцисти, які спеціалізуються на психічному здоров’ї молоді, щоб оцінити відповідність відповідей унікальним потребам підлітків.

MentalHealthBench також дає змогу багатогранно вимірювати поведінку моделі. Загальну оцінку можна розкласти на показники за десятьма аспектами поведінки моделі у сфері психічного здоров’я. Ці аспекти поведінки визначені експертами з психічного здоров’я й покликані врахувати нюанси ефективності моделі. Моделі зі схожими загальними оцінками можуть мати різні сильні сторони за цими аспектами поведінки.

Таке детальне вимірювання може допомогти дослідникам визначати напрями вдосконалення за зрозумілими аспектами поведінки моделі. Наприклад, ми бачимо, що здатність моделі належним чином з’ясовувати контекст зростає в міру вдосконалення моделей. Ці поліпшення відображають інвестиції OpenAI та інших постачальників моделей у вдосконалення того, як моделі ведуть розмови про психічне здоров’я.

Паралельно з MentalHealthBench ми провели окремий аналіз, щоб порівняти рекомендації клініцистів із тим, що люди вважають корисним у підтримці за допомогою ШІ. У бенчмарку використовуються критерії оцінювання, складені клініцистами; цей аналіз досліджував, де погляди користувачів і клініцистів збігалися, відрізнялися або суперечили один одному.

Ми працювали із 44 дорослими з 16 країн, які розмовляли 14 мовами й використовували ШІ для підтримки психічного здоров’я чи емоційної підтримки. Учасники оцінювали відповіді моделей у синтетичних розмовах і складали критерії того, якою має бути корисна підтримка. Їхній огляд обмежувався розмовами про негострі стани, щоб не наражати учасників на потенційно травматичні матеріали про стани високої гостроти.

Погляди користувачів висвітлили якості, які люди цінують у підтримці за допомогою ШІ, але яким у рекомендаціях клініцистів приділялося менше уваги, зокрема практичні наступні кроки й тон. Клініцисти більше наголошували на збиранні доречного контексту й ретельному тлумаченні неоднозначних ситуацій. Це порівняння дає нам повніше уявлення про те, що люди цінують у підтримці та як ці вподобання співвідносяться з рекомендаціями клініцистів.

MentalHealthBench пропонує експертам, дослідникам і розробникам спільний інструмент для оцінювання безпечної та корисної підтримки ШІ в різних ситуаціях, пов’язаних із психічним здоров’ям. Відкриваючи до нього доступ, ми запрошуємо спільноту досліджувати його методи, виявляти прогалини в наявних моделях і працювати над їх удосконаленням. Жоден бенчмарк не охоплює всього, що має значення в особистій розмові, але ми сподіваємося, що MentalHealthBench допоможе встановити вищі стандарти підтримки людей за допомогою ШІ.

Ми також підтримуємо інші ініціативи у сфері ШІ та психічного здоров’я, зокрема надаємо гранти на нові дослідження, об’єднуємо експертів спільно з Partnership on AI⁠(відкривається у новому вікні) і допомагаємо незалежним доповнювальним ініціативам, як-от оцінювання психічного здоров’я⁠(відкривається у новому вікні) від Transluce.

Паралельно із цим дослідженням ми покращили відповіді ChatGPT в делікатних розмовах, розширили доступ до кризових ресурсів і додали функцію «Довірений контакт», щоб у моменти дистресу люди могли зв’язатися з тим, кому довіряють. Ми також представили ChatGPT для підлітків із додатковими засобами захисту для молодших користувачів.

MentalHealthBench — один зі способів, у які ми працюємо над ШІ, що допомагає мільйонам людей долати складні моменти, зміцнювати стосунки й жити здоровішим і повноціннішим життям.