Ви го претставуваме MentalHealthBench

Луѓето се обраќаат кон вештачката интелигенција за најразлични видови разговори: справување со тешка врска, справување со секојдневниот стрес, поддршка на некој што им е важен или одлучување како да се пристапи кон тешка ситуација. Овие разговори бараат точност, практична процена и почитување на автономијата на луѓето. Со оглед на тоа што повеќе од една милијарда луѓе кои го користат ChatGPT секоја недела, нашето истражување се фокусира на помагање на моделите да реагираат грижливо на широк спектар на потреби и да ја стават безбедноста и благосостојбата на луѓето на прво место.

Повеќето евалуации на вештачката интелигенција во оваа област се фокусираа првенствено на итни сценарија, со оглед на нивната важност за безбедноста, и го мерат успехот користејќи широки, однапред дефинирани критериуми. Ова остави празнина во разбирањето како моделите функционираат низ целиот спектар на разговори за ментално здравје и колку добро нивните одговори се усогласуваат со насоките од експертите за секоја ситуација, надвор од тоа дали избегнуваат недозволени одговори. Процената на тоа како моделите се справуваат со овие различни ситуации е од суштинско значење за градење кон вештачка интелигенција која активно ја поддржува долгорочната благосостојба и безбедност на луѓето.

Го претставуваме MentalHealthBench, нов отворен репер за мерење на тоа како системите со вештачка интелигенција реагираат во реални разговори за менталното здравје. MentalHealthBench беше создаден во соработка со глобална група од 80 лиценцирани експерти за ментално здравје од 22 земји. Ги проценува способностите на моделот низ клучните однесувања за ментално здравје, како што се безбедноста, барањето контекст, зачувувањето на активноста на корисникот и обезбедувањето практични насоки тогаш кога е соодветно. Го објавуваме јавно за да можат другите истражувачи да ги испитаат методите, да спроведат свои евалуации и да ја надградуваат работата.

Резултатите на MentalHealthBench покажуваат постојано подобрување на системите со ВИ во помагањето на луѓето да се справат со ментални здравствени ситуации. Иако ChatGPT не е замена за терапија или професионална грижа, експертски информирани сознанија ни помагаат да го измериме напредокот кон модели со ВИ кои можат да реагираат со емпатија, да промовираат благосостојба и да ги насочат луѓето кон реална поддршка како што се локализирани кризни телефонски линии⁠(се отвора во нов прозорец) или кон некого кому му веруваат.

Разговорите што вклучуваат благосостојба, животни совети или други сценарија за ментално здравје можат многу да варираат во темата, итноста и културниот контекст. MentalHealthBench е дизајниран да ја опфати ширината на овие реалистични сценарија и кориснички ликови. Користејќи техники за зачувување на приватноста, создадовме синтетички разговори за ментално здравје кои точно ги одразуваат моделите на употреба на вештачката интелигенција за ментално здравје во реалниот свет. Некои сценарија исто така вклучуваат релевантни позадински информации за синтетичкиот корисник, како што е неодамнешна загуба во семејството, за да можеме да процениме дали моделите го користат тој контекст за соодветно приспособување на своите одговори.

MentalHealthBench вклучува сценарија со возрасни лица, тинејџери, негуватели и клинички работници, на повеќе јазици и во повеќе региони. Разговорите опфаќаат повеќе тематски теми и обезбедуваат опфат низ целиот спектар на острина:

• Неакутни -Секојдневни разговори што можат да вклучуваат некои емоционални компоненти.

• Висока острина- Разговори што укажуваат на посериозни проблеми со менталното здравје или значителен стрес, но не и на непосредна итна состојба.

• Итни случаи- Разговори што вклучуваат знаци на вонредна состојба во менталното здравје или непосредни безбедносни проблеми што бараат итна поддршка во реалниот свет.

Надоврзувајќи се на нашата претходна работа, информирана од клиничките работници, за HealthBench и HealthBench Professional⁠(се отвора во нов прозорец),⁠(се отвора во нов прозорец) го развивме MentalHealthBench во тесна соработка со нашата група експерти за ментално здравје. Ова се состоеше од повеќе од 80 лиценцирани психолози и психијатри од 22 земји, кои зборуваа 19 јазици и претставуваа речиси 20 супспецијалности за ментално здравје.

Експертите беа одговорни за читање на секој синтетички разговор и за изработка на детален список на критериуми за рубрика за да се евалуираат одговорите на моделот на последната порака на корисникот. Секој критериум е насочен кон еден аспект од одговорот на моделот, како што е поставување на вистинското прашање или давање на најдобриот можен совет. Секој од нив носи тежина што се движи од -10 до +10: позитивните поени ги наградуваат корисните однесувања, додека негативните поени ги казнуваат штетните, а критериумите со поголеми вредности укажуваат на поголема клиничка важност во контекст на разговор.

Секој разговор беше прегледан од најмалку три експерти, а само критериумите што беа прифатени од сите нив беа вклучени во конечниот репер. Затоа, конечните критериуми во реперот одразуваат заедничка процена за тоа како моделите треба да реагираат во секој контекст. За секој разговор, користиме автоматизиран оценувач, GPT‑5.6 Sol, за да ги процени одговорите на моделот според критериумите напишани од експертите. Трудот детално го опишува процесот на оценување и поставките за евалуација.

Оценивме широк спектар модели со MentalHealthBench. Резултатите подолу ги прикажуваат перформансите на овие модели врз целата збирка податоци. Евалуацијата мери дали одговорот на моделот ги покажува сите идеални однесувања што експертите ги утврдиле за секое сценарио, притоа избегнувајќи недозволено однесување.

Реперот опфаќа разговори со различни степени на сериозност. Ова ни овозможува да ги разбереме перформансите на моделот и во секојдневни сценарија поврзани со менталното здравје и во поитни случаи поврзани со менталното здравје што бараат поддршка во реалниот свет.

Разговорите во реперот претставуваат четири типа корисници: возрасни лица, тинејџери на возраст од 13 до 17 години, негуватели и клинички работници. Кај тинејџерската персона, преку системска порака изречно наведовме дека корисникот има меѓу 13 и 17 години. Овој пристап е осмислен да функционира кај различни даватели на модели, иако можеби не ги опфаќа сите заштитни мерки вградени во одделните производи. Разговорите со тинејџерската персона ги прегледаа клинички работници стручни за менталното здравје на младите, за да помогнат во процената дали одговорите се соодветни за специфичните потреби на тинејџерите.

MentalHealthBench овозможува и повеќедимензионално мерење на однесувањето на моделот. Вкупниот резултат може да се расчлени на перформанси по должината на десет димензии на однесувањето на моделот во областа на менталното здравје. Овие однесувања ги дефинираат експерти за ментално здравје и тие имаат цел да ги опфатат нијансите во перформансите на моделот. Моделите со слични вкупни резултати може да имаат различни предности кај овие однесувања.

Ваквото детално мерење може да им помогне на истражувачите да утврдат области за подобрување според разбирливи однесувања на моделот. На пример, гледаме дека способноста на моделот соодветно да побара контекст се зголемила кај понапредните модели. Овие подобрувања ги одразуваат вложувањата на OpenAI и на другите даватели во подобрувањето на начинот на кој моделите водат разговори за менталното здравје.

Покрај MentalHealthBench, спроведовме и посебна анализа за да ги споредиме насоките од експертите со она што луѓето го сметаат за корисно во поддршката од ВИ. Сакавме да провериме дали одговорите што експертите ги оценија високо сепак може да им делуваат студено или некорисно на корисниците. Со споредување на оценките на корисниците и експертите за одговорите на моделот, како и на критериумите што ги напишаа, можевме да измериме каде нивните гледишта се совпаѓаат, се разликуваат или се надополнуваат. Конечните критериуми за бодување на реперот се засноваат на консензус на експертите; оваа посебна анализа не ги промени.

Работевме со 44 возрасни лица од 16 земји и со 14 јазици, кои користеле ВИ за ментално здравје или емоционална поддршка. Учесниците ги оценија одговорите на моделите во синтетички разговори и напишаа критериуми што опишуваат како треба да изгледа корисната поддршка. Нивниот преглед беше ограничен на неакутни разговори за да не бидат изложени на потенцијално вознемирувачки материјал со висок степен на сериозност.

Гледиштата на корисниците истакнаа квалитети што луѓето ги ценат во поддршката од ВИ, а кои беа помалку нагласени во насоките од експерти, особено практичните следни чекори и тонот. Експертите ставија поголем акцент врз прибирањето релевантен контекст и внимателното толкување на двосмислените ситуации. Оваа споредба ни дава поцелосна слика за тоа што луѓето ценат во поддршката и како тие претпочитања се поврзани со клиничките насоки.

MentalHealthBench им дава на експертите, истражувачите и програмерите заедничка алатка за оценување безбедна и корисна поддршка од ВИ во различни ситуации поврзани со менталното здравје. Со неговото јавно објавување ја повикуваме заедницата да ги испита методите, да ги утврди недостатоците во постојните модели и да работи на подобрување на идните модели. Ниту едно мерило не опфаќа сè што е важно во личен разговор, но се надеваме дека MentalHealthBench ќе помогне да се постави повисок стандард за начинот на кој ВИ ги поддржува луѓето.

Поддржуваме и други активности во областа на ВИ и менталното здравје, меѓу другото преку грантови за нови истражувања, собирање експерти со Partnership on AI⁠(се отвора во нов прозорец) и помагање на дополнителни независни иницијативи, како што е евалуацијата на менталното здравје⁠(се отвора во нов прозорец) од Transluce.

Паралелно со ова истражување, ги подобривме одговорите на ChatGPT во чувствителни разговори, го проширивме пристапот до ресурси за кризни состојби и додадовме доверливо лице за контакт за да можат луѓето во моменти на вознемиреност да се поврзат со лице на кое му веруваат. Го воведовме и ChatGPT за тинејџери, со дополнителна заштита за помладите корисници.

MentalHealthBench е еден од начините на кои работиме кон ВИ што ќе им помага на милиони луѓе да ги надминат тешките моменти, да ги зајакнат своите односи и да живеат поздрав и поисполнет живот.