Bemutatkozik a MentalHealthBench

Az emberek sokféle beszélgetéshez fordulnak a mesterséges intelligenciához: nehéz kapcsolatokban való eligazodáshoz, a mindennapi stressz leküzdéséhez, egy számukra fontos személy támogatásához, vagy egy kihívást jelentő helyzet megközelítésének eldöntéséhez. Ezek a beszélgetések pontosságot, gyakorlatias ítélőképességet és az emberek önrendelkezésének tiszteletben tartását igénylik. Mivel a ChatGPT‑t hetente több mint egymilliárd ember használja, kutatásunk arra összpontosít, hogy segítsük a modelleket abban, hogy széles körű igényekre körültekintően reagáljanak, és az emberek biztonságát és jólétét helyezzék előtérbe.

A mesterséges intelligencia ezen a területen végzett legtöbb értékelése elsősorban a vészhelyzetekre összpontosított, tekintettel azok biztonság szempontjából betöltött fontosságára, és a sikert széles körű, előre meghatározott kritériumok alapján mérte. Ez hiányosságot okozott annak megértésében, hogy a modellek hogyan teljesítenek a mentális egészségügyi beszélgetések teljes skáláján, és hogy a válaszaik mennyire illeszkednek a szakértők útmutatásaihoz az egyes helyzetekben, azon túl, hogy elkerülik-e a nem engedélyezett válaszokat. Annak felmérése, hogy a modellek hogyan kezelik ezeket a különböző helyzeteket, elengedhetetlen ahhoz, hogy olyan mesterséges intelligencia felé haladjunk, amely aktívan támogatja az emberek hosszú távú jólétét és biztonságát.

Bemutatjuk a MentalHealthBench-et, egy új, nyílt benchmarkot, amely azt méri, hogy a mesterséges intelligencia rendszerei hogyan reagálnak a realisztikus mentális egészségügyi beszélgetésekre. A MentalHealthBench-et 22 országból származó, 80 engedéllyel rendelkező mentálhigiénés szakértőből álló globális kohorsz hozta létre. Felméri a modell képességeit a kulcsfontosságú mentális egészségügyi viselkedések terén, mint például a biztonság, a kontextus keresése, a felhasználói cselekvőképesség megőrzése és szükség esetén a gyakorlatban hasznosítható útmutatás nyújtása. Nyíltan közzétesszük, hogy más kutatók is megvizsgálhassák a módszereket, elvégezhessék saját értékeléseiket, és építhessenek a munkára.

A MentalHealthBench eredményei azt mutatják, hogy az MI rendszerek folyamatosan fejlődnek abban, hogy segítsék az embereket a mentális egészségi helyzetekben eligazodni. Bár a ChatGPT nem helyettesíti a terápiát vagy a szakmai ellátást, szakértői megalapozott betekintések segítenek mérni az AI modellek előrehaladását, amelyek képesek empátiával reagálni, elősegíteni a jóllétet, és az embereket a valós támogatáshoz, például helyi válságos segélyvonalakhoz⁠(új ablakban nyílik meg) vagy megbízható személyhez irányítani.

A jólléttel, életvezetési tanácsokkal vagy más mentális egészséggel kapcsolatos beszélgetések témájukban, sürgősségükben és kulturális kontextusukban is nagyon eltérőek lehetnek. A MentalHealthBench úgy lett kialakítva, hogy képes legyen megragadni ezen realisztikus forgatókönyvek és felhasználói személyiségek széles skáláját. Adatvédelmet biztosító technikák alkalmazásával szintetikus mentális egészségügyi beszélgetéseket hoztunk létre, amelyek pontosan tükrözik a mesterséges intelligencia valós használati mintáit a mentális egészség terén. Egyes forgatókönyvek a szintetikus felhasználóval kapcsolatos releváns háttérinformációkat is tartalmaznak – például egy közelmúltbeli családi veszteséget –, így fel tudjuk mérni, hogy a modellek ezt a kontextust használják-e a válaszaik megfelelő testreszabásához.

A MentalHealthBench felnőtteket, tinédzsereket, gondozókat és klinikusokat érintő forgatókönyveket tartalmaz, több nyelven és régióban. A beszélgetések számos aktuális témát ölelnek fel, és a teljes spektrumot lefedik:

• Nem akut –Mindennapi beszélgetések, amelyek érzelmi elemeket is tartalmazhatnak.

• Erős akutságú– Olyan beszélgetések, amelyek súlyosabb mentális egészségügyi problémákra vagy jelentős stresszre utalnak, de nem közvetlen vészhelyzetre.

• Vészhelyzetek– Olyan beszélgetések, amelyek mentális egészségügyi vészhelyzet vagy azonnali biztonsági aggályok jeleit tartalmazzák, és sürgős valós segítséget igényelnek.

A HealthBench és a HealthBench Professional⁠(új ablakban nyílik meg)számára végzett korábbi, klinikusok által megalapozott munkánkra építve,⁠(új ablakban nyílik meg) a MentalHealthBench kifejlesztését mentális egészségügyi szakértőink csoportjával szoros együttműködésben végeztük. Ez 80-nál több, engedéllyel rendelkező, 22 országból érkezett, 19 nyelven beszélő és közel 20 mentális egészségügyi alszakterületet képviselő pszichológusból és pszichiáterből állt.

A szakértők feladata volt az egyes szintetikus beszélgetések elolvasásáért, és egy részletes lista elkészítéséért, amely a rubrikák kritériumait tartalmazza a modell utolsó felhasználói üzenetre adott válaszainak értékeléséhez. Minden kritérium a modellválasz egyetlen aspektusát célozza meg, például a megfelelő kérdés feltevése vagy a lehető legjobb tanácsadás nyújtása. Mindegyikük -10 és +10 közötti súllyal bír: a pozitív pontok a hasznos viselkedéseket jutalmazzák, míg a negatív pontok a károsakat büntetik, a nagyobb értékű kritériumok pedig nagyobb klinikai jelentőséget jeleznek egy beszélgetés kontextusában.

Minden beszélgetést legalább három szakértő tekintett át, és csak azok a kritériumok kerültek be a végső értékelési kritériumokba, amelyeket mindegyikük elfogadott. A benchmark végső rubrikái tehát egy közös megítélést tükröznek arról, hogy a modelleknek hogyan kellene reagálniuk az egyes kontextusokban. Minden beszélgetéshez egy automatizált értékelőt, a GPT‑5.6 Sol modellt használjuk a modellválaszok szakértők által írt kritériumok alapján történő értékelésére. A tanulmány részletesen ismerteti az osztályozási folyamatot és az értékelési feltételeket.

A MentalHealthBench segítségével modellek széles körét értékeltük. Az alábbi eredmények e modellek teljesítményét mutatják be a teljes adatkészleten és a beszélgetések súlyossága szerint. Az értékelés azt méri, hogy a modell válasza megvalósítja-e az egyes forgatókönyvekhez a szakértők által meghatározott összes ideális viselkedést, miközben elkerüli a tiltott viselkedést.

Négy felhasználótípust megjelenítő szintetikus beszélgetéseket hoztunk létre: felnőttekét, 13–17 éves tizenévesekét, gondozókét és klinikusokét. A háttér-információkat rendszerüzenetekben adtuk meg, a tizenéves perszónánál pedig kifejezetten jeleztük, hogy a felhasználó 13–17 éves. Ezt a megközelítést úgy alakítottuk ki, hogy különböző modellszolgáltatóknál is működjön, bár előfordulhat, hogy nem ragadja meg az egyes termékekbe épített összes védelmi mechanizmust.

A klinikusok minden beszélgetéshez kritériumokat írtak arról, mit kell tartalmaznia vagy kerülnie egy megfelelő következő válasznak, majd ezek alapján értékeltük a modellválaszokat. A tizenéves perszónát érintő beszélgetéseket az ifjúsági mentális egészség terén jártas klinikusok vizsgálták felül, hogy felmérjék, megfelelnek-e a válaszok a tizenévesek egyedi szükségleteinek.

A MentalHealthBench a modellviselkedés több szempontú mérését is lehetővé teszi. Az összpontszám a mentális egészséggel kapcsolatos modellviselkedés tíz dimenziója szerinti teljesítményre bontható. Ezeket a viselkedéseket mentális egészségügyi szakértők határozták meg, hogy megragadják a modellteljesítmény finom különbségeit. A hasonló összpontszámú modellek erősségei eltérhetnek e viselkedések mentén.

Az ilyen részletes mérés segíthet a kutatóknak azonosítani a fejlesztendő területeket az értelmezhető modellviselkedések mentén. Azt látjuk például, hogy a fejlettebb modellekkel javult a modellek azon képessége, hogy megfelelően feltárják a kontextust. Ezek a javulások az OpenAI és más modellszolgáltatók azon befektetéseit tükrözik, amelyek célja, hogy a modellek jobban kezeljék a mentális egészségről szóló beszélgetéseket.

A MentalHealthBench mellett külön elemzést is végeztünk, amelyben összevetettük a klinikusok útmutatásait azzal, amit az emberek hasznosnak tartanak az MI által nyújtott támogatásban. A benchmark klinikusok által írt pontozási kritériumokat használ; ez az elemzés azt vizsgálta, hogy a felhasználók és a klinikusok nézőpontjai hol egyeznek, térnek el vagy ütköznek.

44 olyan felnőttel dolgoztunk együtt, akik mentális egészségi vagy érzelmi támogatásra használtak MI-t; 16 országot és 14 nyelvet képviseltek. A résztvevők szintetikus beszélgetésekre adott modellválaszokat értékeltek, és kritériumokat írtak arról, milyennek kell lennie a hasznos támogatásnak. Az értékelésük csak nem akut beszélgetésekre terjedt ki, hogy ne tegyük ki őket potenciálisan felkavaró, magas súlyosságú tartalmaknak.

A felhasználói nézőpontok olyan tulajdonságokat emeltek ki, amelyeket az emberek nagyra értékelnek az MI által nyújtott támogatásban, de a klinikai útmutatások kisebb hangsúlyt helyeztek rájuk – különösen a gyakorlati következő lépéseket és a hangnemet. A klinikusok nagyobb hangsúlyt helyeztek a releváns kontextus feltárására és a kétértelmű helyzetek körültekintő értelmezésére. Ez az összehasonlítás teljesebb képet ad arról, mit tartanak értékesnek az emberek a támogatásban, és hogyan viszonyulnak ezek a preferenciák a klinikai útmutatásokhoz.

A MentalHealthBench közös eszközt biztosít a szakértők, kutatók és fejlesztők számára a biztonságos és hasznos MI-támogatás értékeléséhez a mentális egészséggel kapcsolatos különböző helyzetekben. Nyilvános közzétételével arra hívjuk a közösséget, hogy vizsgálja meg a módszereit, tárja fel a meglévő modellek hiányosságait, és dolgozzon a modellek továbbfejlesztésén. Egyetlen benchmark sem képes megragadni mindazt, ami egy személyes beszélgetésben számít, de reméljük, hogy a MentalHealthBench magasabb mércét állít fel arra vonatkozóan, hogyan támogassa az MI az embereket.

Más, az MI-vel és a mentális egészséggel kapcsolatos kezdeményezéseket is támogatunk, többek között új kutatásokra szóló pályázatokkal, szakértők összehívásával a Partnership on AI⁠(új ablakban nyílik meg) közreműködésével, valamint olyan kiegészítő, független kezdeményezések segítésével, mint a Transluce mentális egészségügyi értékelése⁠(új ablakban nyílik meg).

E kutatás mellett megerősítettük a ChatGPT válaszait az érzékeny beszélgetésekben, bővítettük a krízishelyzetekben elérhető erőforrásokhoz való hozzáférést, és bevezettük a Megbízható kapcsolattartó funkciót, hogy distressz esetén az emberek kapcsolatba léphessenek valakivel, akiben megbíznak. Bevezettük továbbá a ChatGPT tizenéveseknek szolgáltatást, amely további védelmet nyújt a fiatalabb felhasználóknak.

A MentalHealthBench egyike azon kezdeményezéseinknek, amelyekkel olyan MI létrehozásán dolgozunk, amely emberek millióinak segít átvészelni a nehéz pillanatokat, megerősíteni kapcsolataikat, valamint egészségesebb és teljesebb életet élni.