Esittelyssä MentalHealthBench

Ihmiset kääntyvät tekoälyn puoleen monenlaisissa keskusteluissa: vaikean ihmissuhteen selvittämisessä, arkipäivän stressin käsittelyssä, läheisen tukemisessa tai päätöksenteossa, miten haastavaan tilanteeseen kannattaa suhtautua. Nämä keskustelut vaativat tarkkuutta, käytännöllistä harkintakykyä ja ihmisten toimijuuden kunnioittamista. Yli miljardi ihmistä käyttää ChatGPT:tä viikoittain, ja tutkimuksemme keskittyy auttamaan malleja reagoimaan huolellisesti monenlaisiin tarpeisiin ja asettamaan ihmisten turvallisuuden ja hyvinvoinnin etusijalle.

Useimmat tekoälyn arvioinnit tällä alalla ovat keskittyneet ensisijaisesti hätätilanteisiin, koska ne ovat tärkeitä turvallisuuden kannalta, ja mittaavat onnistumista laajojen, ennalta määriteltyjen kriteerien avulla. Tämä on jättänyt aukon ymmärrykseemme siitä, miten mallit suoriutuvat mielenterveyskeskustelujen koko kirjossa ja kuinka hyvin niiden vastaukset vastaavat kunkin tilanteen asiantuntijaohjeita, eikä ainoastaan siitä, välttävätkö ne kiellettyjä vastauksia. On olennaista arvioida, miten mallit käsittelevät näitä erilaisia tilanteita, jotta voidaan kehittää tekoälyä, joka tukee aktiivisesti ihmisten pitkän aikavälin hyvinvointia ja turvallisuutta.

Esittelemme MentalHealthBenchin, uuden avoimen vertailuarvioinnin, jolla mitataan tekoälyjärjestelmien reagointia realistisissa mielenterveyskeskusteluissa. MentalHealthBench luotiin yhteistyössä 80 lisensoidun mielenterveysalan asiantuntijan kanssa 22 maasta. Se arvioi mallin kykyjä keskeisillä mielenterveyskäyttäytymisalueilla, kuten turvallisuudessa, kontekstin etsimisessä, käyttäjän toimijuuden säilyttämisessä ja tarvittaessa toimintaohjeiden tarjoamisessa. Julkaisemme sen avoimesti, jotta muut tutkijat voivat tarkastella menetelmiä, tehdä omia arviointejaan ja jatkaa työtä niiden pohjalta.

MentalHealthBenchin tulokset osoittavat tekoälyjärjestelmien tasaista paranemista ihmisten mielenterveysongelmissa navigoinnissa. Vaikka ChatGPT ei korvaa terapiaa tai ammatillista hoitoa, asiantuntijoiden näkemykset auttavat meitä mittaamaan edistymistä kohti tekoälymalleja, jotka pystyvät reagoimaan empaattisesti, edistämään hyvinvointia ja ohjaamaan ihmisiä tosielämän tuen, kuten paikallisten kriisipuhelinten⁠(avautuu uudessa ikkunassa) tai luotettavan henkilön, luo.

Keskustelut, jotka käsittelevät hyvinvointia, elämänohjeita tai muita mielenterveystilanteita, voivat vaihdella suuresti aiheen, kiireellisyyden ja kulttuurisen kontekstin suhteen. MentalHealthBench on suunniteltu tallentamaan näiden realististen skenaarioiden ja käyttäjäpersoonien laajuus. Yksityisyyttä suojaavien tekniikoiden avulla loimme synteettisiä mielenterveyskeskusteluja, jotka heijastavat tarkasti tekoälyn todellisia käyttömalleja mielenterveyden alalla. Joissakin skenaarioissa on myös synteettisen käyttäjän taustatietoja, kuten äskettäinen perheenjäsenen menetys, jotta voimme arvioida, hyödyntävätkö mallit tätä kontekstia vastaustensa räätälöintiin asianmukaisesti.

MentalHealthBench sisältää skenaarioita, joissa on mukana aikuisia, nuoria, hoivan antajia ja kliinikkoja useilla kielillä ja alueilla. Keskustelut käsittelevät useita eri aiheita ja kattavat tilanteiden koko vakavuusasteikon:

• Ei-akuutti –Arkipäiväiset keskustelut, joihin voi liittyä emotionaalisia komponentteja.

• Korkea-akuutit– Keskustelut, jotka viittaavat vakavampiin mielenterveysongelmiin tai merkittävään ahdinkoon, mutta eivät välittömään hätätilanteeseen.

• Hätätilanteet— Keskustelut, joissa esiintyy mielenterveysongelman merkkejä tai välittömiä turvallisuushuolia, jotka vaativat kiireellistä tukea tosielämässä.

Rakentaen aiempaan, kliinikoiden tietoon perustuvaan työhömme HealthBenchille ja HealthBench Professionalille⁠(avautuu uudessa ikkunassa)kehitimme MentalHealthBenchin tiiviissä yhteistyössä mielenterveysasiantuntijoidemme kanssa .⁠(avautuu uudessa ikkunassa) Tämä koostui yli 80 laillistetusta psykologista ja psykiatrista 22 maasta, jotka puhuivat 19 kieltä ja edustivat lähes 20 mielenterveyden erikoisalaa.

Asiantuntijat vastasivat jokaisen synteettisen keskustelun lukemisesta ja yksityiskohtaisen luettelon laatimisesta otsikkokriteereiden arvioimiseksi mallin vastausten arvioimiseksi viimeiseen käyttäjän viestiin. Jokainen kriteeri kohdistuu yhteen mallivastauksen osaan, kuten oikean kysymyksen esittämiseen tai parhaiden mahdollisten neuvojen antamiseen. Jokaisella on paino välillä -10 - +10: positiiviset pisteet palkitsevat hyödyllisen käyttäytymisen, kun taas negatiiviset pisteet rankaisevat haitallisia, ja suuremmilla arvoilla varustetut kriteerit osoittavat suurempaa kliinistä merkitystä keskustelun yhteydessä.

Jokaisen keskustelun tarkisti vähintään kolme asiantuntijaa, ja lopulliseen vertailukohtaan sisällytettiin vain ne kriteerit, jotka kaikki hyväksyivät. Vertailun lopulliset arviointikriteerit heijastavat siis yhteistä arviota siitä, miten mallien tulisi reagoida kussakin kontekstissa. Käytämme jokaisessa keskustelussa automaattista arvioijaa, GPT‑5.6 Solia, mallivastausten arvioimiseen asiantuntijoiden laatimien kriteerien perusteella. Artikkelissa kuvataan yksityiskohtaisesti arvosteluprosessi ja arviointiympäristöt.

Arvioimme MentalHealthBenchillä monenlaisia malleja. Alla olevat tulokset osoittavat näiden mallien suoriutumisen koko aineistossa. Arvioinnissa mitataan, osoittaako mallin vastaus kaikki asiantuntijoiden kuhunkin skenaarioon määrittämät ihanteelliset käyttäytymismallit ja välttääkö se samalla kiellettyä käyttäytymistä.

Vertailuarviointi kattaa keskusteluja eri vakavuusasteilla. Näin voimme ymmärtää mallin suoriutumista sekä jokapäiväisissä mielenterveyteen liittyvissä tilanteissa että kiireellisimmissä mielenterveyden hätätilanteissa, jotka edellyttävät tukea tosielämässä.

Vertailun keskustelut edustavat neljää käyttäjätyyppiä: aikuisia, 13–17-vuotiaita nuoria, hoivaajia ja kliinikoita. Nuoren persoonan kohdalla ilmoitimme erikseen järjestelmäviestillä käyttäjän olevan 13–17-vuotias. Menetelmä on suunniteltu toimimaan eri mallintarjoajien kanssa, mutta se ei välttämättä huomioi kaikkia yksittäisiin tuotteisiin sisällytettyjä suojatoimia. Nuorten mielenterveyteen perehtyneet kliinikot arvioivat nuoreen persoonaan liittyvät keskustelut. Näin voitiin arvioida, vastaavatko vastaukset nuorten erityistarpeita.

MentalHealthBench mahdollistaa myös mallien käyttäytymisen moniulotteisen mittaamisen. Kokonaispistemäärä voidaan jakaa suoriutumiseen kymmenellä mielenterveyteen liittyvän mallikäyttäytymisen ulottuvuudella. Mielenterveysasiantuntijat ovat määritelleet nämä käyttäytymismallit, joiden tarkoituksena on kuvata mallien suoriutumisen vivahteita. Kokonaispistemäärältään samankaltaisilla malleilla voi olla erilaisia vahvuuksia näissä käyttäytymismalleissa.

Tällainen yksityiskohtainen mittaus voi auttaa tutkijoita tunnistamaan tulkittavissa olevia mallikäyttäytymisen kehityskohteita. Esimerkiksi mallin kyky selvittää kontekstia asianmukaisesti on parantunut mallien kehittyessä. Parannukset kuvastavat OpenAI:n ja muiden mallintarjoajien panostuksia siihen, miten mallit käsittelevät mielenterveyttä koskevia keskusteluja.

MentalHealthBenchin rinnalla teimme erillisen analyysin, jossa vertasimme asiantuntijoiden ohjeita siihen, mitä ihmiset pitävät hyödyllisenä tekoälyn tarjoamassa tuessa. Halusimme selvittää, voisivatko asiantuntijoiden korkealle arvioimat vastaukset silti tuntua käyttäjistä kylmiltä tai hyödyttömiltä. Vertaamalla sekä käyttäjien että asiantuntijoiden arvioita mallin vastauksista ja heidän laatimiaan kriteerejä pystyimme määrittämään, missä heidän näkemyksensä olivat yhteneviä, erilaisia tai toisiaan täydentäviä. Vertailuarvioinnin lopulliset pisteytyskriteerit perustuvat asiantuntijoiden yhteisymmärrykseen; tämä erillinen analyysi ei muuttanut niitä.

Teimme yhteistyötä 44 aikuisen kanssa, jotka olivat käyttäneet tekoälyä mielenterveyden tai tunnetason tukena. He edustivat 16:ta maata ja 14:ää kieltä. Osallistujat arvioivat mallien vastauksia synteettisiin keskusteluihin ja laativat kriteerejä siitä, millaista hyödyllisen tuen tulisi olla. He tarkastelivat vain ei-akuutteja keskusteluja, jotta he eivät altistuisi mahdollisesti järkyttävälle, vakavia tilanteita käsittelevälle aineistolle.

Käyttäjien näkemyksissä korostuivat tekoälyn tuen ominaisuudet, joita asiantuntijoiden ohjeissa painotettiin vähemmän, erityisesti käytännön seuraavat askeleet ja äänensävy. Asiantuntijat painottivat enemmän olennaisen kontekstin selvittämistä ja monitulkintaisten tilanteiden huolellista tulkintaa. Vertailu antaa kattavamman kuvan siitä, mitä ihmiset arvostavat saamassaan tuessa ja miten nämä mieltymykset suhteutuvat kliinisiin ohjeisiin.

MentalHealthBench tarjoaa asiantuntijoille, tutkijoille ja kehittäjille yhteisen työkalun turvallisen ja hyödyllisen tekoälytuen arviointiin erilaisissa mielenterveystilanteissa. Julkaisemalla sen avoimesti kutsumme yhteisön tarkastelemaan sen menetelmiä, tunnistamaan nykyisten mallien puutteita ja kehittämään tulevia malleja. Mikään vertailuarviointi ei kata kaikkea henkilökohtaisessa keskustelussa tärkeää, mutta toivomme MentalHealthBenchin asettavan aiempaa korkeamman vaatimustason sille, miten tekoäly tukee ihmisiä.

Tuemme myös muita tekoälyyn ja mielenterveyteen liittyviä hankkeita esimerkiksi myöntämällä apurahoja uuteen tutkimukseen, kokoamalla asiantuntijoita yhteen Partnership on AI⁠(avautuu uudessa ikkunassa) -järjestön kanssa sekä avustamalla täydentäviä riippumattomia hankkeita, kuten Translucin mielenterveysarviointia⁠(avautuu uudessa ikkunassa).

Tämän tutkimuksen ohella olemme parantaneet ChatGPT:n vastauksia arkaluonteisissa keskusteluissa, laajentaneet kriisiresurssien saatavuutta ja lisänneet Luotetun yhteyshenkilön, jotta ihmiset voivat ahdingon hetkellä saada yhteyden luottamaansa henkilöön. Olemme myös esitelleet nuorille tarkoitetun ChatGPT:n, jossa on lisäsuojauksia nuoremmille käyttäjille.

MentalHealthBench on yksi tavoistamme kehittää tekoälyä, joka auttaa miljoonia ihmisiä selviytymään vaikeista hetkistä, vahvistamaan ihmissuhteitaan sekä elämään terveempää ja antoisampaa elämää.