MentalHealthBench'i tanıtıyoruz

İnsanlar pek çok konuda konuşmak için yapay zekaya başvuruyor: zor bir ilişkiyi yürütmek, günlük stresle başa çıkmak, önemsedikleri birine destek olmak ya da zorlu bir duruma nasıl yaklaşacaklarına karar vermek. Bu konuşmalar doğru bilgi, koşullara uygun muhakeme ve insanların kendi kararlarını verme özgürlüğüne saygı gerektiriyor. Her hafta bir milyardan fazla kişi ChatGPT kullanıyor. Araştırmalarımız, modellerin çok çeşitli ihtiyaçlara özenle yanıt vermesine ve insanların güvenliğini ve iyilik halini ön planda tutmasına yardımcı olmaya odaklanıyor.

Bu alandaki yapay zeka değerlendirmelerinin çoğu, güvenlik açısından taşıdıkları önem nedeniyle ağırlıklı olarak acil durum senaryolarına odaklandı ve başarıyı önceden belirlenmiş genel ölçütlerle ölçüyor. Bu nedenle, modellerin ruh sağlığıyla ilgili tüm konuşma türlerinde nasıl performans gösterdiğini ve izin verilmeyen yanıtlardan kaçınmanın ötesinde, her duruma yönelik uzman önerilerine ne ölçüde uygun yanıt verdiğini yeterince anlayamıyoruz. Modellerin bu farklı durumları nasıl ele aldığını değerlendirmek, insanların uzun vadeli iyilik halini ve güvenliğini etkin biçimde destekleyen yapay zeka sistemleri geliştirmek için temel önem taşıyor.

Yapay zeka sistemlerinin gerçekçi ruh sağlığı konuşmalarında nasıl yanıt verdiğini ölçen yeni ve açık bir karşılaştırmalı değerlendirme olan MentalHealthBench'i tanıtıyoruz. MentalHealthBench, 22 ülkeden mesleğini icra etme yetkisine sahip 80 ruh sağlığı uzmanının oluşturduğu küresel bir grupla birlikte geliştirildi. Modellerin ruh sağlığı alanındaki temel davranışlara ilişkin yeteneklerini değerlendiriyor. Bunlar arasında güvenliği gözetmek, bağlamı anlamak için bilgi istemek, kullanıcının kendi kararlarını verme özgürlüğünü korumak ve uygun olduğunda uygulanabilir öneriler sunmak yer alıyor. Diğer araştırmacıların yöntemleri inceleyebilmesi, kendi değerlendirmelerini yapabilmesi ve bu çalışmayı temel alarak ilerleyebilmesi için herkese açık olarak yayınlıyoruz.

MentalHealthBench'teki sonuçlar, insanların ruh sağlığı sorunlarıyla başa çıkmasına yardımcı olma konusunda yapay zeka sistemlerinin istikrarlı biçimde geliştiğini gösteriyor. ChatGPT, terapinin veya profesyonel bakımın yerini tutmasa da uzman görüşlerine dayalı bulgular; empatiyle yanıt verebilen, iyilik halini destekleyen ve insanları yerel kriz yardım hatları⁠(yeni bir pencerede açılır) veya güvendikleri biri gibi gerçek hayattaki destek kaynaklarına yönlendirebilen yapay zeka modelleri geliştirme yolunda kaydettiğimiz ilerlemeyi ölçmemize yardımcı oluyor.

İyilik hali, yaşam tavsiyesi veya diğer ruh sağlığı senaryolarını içeren konuşmalar konu, aciliyet ve kültürel bağlam bakımından büyük farklılıklar gösterebilir. MentalHealthBench, bu gerçekçi senaryoların ve kullanıcı profillerinin çeşitliliğini kapsamak için tasarlanmıştır. Gizliliği koruma tekniklerini kullanarak, ruh sağlığı için yapay zekanın gerçek dünyadaki kullanım örüntülerini doğru bir şekilde yansıtan sentetik ruh sağlığı konuşmaları oluşturduk. Bazı senaryolar, ailede yakın zamanda meydana gelen bir kayıp gibi sentetik kullanıcı hakkında ilgili arka plan bilgilerini de içerir, böylece modellerin yanıtlarını uygun şekilde uyarlamak için bu bağlamı kullanıp kullanmadığını değerlendirebiliriz.

MentalHealthBench, farklı dil ve bölgelerde yetişkinleri, gençleri, bakım verenleri ve klinisyenleri içeren senaryolara yer veriyor. Konuşmalar çeşitli konuları ele alıyor ve tüm ciddiyet ve aciliyet düzeylerini kapsıyor:

• Düşük ciddiyet düzeyi—Bazı duygusal bileşenleri içeren günlük konuşmalar.

• Yüksek ciddiyet düzeyi: Daha ciddi ruh sağlığı sorunlarına veya yoğun sıkıntıya işaret eden, ancak anında müdahale gerektiren acil bir durum içermeyen konuşmalar.

• Acil durumlar: Acilen gerçek hayatta destek alınmasını gerektiren bir ruh sağlığı krizinin belirtilerini veya doğrudan güvenlik risklerini içeren konuşmalar.

HealthBench ve HealthBench Professional⁠(yeni bir pencerede açılır) için klinisyenlerin görüşleriyle şekillenen önceki çalışmalarımızı temel alarak,⁠(yeni bir pencerede açılır) MentalHealthBench'i ruh sağlığı uzmanlarından oluşan grubumuzla yakın iş birliği içinde geliştirdik. Bu grupta, 22 ülkeden, toplam 19 dil konuşan ve ruh sağlığı alanında yaklaşık 20 alt uzmanlık dalını temsil eden, mesleğini icra etme yetkisine sahip 80'den fazla psikolog ve psikiyatrist yer alıyordu.

Uzmanlar, her sentetik konuşmayı okumaktan ve son kullanıcı mesajına verilen model yanıtlarını değerlendirmek için ayrıntılı bir dereceli puanlama kriterleri listesi oluşturmaktan sorumluydu. Her kriter, doğru soruyu sormak veya mümkün olan en iyi tavsiyeyi sağlamak gibi model yanıtının tek bir yönünü hedefler. Her biri -10 ila +10 arasında değişen bir ağırlık taşır: olumlu puanlar faydalı davranışları ödüllendirirken, olumsuz puanlar zararlı olanları cezalandırır ve daha büyük değerlere sahip kriterler bir konuşma bağlamında daha fazla klinik önemi gösterir.

Her konuşma en az üç uzman tarafından incelendi ve yalnızca bu uzmanların tamamının kabul ettiği ölçütler nihai karşılaştırmalı değerlendirmeye dahil edildi. Bu nedenle, karşılaştırmalı değerlendirmedeki nihai değerlendirme ölçütleri, modellerin her bağlamda nasıl yanıt vermesi gerektiğine ilişkin ortak bir görüşü yansıtıyor. Her konuşmada model yanıtlarını uzmanların yazdığı ölçütlere göre değerlendirmek için GPT‑5.6 Sol'u otomatik puanlayıcı olarak kullanıyoruz. Makale, puanlama sürecini ve değerlendirme ayarlarını ayrıntılı biçimde açıklıyor.

MentalHealthBench'te çok çeşitli modelleri değerlendirdik. Aşağıdaki sonuçlar, bu modellerin tüm veri kümesindeki ve konuşmaların ciddiyet düzeylerine göre performansını gösteriyor. Değerlendirme, bir modelin yanıtının her senaryo için uzmanlarca belirlenen ideal davranışların tümünü sergileyip sergilemediğini ve izin verilmeyen davranışlardan kaçınıp kaçınmadığını ölçer.

Dört kullanıcı türünü temsil eden sentetik konuşmalar oluşturduk: yetişkinler, 13-17 yaş arası gençler, bakım verenler ve klinisyenler. Arka plan bilgilerini sistem mesajlarıyla sunduk; genç personasında ise kullanıcının 13-17 yaş arasında olduğunu açıkça belirttik. Bu yaklaşım farklı model sağlayıcılarında çalışmak üzere tasarlanmıştır ancak ürünlere özgü tüm güvenlik önlemlerini kapsamayabilir.

Klinisyenler her konuşma için uygun bir sonraki yanıtın neleri içermesi veya nelerden kaçınması gerektiğini açıklayan ölçütler yazdı; biz de model yanıtlarını bu ölçütlere göre değerlendirdik. Genç personasının yer aldığı konuşmalar, yanıtların gençlerin kendilerine özgü ihtiyaçlarına uygun olup olmadığını değerlendirmeye yardımcı olmak amacıyla genç ruh sağlığı konusunda uzman klinisyenlerce incelendi.

MentalHealthBench, model davranışının çok yönlü biçimde ölçülmesini de sağlar. Genel puan, ruh sağlığına ilişkin model davranışının on boyutundaki performansa ayrıştırılabilir. Bu davranışlar ruh sağlığı uzmanlarınca tanımlanmıştır ve model performansındaki incelikleri yakalamayı amaçlar. Genel puanları benzer olan modeller, bu davranışlar bakımından farklı güçlü yönlere sahip olabilir.

Bu tür ayrıntılı ölçümler, araştırmacıların yorumlanabilir model davranışlarındaki gelişim alanlarını belirlemesine yardımcı olabilir. Örneğin, daha gelişmiş modellerle birlikte bir modelin uygun şekilde bağlam arama becerisinin arttığını görüyoruz. Bu gelişmeler, OpenAI ve diğer model sağlayıcılarının modellerin ruh sağlığı konuşmalarını ele alışını iyileştirmeye yaptığı yatırımları yansıtıyor.

MentalHealthBench'in yanı sıra, klinisyen yönlendirmelerini insanların yapay zekâ desteğinde yararlı buldukları unsurlarla karşılaştırmak için ayrı bir analiz gerçekleştirdik. Karşılaştırmalı değerlendirmede klinisyenlerin yazdığı puanlama ölçütleri kullanılırken bu analiz, kullanıcı ve klinisyen bakış açılarının nerede örtüştüğünü, ayrıştığını veya çatıştığını inceledi.

Ruh sağlığı veya duygusal destek için yapay zekâ kullanmış, 16 ülkeyi ve 14 dili temsil eden 44 yetişkinle çalıştık. Katılımcılar sentetik konuşmalara verilen model yanıtlarını puanladı ve yararlı desteğin nasıl olması gerektiğini açıklayan ölçütler yazdı. Potansiyel olarak sıkıntı verici, yüksek ciddiyetteki içeriklere maruz kalmamaları için incelemeleri akut olmayan konuşmalarla sınırlandırıldı.

Kullanıcıların bakış açıları, yapay zekâ desteğinde değer verilen ancak klinisyen yönlendirmelerinde daha az vurgulanan nitelikleri, özellikle de uygulanabilir sonraki adımları ve üslubu öne çıkardı. Klinisyenler, ilgili bağlamı toplamaya ve belirsiz durumları dikkatle yorumlamaya daha fazla önem verdi. Bu karşılaştırma, insanların destekte nelere değer verdiği ve bu tercihlerin klinik yönlendirmelerle nasıl ilişkili olduğu konusunda daha kapsamlı bir tablo sunuyor.

MentalHealthBench; uzmanlara, araştırmacılara ve geliştiricilere farklı ruh sağlığı durumlarında güvenli ve yararlı yapay zekâ desteğini değerlendirmek için ortak bir araç sunar. Bunu herkese açık olarak yayımlayarak topluluğu yöntemlerini incelemeye, mevcut modellerdeki eksikleri belirlemeye ve modelleri geliştirmek için çalışmaya davet ediyoruz. Hiçbir karşılaştırmalı değerlendirme kişisel bir konuşmada önem taşıyan her şeyi kapsayamaz; ancak MentalHealthBench'in yapay zekânın insanlara nasıl destek olduğu konusunda daha yüksek bir standart belirlenmesine yardımcı olmasını umuyoruz.

Ayrıca yeni araştırmalara yönelik hibeler, Partnership on AI⁠(yeni bir pencerede açılır) ile uzmanları bir araya getirme ve Transluce'un ruh sağlığı değerlendirmesi⁠(yeni bir pencerede açılır) gibi tamamlayıcı bağımsız çalışmalara destek verme yoluyla yapay zekâ ve ruh sağlığı alanındaki diğer girişimleri de destekliyoruz.

Bu araştırmanın yanı sıra hassas konuşmalarda ChatGPT'nin yanıtlarını güçlendirdik, kriz kaynaklarına erişimi genişlettik ve sıkıntılı anlarda insanları güvendikleri biriyle buluşturmak için Güvenilir Kişi özelliğini ekledik. Ayrıca genç kullanıcılar için ek korumalar sunan Gençler için ChatGPT'yi kullanıma sunduk.

MentalHealthBench, milyonlarca insanın zor anları aşmasına, ilişkilerini güçlendirmesine ve daha sağlıklı, daha tatmin edici yaşamlar sürmesine yardımcı olacak yapay zekâya ulaşmak için yürüttüğümüz çalışmalardan biridir.