ChatGPT’nin hassas konuşmalardaki yanıtlarını geliştirme

ChatGPT’nin varsayılan modelini⁠(yeni bir pencerede açılır) insanların stresli olduğu durumları daha iyi fark etmesini ve onlara daha iyi destek olmasını sağlamak amacıyla kısa süre önce güncelledik. Bugün, bu iyileştirmelerin nasıl gerçekleştirildiğini ve nasıl sonuçlar verdiğini paylaşıyoruz. Gerçek hayatta klinik deneyime sahip ruh sağlığı uzmanlarıyla birlikte çalışarak, modele stres belirtilerini daha iyi tanımayı, gergin konuşmalarda kullanıcıları yatıştırmayı ve gerektiğinde onları profesyonel destek kaynaklarına yönlendirmeyi öğrettik. Ayrıca kriz hatlarına erişim imkânlarını genişlettik, başka modellerle başlayan hassas içerikli konuşmaları daha güvenli modellere yönlendirdik⁠(yeni bir pencerede açılır) ve uzun oturumlar sırasında kullanıcıları ara vermeleri⁠ için nazikçe uyaran hatırlatmalar ekledik.

ChatGPT’nin insanlara duygularını çözümleyebilecekleri destekleyici bir alan sunabileceğine ve gerektiğinde onları arkadaşlarına, ailelerine ya da bir ruh sağlığı uzmanına yönlendirebileceğine inanıyoruz. Son model güncellemesindeki güvenlik iyileştirmelerimizin odaklandığı alanlar: 1) Psikoz veya mani gibi ruh sağlığı sorunları, 2) kendine zarar verme ve intihar ve 3) yapay zekaya yönelik duygusal bağımlılık. Bundan böyle kullanıma sunacağımız modellerde, intihara ve kendine zarar vermeye yönelik mevcut temel güvenlik ölçütlerimize ek olarak duygusal bağımlılığı ve ruh sağlığına ilişkin intihar riski taşımayan acil durumları da standart güvenlik testlerimizin kapsamına dâhil edeceğiz. 

Modellerin nasıl davranması gerektiğine dair mevcut ilkelerimizi temel alan bu güncellemeler, Model Özellikleri⁠(yeni bir pencerede açılır) belgemizde açıklanmaktadır. Model Özellikleri belgesini, uzun zamandır benimsediğimiz hedeflerimizden bazılarını daha net bir çerçeveye oturtmak amacıyla güncelledik. Bu hedefler kapsamında modelin kullanıcıların gerçek hayattaki ilişkilerini desteklemesi ve bunlara saygı göstermesi, zihinsel ya da duygusal sıkıntılardan kaynaklanması muhtemel temelsiz inançları onaylamaktan kaçınması, olası sanrı veya mani belirtileri karşısında güvenli bir şekilde empati gösteren yanıtlar vermesi ve kendine zarar verme ya da intihar riskine ilişkin dolaylı sinyalleri daha fazla dikkate alması gerekmektedir.

ChatGPT’nin öncelikli alanların her birinde verdiği yanıtları geliştirmek için beş adımlı bir süreç izliyoruz: 

• Sorunu tanımlama - Farklı olası zarar türlerini ayrıntılarıyla belirliyoruz.
• Ölçümlemeye başlama - Değerlendirmeler, gerçek sohbetlerden elde edilen veriler ve risklerin hangi noktalarda, ne şekilde ortaya çıktığını anlamaya yönelik kullanıcı araştırmaları gibi araçlardan faydalanıyoruz.
• Yaklaşımımızı doğrulama - Tanımlarımızı ve politikalarımızı, bağımsız ruh sağlığı ve güvenlik uzmanlarıyla gözden geçiriyoruz.
• Riskleri azaltma- Modeli ek eğitimlere tabi tutuyor ve güvenli olmayan sonuçları azaltmak için ürünün müdahale sistemlerini güncelliyoruz.
• Ölçümlemeleri ve yineleme çalışmalarını sürdürme - Önlemlerin güvenliği artırıp artırmadığını doğruluyor ve gerektiğinde yineleme çalışmalarıyla geliştirmelere devam ediyoruz. 

Bu süreç kapsamında hassas konuşmaların özelliklerini açıklayan ve hem ideal hem de kaçınmak istediğimiz davranışları tanımlayan (“sınıflandırma” adı verilen) ayrıntılı kılavuzlar oluşturup geliştiriyoruz. Bunlar, modele daha uygun yanıtlar vermeyi öğretmemize ve kullanıma sokulmasının öncesinde ve sonrasında modelin performansını izlememize yardımcı oluyor. Sonuç olarak, psikoza, maniye, intihara ve kendine zarar vermeye ilişkin düşüncelere veya modele yönelik sağlıksız bir duygusal bağımlılık geliştirdiğine dair belirtiler sergileyen kullanıcılara daha tutarlı bir şekilde uygun yanıtlar veren bir model elde ediyoruz.

Ruh sağlığı sıkıntılarına yönelik semptomlar ile duygusal stres, evrensel olarak tüm toplumlarda mevcuttur ve kullanıcı tabanının genişlemesi, ChatGPT’deki konuşmaların bir kısmının bu durumları içermesine yol açmaktadır. Öte yandan psikoz, mani veya intihara yönelik düşünceler gibi güvenlik kaygılarını beraberinde getiren ruh sağlığı içerikli konuşmalar son derece nadirdir. Bu tür durumlar çok nadir görüldüğünden, ölçüm yöntemlerimizdeki ufak farklılıklar bile bildirdiğimiz istatistikleri önemli ölçüde etkileyebilir. ¹

Mevcut üretim trafiğindeki yaygınlık düzeyine dair aşağıda sunduğumuz veriler, en iyi tahminlerimizi yansıtmaktadır. Sınıflandırmalarımızı geliştirdikçe, ölçüm metodolojilerimiz olgunlaştıkça ve kullanıcı nüfusumuzun davranışları değiştikçe bu verilerde de önemli değişiklikler görülebilir. 

Bu türden konuşmalar çok nadir görüldüğünden, yalnızca gerçek ChatGPT kullanım ölçümlerini esas almıyoruz. Modeli kullanıma sokmadan önce özellikle zorlu veya yüksek riskli senaryolara odaklanan yapılandırılmış testler (“çevrimdışı değerlendirmeler”) de gerçekleştiriyoruz. Bu değerlendirmeler, modellerimizin henüz kusursuz bir performans gösteremeyeceği kadar zorlayıcılık içerecek şekilde tasarlanıyor. Yani kasıtlı olarak zorlu senaryolar oluşturmak üzere istenmeyen yanıtları tetikleme olasılığı yüksek olan örnekler seçiliyor. Bu testler, daha da geliştirilebilecek alanları belirlememizi sağlayabiliyor. Ayrıca kaydedilen ilerlemeyi, alışıldık örnekler yerine zorlu durumlara odaklanarak ve yanıtları birden fazla güvenlik koşulu çerçevesinde değerlendirerek daha yüksek kesinlikle ölçmemize yardımcı oluyor. Aşağıdaki bölümlerde sunulan değerlendirme sonuçları, performansın mükemmele yakın bir doygunluk düzeyine ulaşmayacağı bir şekilde tasarlanan değerlendirmelere aittir ve hata oranları, ortalama üretim trafiğini yansıtmaz.

Modellerimizin güvenlik önlemlerini daha da güçlendirmek ve insanların ChatGPT’yi nasıl kullandığını daha iyi anlamak üzere belirli ilgi alanları tanımlayıp bunların ölçeğini ve ilişkili model davranışlarını nicel olarak analiz ettik. Bu üç alanın her biri için üretim trafiğinde, otomatik değerlendirmelerde ve bağımsız ruh sağlığı uzmanlarınca puanlanan testlerde model davranışında kayda değer iyileşmeler gözlemliyoruz. Modelin artık, ruh sağlığıyla ilgili bir dizi alandaki sınıflandırmalarımız kapsamında istenen davranışlarla tamamen örtüşmeyen yanıtları %65 ila %80 oranında daha az ürettiğini tahmin ediyoruz. 

Ruh sağlığı sınıflandırmamız, kullanıcıların psikoz ve mani gibi ciddi ruh sağlığı sorunlarının yanı sıra, münferit sanrılar gibi daha hafif durumlara yönelik olası belirtiler gösterdiği durumları tespit etmek üzere tasarlandı. Psikoz ve mani, ruh sağlığına ilişkin acil müdahale gerektiren durumlar arasında görece yaygın görüldüğü ve semptomları ortaya çıktığında genellikle oldukça yoğun ve ciddi seyrettiği için çalışmalarımıza bu iki olguya odaklanarak başladık. Depresyon gibi belirtiler nispeten daha sık görülmekle birlikte akut seyrettiği durumlar zaten intihar ve kendine zarar verme davranışlarını önlemeye yönelik çalışmalarımız kapsamında ele alınmaktaydı. Danıştığımız klinisyenler de odaklandığımız alanların uygunluğunu doğruladı.  

• Son GPT‑5 güncellemesinin, ruh sağlığı sorunları hakkındaki zorlu konuşmalara yönelik sınıflandırmalarımız kapsamında istenen davranışlarla tam olarak örtüşmeyen yanıtların oranını, son üretim trafiğinde %65 oranında düşürdüğünü tahmin ediyoruz. ²
• Yukarıda da belirtildiği gibi nadir görüldükleri için bu tür konuşmaların tespiti ve ölçümü güçtür. Öte yandan ilk analizimiz doğrultusundaki tahminler, belirli bir haftada aktif kullanıcıların yaklaşık %0,07'sinde ve mesajların %0,01'inde psikoz veya maniyle bağlantılı olası ruh sağlığı krizi belirtileri gözlemlendiğine işaret ediyor. ³
• Uzmanlar, ruh sağlığına ilişkin zorlayıcı konuşmalarda ChatGPT’nin varsayılan modeli olan yeni GPT‑5’in GPT‑4o’ya kıyasla istenmeyen yanıtları %39 oranında azalttığını tespit etti (n=677).
• Ruh sağlığıyla ilişkili 1.000’den fazla zorlayıcı konuşmadan oluşan bir model değerlendirmesi kapsamında yeni otomatik değerlendirmelerimiz, yeni GPT‑5 modelinin sınıflandırmamıza göre istenen davranışlara %92 oranında uyduğunu ortaya koydu. Bu oran, önceki GPT‑5 modelinde %27’ydi. Yukarıda da vurgulandığı üzere bu, sürekli gelişimi destekleyecek şekilde tasarlanmış zorlayıcı bir görevdir.

Bir kullanıcının intiharı ya da kendine zarar vermeyi düşündüğü olası durumları veya intihar eğilimine işaret eden toplu belirtileri tespit etmek amacıyla, intihar ve kendine zarar verme davranışlarını önlemeye yönelik mevcut çalışmalarımızı⁠ temel aldık. Bu konuşmalar son derece nadiren gerçekleştiğinden, kendine zarar ve intihara yönelik olası göstergeler içeren konuşmaların saptanması, sürekli iyileştirme çalışmaları yürüttüğümüz bir araştırma alanı olmaya devam etmektedir. 

• Modellerimizi, kullanıcıları kriz yardım hatları gibi profesyonel kaynaklara yönlendirmeyi de kapsayacak şekilde, güvenli yanıtlar verecek biçimde eğitiyoruz. Model, bu tür hassas durumlarda nadiren de olsa beklenen şekilde çalışmayabilir. Ek güvenlik önlemlerini ve geliştirilmiş modeli kullanıma sunmamız birlikte, sınıflandırmalarımız doğrultusundaki istenen davranışla tam olarak örtüşmeyen yanıtların oranında yaklaşık %65 azalma gözlemledik.
• Yukarıda da değinildiği üzere, nadiren karşılaşıldığı için bu tür konuşmaların tespiti ve ölçümü zordur. Öte yandan ilk analizimizin ortaya koyduğu tahminlere göre, belirli bir hafta içerisinde konuşmalarında olası bir intihar planı ve niyetine dair açık belirtiler sergileyen aktif kullanıcıların oranı %0,15, intihar düşüncesi veya niyetine ilişkin açık ya da örtük göstergeler içeren mesajların oranı ise %0,05’tir.
• Uzmanlar, kendine zarar verme ve intihara ilişkin zorlayıcı konuşmalarda yeni GPT‑5 modelinin, GPT‑4o’ya kıyasla istenmeyen yanıtları %52 oranında azalttığını tespit etti (n=630).
• Kendine zarar verme ve intihara ilişkin 1.000’den fazla zorlayıcı konuşma içeren bir model değerlendirmesi kapsamında, yeni otomatik değerlendirmelerimiz, yeni GPT‑5 modelinin istediğimiz davranışlara %91 oranında uyduğunu belirledi. Bu oran, önceki GPT‑5 modelinde %77’ydi.
• GPT‑5’in uzun konuşmalardaki güvenilirliğini artırmaya devam ettik. Başarısızlıkla sonuçlanması yüksek olduğu için seçilen gerçek senaryolara dayanan zorlayıcı uzun konuşmalardan oluşan yeni bir test seti oluşturduk Tahminlerimize göre en yeni modellerimiz, yukarıda bahsedildiği⁠ şekilde özellikle zorlayıcı olması amaçlanmış koşullarda iyileşme göstererek, uzun konuşmalarda güvenilirlik düzeyini %95 oranında korudu.

Bu alandaki geçmiş çalışmalarımızı⁠(yeni bir pencerede açılır) esas alan duygusal bağımlılık sınıflandırmamız, sağlıklı etkileşim biçimlerini ve bir kullanıcının gerçek dünyadaki ilişkileri, duygusal sağlığı veya sorumluluklarını ihmal etmek pahasına yalnızca modele bağlılık duyduğuna yönelik olası belirtiler sergilemesi gibi kaygı verici kullanım örüntüleri birbirinden ayırır. 

• Son güncellemeyle beraber, duygusal bağımlık sınıflandırmalarımız doğrultusunda istenen davranışlarla tam olarak örtüşmeyen yanıtların oranının son üretim trafiğinde %80 oranında düştüğünü tahmin ediyoruz. 
• Yukarıda da belirtildiği gibi nadir görüldükleri için bu tür konuşmaların tespiti ve ölçümü güçtür. Öte yandan ilk analizimiz doğrultusundaki tahminler, belirli bir haftada aktif kullanıcıların yaklaşık %0,15'inde ve mesajların %0,03'ünde ChatGPT’ye yönelik yüksek düzeyde duygusal bağımlılık belirtileri gözlemlendiğine işaret ediyor. 
• Uzmanlar, duygusal bağımlılığa işaret eden zorlayıcı konuşmalarda yeni GPT‑5 modelinin, 4o’ya kıyasla istenmeyen yanıtları %42 oranında azalttığını tespit etti (n=507).
• Duygusal bağımlılık belirtilerinin gözlemlendiği 1.000’den fazla zorlayıcı konuşma içeren bir model değerlendirmesi kapsamında, otomatik değerlendirmelerimiz, yeni GPT‑5 modelinin istediğimiz davranışlara %97 oranında uyduğunu belirledi. Bu oran, önceki GPT‑5 modelinde %50’ydi.

Modellerimizi, duygusal bağımlılık belirtilerinin gözlemlendiği konuşmalarda, kullanıcıyı gerçek dünyayla bağlantısını güçlendirmeye teşvik edecek biçimde yanıt verecek şekilde eğitiyoruz:

Modellerimizi, sanrılara dayalı inançlar hakkındaki konuşmalarda empati gösteren güvenli yanıtlar verecek ve temelsiz düşünceleri onaylamaktan kaçınacak şekilde eğitiyoruz.

Güvenlik araştırmalarımıza doğrudan bilgi sağlaması ve küresel görüşleri yansıtması amacıyla, 60 ülkede görev yapmış yaklaşık 300 hekim ve psikoloğun dâhil olduğu Küresel Hekim Ağını kurduk. Bu klinisyenlerin 170’inden fazlası (özellikle psikiyatristler, psikologlar ve birinci basamak hekimleri), son birkaç ay içinde aşağıdaki faaliyetlerle araştırmamızı destekledi:

• Ruh sağlığı hakkındaki istemler için ideal yanıtların yazılması
• Model yanıtları için özel ve klinik bilgiye dayalı analizler geliştirilmesi
• Farklı modellerin yanıtlarının güvenlik düzeyinin derecelendirilmesi
• Yaklaşımımıza dair genel düzeyde rehberlik ve geri bildirim sağlanması

Klinisyenler, bu incelemeler sırasında son modellerin, eski modellere göre daha uygun ve tutarlı yanıtlar verdiğini gözlemledi. 

Psikiyatristler ve psikologlar, bu çalışma kapsamında, ruh sağlığıyla ilişkili ciddi durumlar hakkında verilen 1800’den fazla model yanıtını inceledi ve yeni GPT‑5 sohbet modelinin yanıtlarını önceki modellerle karşılaştırdı. Söz konusu uzmanlar, yeni modelin tüm kategorilerdeki istenmeyen yanıt oranını GPT‑4o’ya kıyasla %39 ila %52 düşürerek önemli düzeyde bir gelişme gösterdiğini gördü. Bu nitel geri bildirimler, yeni modeli kullanıma sunmamızla birlikte üretim trafiğinde gözlemlediğimiz nicel iyileşmeleri de doğruladı.

Her karmaşık konuda olduğu gibi, uzmanlar bile en iyi yanıtın nasıl olması gerektiği konusunda farklı görüşlere sahip olabiliyor. Bu değişkenliği, değerlendiriciler arası fikir birliği ölçümüyle değerlendiriyor ve uzmanların, bir model yanıtının istendiği gibi olup olmadığı konusunda ne sıklıkla aynı sonuca vardığını dikkate alıyoruz. Bu yöntem, profesyonel görüşlerin hangi noktalarda farklılık gösterdiğini ve model davranışlarını güçlü klinik kanılarla nasıl daha uyumlu hâle getirebileceğimizi anlamamıza yardımcı oluyor. Ruh sağlığı, duygusal bağımlılık ve intihara ilişkin model yanıtlarını değerlendiren uzman klinisyenler arasında makul düzeyde bir değerlendirici tutarlılığı gözlemledik ancak bazı durumlarda uzmanlar arasında görüş ayrılıkları da görüldü. Değerlendiriciler arası fikir birliği oranı %71-77 arasında değişmektedir.

HealthBench⁠ çalışmamızda olduğu gibi Küresel Hekim Ağı ile iş birliği yaparak, modelin özellikle ruh sağlığı bağlamındaki performansına yönelik dâhili analizlerimizde kullandığımız hedefe yönelik değerlendirmeler geliştirdik. Yeni modeller de kullanıma sunulmadan önce bu değerlendirmelere tabi tutuluyor. 

Bu çalışma bizim çok önemli ve dünyanın dört bir yanından çalışmamıza rehberlik eden çok sayıdaki ruh sağlığı uzmanına katkıları için teşekkür ediyoruz. Kayda değer bir ilerleme kaydetmiş olsak da henüz yolun başındayız. Hem bu alanlarda hem de gelecekte öne çıkacak alanlarda, model davranışlarını ölçmek ve desteklemek için kullandığımız sınıflandırmalar ile teknik sistemleri geliştirmeye devam edeceğiz. Bu araçlar zamanla geliştiği için geçmiş ölçümler, gelecekteki ölçümlerle doğrudan kıyaslanamayabilir ancak yönümüzü ve ilerleyişimizi takip etmenin önemli bir yöntemi olmaya devam edecekler.

GPT‑5 sistem kartı eki⁠, bu çalışmaya ilişkin ayrıntılı bilgiler içermektedir.