Memperkuat respons ChatGPT dalam percakapan sensitif

Baru-baru ini kami memperbarui model default ChatGPT⁠(terbuka di jendela baru) agar lebih baik dalam mengenali dan mendukung orang-orang di masa sulit. Saat ini, kami membagikan cara kami membuat peningkatan tersebut dan cara peningkatan tersebut berjalan. Bekerja sama dengan pakar kesehatan mental yang memiliki pengalaman klinis di dunia nyata, kam telah mengajari model tersebut untuk mengenali kesulitan dengan lebih baik, meredakan ketegangan dalam percakapan, dan memandu orang-orang untuk memperoleh perawatan dari profesional jika sesuai. Kami juga memperluas akses ke saluran siaga krisis, mengarahkan⁠(terbuka di jendela baru) percakapan sensitif yang berasal dari model lain ke model yang lebih aman, dan menambahkan pengingat untuk beristirahat⁠ selama sesi berdurasi panjang.

Kami yakin bahwa ChatGPT dapat menyediakan ruang dukungan bagi orang-orang untuk memproses perasaan mereka, dan memandu mereka untuk menghubungi teman, keluarga, atau profesional kesehatan mental jika sesuai. Peningkatan keselamatan kami dalam pembaruan model terkini berfokus pada bidang-bidang berikut: 1) masalah kesehatan mental, seperti psikosis atau mania; 2) menyakiti diri sendiri dan bunuh diri; dan 3) ketergantungan emosional pada AI. Ke depannya, selain metrik keselamatan dasar kami yang telah lama digunakan untuk bunuh diri dan menyakiti diri sendiri, kami menambahkan ketergantungan emosional dan keadaan darurat kesehatan mental selain bunuh diri pada set standar pengujian keselamatan dasar kami untuk rilisan model di masa mendatang. 

Pembaruan ini dibangun berlandaskan prinsip kami yang sudah ada untuk cara model berperilaku, yang dijabarkan dalam Spesifikasi Model⁠(terbuka di jendela baru). Kami telah memperbarui Spesifikasi Model untuk membuat beberapa sasaran lama kami lebih jelas: bahwa model harus mendukung dan menghormati hubungan pengguna di dunia nyata, tidak memperteguh keyakinan tidak berdasar yang berpotensi berkaitan dengan tekanan mental atau emosional, merespons dengan aman dan berempati terhadap tanda-tanda delusi atau mania, dan lebih memperhatikan tanda-tanda tidak langsung dari potensi menyakiti diri sendiri atau bunuh diri.

Untuk meningkatkan cara ChatGPT memberikan tanggapan di setiap domain prioritas, kami mengikuti proses lima langkah: 

• Menetapkan masalah - kami memetakan berbagai jenis potensi bahaya.
• Mulai mengukurnya - kami menggunakan alat seperti evaluasi, data dari percakapan dunia nyata, dan riset pengguna untuk memahami di mana dan bagaimana risiko timbul.
• Memvalidasi pendekatan kami - kami meninjau definisi dan kebijakan kami bersama pakar kesehatan mental dan keselamatan eksternal.
• Memitigasi risiko - kami memberikan pascapelatihan pada model dan memperbarui intervensi produk mengurangi hasil-hasil yang tidak aman.
• Terus mengukur dan melakukan iterasi - kami memvalidasi bahwa mitigasi meningkatkan keselamatan dan mengiterasi jika diperlukan. 

Sebagai bagian dari proses ini, kami membangun dan menyempurnakan panduan terperinci (disebut “taksonomi”) yang menjelaskan sifat percakapan sensitif dan seperti apa perilaku model yang ideal dan yang tidak diharapkan. Ini membantu kami mengajarkan model untuk merespons dengan lebih tepat dan melacak kinerjanya sebelum dan setelah pengerahan. Hasilnya adalah model yang memberikan tanggapan yang lebih baik kepada pengguna yang menunjukkan tanda-tanda psikosis, mania, pemikiran bunuh diri dan menyakiti diri sendiri, atau ketergantungan emosional yang tidak sehat pada model.

Gejala-gejala kesehatan mental dan tekanan emosional secara universal ada di masyarakat, dan meningkatnya basis pengguna berarti bahwa beberapa bagian dari percakapan ChatGPT mencakup situasi ini. Namun, percakapan kesehatan mental yang memicu masalah keselamatan, seperti psikosis, mania, atau pemikiran bunuh diri sangatlah jarang. Karena tidak umum, perbedaan kecil sekalipun dalam cara kita mengukurnya dapat memberikan dampak yang besar terhadap jumlah yang kami laporkan. ¹

Perkiraan prevalensi dalam lalu lintas produksi saat ini yang kami berikan adalah perkiraan terbaik kami. Ini dapat berubah selagi kami terus menyempurnakan taksonomi kami, metodologi pengukuran kami semakin matang, dan perilaku populasi pengguna berubah. 

Karena prevalensi percakapan relevan yang sangat rendah, kami tidak mengandalkan pengukuran penggunaan ChatGPT di dunia nyata saja. Kami juga menjalankan pengujian terstruktur sebelum peluncuran (disebut “evaluasi offline”) yang berfokus pada skenario sulit atau berisiko tinggi. Evaluasi ini dirancang agar cukup menantang, sehingga model kami belum berkinerja dengan sempurna pada evaluasi tersebut, yakni contoh dipilih secara berlawanan untuk kemungkinan yang tinggi dalam memperoleh respons yang tidak diinginkan. Hal ini dapat menunjukkan peluang yang kami miliki agar menjadi lebih baik, dan membantu kami mengukur kemajuan lebih tepat dengan berfokus pada kasus yang sulit dan bukannya yang tipikal, serta dengan menilai respons berdasarkan beberapa kondisi keselamatan. Hasil evaluasi yang dilaporkan di bagian di bawah ini berasal dari evaluasi yang didesain agar tidak membuat kinerja nyaris sempurna mencapai “saturasi”, dan tingkat kesalahan tidak mewakili lalu lintas produksi rata-rata.

Untuk memperkuat perlindungan model kami lebih jauh dan memahami cara orang-orang menggunakan ChatGPT, kami menetapkan beberapa bidang minat dan menghitung ukuran mereka dan perilaku model terkait. Dalam masing-masing dari ketiga bidang ini, kami mengamati peningkatan perilaku model yang signifikan dalam lalu lintas produksi, evaluasi otomatis, dan evaluasi yang dinilai oleh dokter kesehatan mental independen. Kami memperkirakan bahwa model tersebut sekarang memberikan respons yang tidak sepenuhnya mematuhi perilaku yang diinginkan berdasarkan taksonomi kami sebesar 65% hingga 80% lebih rendah di seluruh domain terkait kesehatan mental. 

Taksonomi kesehatan mental kami dirancang untuk mengidentifikasi kapan pengguna menunjukkan tanda-tanda masalah kesehatan mental yang serius, seperti psikosis dan mania, serta tanda-tanda keparahan yang lebih rendah, seperti delusi terisolasi. Kami memulai dengan berfokus pada psikosis dan mania karena gejala-gejala ini merupakan keadaan darurat kesehatan mental yang relatif umum, dan gejala-gejalanya cenderung sangat berat dan serius saat terjadi. Walau gejala-gejala seperti depresi relatif umum, kemunculannya yang paling akut telah ditangani oleh upaya kami dalam mencegah bunuh diri dan menyakiti diri sendiri. Para dokter yang menjadi konsultan kami memvalidasi bidang fokus kami.  

• Kami memperkirakan bahwa pembaruan terkini GPT‑5 menurunkan tingkat respons yang tidak sepenuhnya memenuhi perilaku yang diharapkan berdasarkan taksonomi kami untuk percakapan yang menantang terkait masalah kesehatan mental sebesar 65% dalam lalu lintas produksi terkini. ²
• Seperti yang dijabarkan di atas, meskipun percakapan ini sulit dideteksi dan diukur karena jarang terjadi, analisis awal kami memperkirakan bahwa sekitar 0,07% pengguna yang aktif pada satu pekan tertentu dan 0,01% pesan mengindikasikan kemungkinan tanda-tanda keadaan darurat kesehatan mental terkait psikosis atau mania. ³
• Terkait percakapan kesehatan mental yang menantang, para pakar menemukan bahwa model GPT‑5 yang baru, model default ChatGPT, menurunkan respons yang tidak diharapkan sebanyak 39% dibandingkan GPT‑4o (n=677).
• Pada evaluasi model yang terdiri dari 1.000 lebih percakapan menantang terkait kesehatan mental, evaluasi otomatis kami yang baru memberi model GPT‑5 yang baru nilai kepatuhan 92% terhadap perilaku yang diharapkan berdasarkan taksonomi kami, dibandingkan 27% untuk model GPT‑5 sebelumnya. Seperti yang disebutkan di atas, ini adalah tugas yang menantang yang dirancang untuk memungkinkan perbaikan berkelanjutan.

Kami telah meningkatkan dari pekerjaan kami yang telah berlangsung⁠ dalam pencegahan bunuh diri dan menyakiti diri sendiri untuk mendeteksi pengguna yang memiliki pikiran untuk bunuh diri dan melukai diri sendiri atau mengagregatkan tanda-tanda yang mengindikasikan keinginan bunuh diri.. Karena percakapan ini sangat jarang, mendeteksi percakapan dengan indikator potensi melukai diri sendiri atau bunuh diri tetap menjadi bidang penelitian yang masih berlangsung yang akan terus kami tingkatkan. 

• Kami melatih model kami untuk merespons dengan aman, termasuk dengan mengarahkan orang-orang ke sumber daya profesional, seperti saluran bantuan krisis. Dalam kasus yang jarang terjadi, model mungkin tidak berperilaku sebagaimana diinginkan dalam situasi sensitif ini. Setelah meluncurkan perlindungan tambahan dan model yang ditingkatkan, kami mendapatkan perkiraan penurunan sebesar 65% atas keadaan ketika model kami memberikan respons yang tidak sepenuhnya mematuhi perilaku yang diharapkan berdasarkan taksonomi kami.
• Seperti yang disebutkan di atas, meskipun percakapan sulit dideteksi dan diukur karena jarang terjadi, analisis awal kami memperkirakan bahwa sekitar 0,15% pengguna aktif pada pekan tertentu terlibat dalam percakapan yang mencakup tanda-tanda yang jelas adanya rencana atau niat bunuh diri, dan 0,05% pesan berisi indikator tersurat atau tersirat gagasan atau niat bunuh diri.
• Terkait percakapan menyakiti diri sendiri dan bunuh diri yang menantang, para pakar menemukan bahwa model GPT‑5 yang baru menurunkan jawaban yang tidak diharapkan sebanyak 52% dibandingkan GPT‑4o (n=630).
• Pada evaluasi model yang terdiri dari 1.000 lebih percakapan terkait menyakiti diri sendiri dan bunuh diri yang menantang, evaluasi otomatis kami yang baru memberi model GPT‑5 yang baru nilai kepatuhan 91% terhadap perilaku yang diharapkan, dibandingkan 77% untuk model GPT‑5 sebelumnya.
• Kami terus meningkatkan keandalan GPT‑5 dalam percakapan panjang. Kami membuat serangkaian percakapan panjang baru yang menantang berdasarkan skenario di dunia nyata yang dipilih karena kemungkinan gagal yang lebih tinggi. Kami memperkirakan bahwa model terbaru kami mempertahankan keandalan 95% dalam percakapan yang lebih panjang, peningkatan dalam situasi yang menantang sebagaimana telah kami sebutkan sebelumnya⁠.

Taksonomi ketergantungan emosional kami (dikembangkan berdasarkan pekerjaan kami sebelumnya⁠(terbuka di jendela baru) di bidang ini) membedakan antara keterlibatan yang sehat dan pola penggunaan yang mengkhawatirkan, seperti ketika seseorang menunjukkan tanda-tanda ketergantungan khusus pada model yang mengorbankan hubungan di dunia nyata, kesejahteraan, atau kewajiban mereka. 

• Kami memperkirakan bahwa pembaruan terkini mengurangi tingkat respons model yang tidak sepenuhnya mematuhi perilaku yang diharapkan berdasarkan taksonomi ketergantungan emosional kami sebesar sekitar 80% dalam lalu lintas produksi terkini. 
• Seperti yang dijabarkan di atas, meskipun percakapan ini sulit dideteksi dan diukur karena jarang terjadi, analisis awal kami memperkirakan bahwa sekitar 0,15% pengguna yang aktif pada satu pekan tertentu dan 0,03% pesan mengindikasikan potensi peningkatan ketergantungan emosional terhadap ChatGPT. 
• Terkait percakapan yang mengindikasikan ketergantungan emosional yang menantang, para pakar menemukan bahwa model GPT‑5 yang baru menurunkan jawaban yang tidak diharapkan sebanyak 42% dibandingkan GPT‑4o (n=507).
• Pada evaluasi model yang terdiri dari 1.000 lebih percakapan menantang yang menandakan ketergantungan emosional, evaluasi otomatis kami memberi model GPT‑5 yang baru nilai kepatuhan 97% terhadap perilaku yang diharapkan, dibandingkan 50% untuk model GPT‑5 sebelumnya.

Untuk percakapan yang menunjukkan ketergantungan emosional, kami mengajarkan model kami untuk mendorong koneksi di dunia nyata:

Untuk percakapan terkait keyakinan delusional, kami mengajarkan model kami untuk merespons dengan aman, berempati, dan menghindari penegasan tanpa dasar:

Kami telah membangun Jaringan Dokter Global—perkumpulan global dengan lebih dari 300 dokter dan psikolog yang membuka praktik di 60 negara—yang secara langsung menjadi sumber penelitian keselamatan kami dan mewakili pandangan global.. Lebih dari 170 dokter ini (terutama dokter psikiatri, psikolog, dan praktisi perawatan utama) mendukung penelitian kami selama beberapa bulan terakhir melalui satu atau beberapa cara berikut:

• Menulis respons ideal untuk prompt terkait kesehatan mental
• Membuat analisis respons model yang khusus dan matang secara klinis
• Menilai keamanan jawaban dari berbagai model.
• Menyediakan panduan dan masukan tingkat tinggi tentang pendekatan kami

Dalam peninjauan ini, para dokter telah memandang bahwa model terkini memberikan respons yang lebih tepat dibandingkan versi sebelumnya. 

Sebagai bagian dari upaya ini, para dokter psikiatri dan psikolog meninjau lebih dari 1.800 respons model yang melibatkan situasi kesehatan mental serius dan membandingkan respons dari model obrolan GPT‑5 yang baru dengan model sebelumnya. Para pakar ini menemukan bahwa model yang baru jauh lebih baik dibandingkan GPT‑4o, dengan penurunan sebesar 39-52% dalam hal respons yang tidak diharapkan di semua kategori. Masukan kualitatif ini sejalan dengan peningkatan kuantitatif yang kami temukan dalam lalu lintas produksi saat kami meluncurkan model baru.

Terkait topik yang kompleks, para pakar sekalipun terkadang tidak menemukan kata sepakat tentang respons terbaik. Kami mengukur variasi ini melalui kesepakatan antar penilai—seberapa sering pakar mencapai kesimpulan yang sama tentang apakah respons suatu model diharapkan atau tidak diharapkan. Ini membantu kami memahami perbedaan pendapat para profesional dengan lebih baik dan cara menyelaraskan perilaku model dengan penilaian klinis yang diharapkan. Kami menemukan keandalan antarpenilai yang wajar di antara para dokter pakar yang menilai respons model terkait kesehatan mental, ketergantungan emosional, dan bunuh diri, tetapi juga melihat ketidaksepakatan di antara para pakar dalam beberapa kasus, dengan tingkat kesepakatan antarpenilai sebesar 71-77%.

Serupa dengan HealthBench⁠ yang kami kembangkan, kami bekerja sama dengan Jaringan Dokter Global untuk membuat evaluasi tertarget yang kami gunakan secara internal untuk menilai kinerja model dalam konteks kesehatan mental, termasuk dalam model baru sebelum dirilis. 

Pekerjaan ini sangat penting bagi kami, dan kami berterima kasih kepada berbagai pakar kesehatan mental di seluruh dunia yang terus memberikan panduan. Kami telah menghasilkan kemajuan berarti, tetapi masih banyak yang harus dilakukan. Kami akan terus memajukan taksonomi dan sistem teknis yang kami gunakan untuk mengukur dan memperkuat perilaku model di bidang ini dan di masa mendatang. Karena alat ini berkembang seiring waktu, pengukuran di masa mendatang mungkin tidak dapat dibandingkan secara langsung dengan pengukuran di masa lalu, tetapi tetap merupakan cara yang penting untuk menelusuri arah dan kemajuan kami.

Anda dapat membaca selengkapnya tentang upaya ini dalam adendum⁠ kartu sistem GPT‑5.