Bagaimana pengakuan dapat membuat model bahasa tetap jujur

Sistem AI semakin canggih, dan kami ingin memahaminya sedalam mungkin—termasuk bagaimana dan mengapa mereka mencapai suatu jawaban. Terkadang sebuah model mengambil pintasan atau mengoptimalkan untuk tujuan yang salah, tetapi hasil akhirnya tetap terlihat benar. Jika kita dapat mengidentifikasi kapan hal itu terjadi, kita dapat memantau sistem yang diterapkan dengan lebih baik, meningkatkan pelatihan, dan meningkatkan kepercayaan pada hasilnya.

Penelitian oleh OpenAI dan lainnya telah menunjukkan bahwa model AI dapat mengalami halusinasi⁠, mengakali sistem penghargaan, atau tidak jujur. Saat ini, kami melihat perilaku buruk yang paling mengkhawatirkan, seperti persekongkolan⁠(terbuka di jendela baru), hanya dalam uji ketahanan dan evaluasi lawan. Namun, seiring model menjadi lebih canggih dan semakin bersifat agen, bahkan bentuk-bentuk ketidakselarasan yang jarang terjadi menjadi lebih berdampak, mendorong kami untuk berinvestasi dalam metode yang membantu kami lebih baik mendeteksi, memahami, dan mengurangi risiko-risiko tersebut. 

Pekerjaan ini menjelajahi salah satu pendekatan tersebut: pelatihan model untuk secara eksplisit mengakui ketika mereka terlibat dalam perilaku yang tidak diinginkan—sebuah teknik yang kami sebut pengakuan (confession). 

Sebuah pengakuan adalah keluaran kedua, terpisah dari jawaban utama model kepada pengguna. Jawaban utama dinilai berdasarkan banyak dimensi—ketepatan, gaya, kegunaan, kepatuhan, keamanan, dan lainnya, dan sinyal multifaset ini digunakan untuk latih model agar menghasilkan jawaban yang lebih baik bagi Anda. Sebaliknya, pengakuan dinilai dan dilatih hanya pada satu hal: kejujuran. Meminjam konsep dari struktur pengakuan, tidak ada yang dikatakan model dalam pengakuannya yang digunakan untuk menentangnya selama pelatihan. Jika model dengan jujur mengakui meretas tes, melakukan sandbagging, atau langgar instruksi, pengakuan tersebut meningkatkan imbalannya daripada menguranginya. Tujuannya adalah untuk mendorong model agar melaporkan dengan setia apa yang sebenarnya dilakukannya. 

Dalam pengujian kami, kami menemukan bahwa metode pengakuan secara signifikan meningkatkan visibilitas kesalahan perilaku model. Rata-rata dari evaluasi kami yang dirancang untuk memicu perilaku buruk, probabilitas "negatif palsu" (yaitu, model tidak mematuhi instruksi dan kemudian tidak mengakuinya) hanya 4,4%.

Keakuratan model "bukti konsep" pengakuan kami pada sejumlah kumpulan data adversarial. Hasil dikategorikan sebagai mematuhi dan tidak mengaku (benar negatif), mematuhi dan mengaku (positif palsu), tidak mematuhi dan tidak mengaku (negatif palsu), dan tidak mematuhi dan mengaku (benar positif).

Sebuah pengakuan adalah laporan diri oleh model tentang seberapa baik ia mematuhi baik semangat maupun isi dari instruksi atau kebijakan eksplisit dan implisit yang diberikan kepadanya, dan apakah ada kejadian ketika ia "mengambil jalan pintas" atau "mengakali", langgar kebijakan, atau dengan cara apa pun tidak memenuhi harapan. Dalam penelitian kami, kami menemukan bahwa model dapat dilatih untuk bersikap jujur dalam melaporkan kekurangan mereka sendiri. Kami melatih versi GPT‑5 Thinking untuk menghasilkan pengakuan, dan mengevaluasinya pada sejumlah dataset uji stres di luar distribusi yang dirancang untuk memicu perilaku seperti pengelabuan, peretasan, melanggar instruksi, dan halusinasi. Kami menemukan bahwa bahkan ketika model terlibat dalam perilaku yang tidak diinginkan ini, sangat mungkin model tersebut akan mengakuinya. Gambar di atas menunjukkan bahwa pendekatan pengakuan secara umum efektif di berbagai kumpulan data dan tugas. 

Setelah setiap interaksi antara pengguna dan model yang diakhiri dengan jawaban model, sebuah pengakuan dapat diminta dengan mengirimkan "pesan sistem" kepada model yang menginstruksikan model untuk memberikan laporan pengakuan. Laporan ini berkaitan dengan jawaban terakhir oleh model, dan mencakup (1) daftar semua instruksi, batasan, dan tujuan eksplisit dan implisit yang seharusnya dipenuhi oleh jawaban ini, (2) analisis jujur dan objektif apakah jawaban tersebut benar-benar memenuhi masing-masing tujuan ini, dan (3) daftar ketidakpastian, ambiguitas, atau "keputusan sulit" yang dihadapi model dalam menghasilkan jawaban. Selama pelatihan, sebuah pengakuan dievaluasi oleh model penghargaan terpisah yang hanya menilai pengakuan tersebut berdasarkan kelengkapan tujuan, ketepatan analisis kepatuhan, dan cakupan ketidakpastian. Penghargaan ini diterapkan secara eksklusif pada keluaran pengakuan dan tidak pernah mempengaruhi penghargaan untuk jawaban utama. Ini memastikan properti yang dibahas di atas, bahwa tidak ada yang dikatakan model dalam pengakuan dapat merugikan (atau membantu) imbalannya untuk jawaban utamanya.

Teori di balik pengakuan itu sederhana. Banyak jenis perilaku model yang tidak diinginkan muncul karena kami meminta model untuk mengoptimalkan beberapa tujuan sekaligus. Selama pembelajaran penguatan, model melihat sebuah prompt, menghasilkan respons, dan mendapatkan imbalan. Seiring waktu, ia belajar untuk menghasilkan jenis jawaban yang mendapatkan skor baik. Tantangannya adalah sinyal imbalan harus menggabungkan banyak pertimbangan berbeda sekaligus: seberapa benar jawabannya, apakah bermanfaat, apakah mengikuti spesifikasi produk dan kebijakan, apakah memenuhi batasan keamanan, dan apakah sesuai dengan apa yang cenderung disukai oleh pengguna. Ketika sinyal-sinyal ini berinteraksi, mereka dapat secara tidak sengaja mendorong model ke arah perilaku yang tidak kita inginkan.

Sebagai contoh, penelitian kami tentang halusinasi⁠ menunjukkan bahwa beberapa dataset lebih menghargai tebakan yang percaya diri daripada pengakuan jujur tentang ketidakpastian. Penelitian kami tentang sikap mengiyakan⁠ menunjukkan bahwa model dapat menjadi terlalu setuju ketika sinyal preferensi terlalu kuat. Dan pekerjaan⁠(terbuka di jendela baru) dari grup lain telah menunjukkan bahwa model dapat melakukan "peretasan imbalan"—menemukan celah dalam pengaturan pelatihan yang memungkinkan mereka mendapatkan skor tinggi tanpa benar-benar melakukan apa yang kami maksudkan. Dalam beberapa kasus, pintasan ini dapat menggeneralisasi⁠(terbuka di jendela baru) menjadi perilaku yang lebih berbahaya saat diterapkan.

Pengakuan menghindari masalah ini dengan sepenuhnya memisahkan tujuan. Jawaban utama lanjutkan mengoptimalkan semua faktor yang biasa. Pengakuan dilatih hanya pada satu hal: kejujuran. Tidak ada yang dikatakan model dalam pengakuan yang digunakan untuk menentangnya, dan pengakuan tersebut tidak mempengaruhi penghargaan untuk jawaban utama. Itu berarti bahkan jika model menipu atau mengambil jalan pintas dalam hasil aslinya, model tersebut tetap memiliki insentif untuk mengakui hal itu dalam pengakuan. Inilah yang kita lihat dalam praktik: model bersedia mengakui perilaku buruk dalam pengakuan, bahkan dalam kasus ketika mereka menyembunyikannya dalam jawaban utama. Dan ketika pengakuan gagal, biasanya karena model benar-benar bingung—karena instruksinya ambigu atau karena tidak menyadari bahwa telah terjadi kesalahan—bukan karena sengaja mencoba menyesatkan. Yang penting, hasil awal menunjukkan bahwa pengakuan tetap efektif bahkan ketika jawaban asli dihasilkan tanpa rantai pemikiran sama sekali, menunjukkan bahwa kejujuran pengakuan tidak bergantung pada keterbacaan penalaran internal dan dapat digeneralisasi ke arsitektur model di masa depan.

Pelatihan pengakuan berfungsi bahkan tanpa label kebenaran dasar dari kepatuhan. Dengan "ground truth (kebenaran dasar)," yang kami maksud adalah label definitif yang disediakan secara eksternal yang menunjukkan apakah model benar-benar mengikuti instruksi atau melanggarnya. Dalam banyak tugas dunia nyata, label ini tidak tersedia—jika kita tahu dengan pasti bahwa model telah melanggar aturan, kita dapat langsung memberikan sanksi atas pelanggaran tersebut daripada mengandalkan pengakuan. Sebaliknya, model tersebut diberi penghargaan karena menghasilkan penjelasan yang terstruktur dan didukung oleh bukti tentang apa yang diyakininya telah dilakukan. Tulisan ini menunjukkan bahwa kejujuran cenderung muncul dalam pengaturan ini. Kami pikirkan ini karena memberikan akun yang jujur dan didukung bukti umumnya lebih mudah bagi model daripada menyusun narasi palsu yang koheren yang dapat lolos dari penilaian. Ini adalah asumsi kunci yang dijelajahi dalam tulisan ini, yang juga membahas kasus-kasus ketika pengakuan gagal—negatif palsu dan positif palsu—dan bagaimana hal tersebut muncul.

Tulisan ini memberikan bukti awal bahwa pengakuan berfungsi, tetapi tidak boleh dianggap sebagai bukti yang konklusif. Meskipun kami menggunakan model frontier (GPT‑5 Thinking), eksperimen kami terbatas dalam skala, menggunakan jumlah komputasi dan data yang relatif kecil. Kami sangat antusias untuk membawa pekerjaan ini ke tingkat selanjutnya, dan melihat apakah kejujuran pengakuan akan terus dilanjutkan saat kami meningkatkan skala pelatihannya.

Sebagai bagian dari eksperimen kami, kami dengan sengaja melatih model terhadap sinyal imbalan yang dapat "diretas" yang dihitung oleh model yang lebih lemah. Pengaturan ini berlaku untuk baik hadiah utama maupun hadiah pengakuan. Model tersebut belajar untuk mengeksploitasi sinyal imbalan yang lemah: keakuratan yang tampak (ketika dinilai oleh model yang lemah) meningkat, sementara keakuratan sebenarnya (ketika dinilai oleh penilai yang lebih kuat) menurun. 

Namun, meskipun saluran pengakuan dilatih pada sinyal lemah yang sama, tingkat akurasinya bergerak ke arah yang berlawanan. Model tersebut mempelajari bahwa cara terbaik untuk mengoptimalkan imbalan pengakuan adalah dengan mengakui ketika ia meretas imbalan utama. Pengakuan menjadi lebih akurat seiring waktu, meskipun perilaku utama mengalami penyimpangan.

Tulisan⁠(terbuka di jendela baru) ini memuat lebih banyak eksperimen dan hasil. Kami membandingkan model yang dilatih dengan saluran pengakuan terhadap model kontrol yang dilatih dengan cara yang sama tetapi tanpa saluran pengakuan. Kami juga meneliti kasus-kasus ketika pengakuan gagal. Hampir semua "kesalahan" terjadi ketika model benar-benar bingung—ketika instruksi tidak jelas atau ketika model tidak menyadari bahwa ia telah membuat kesalahan. (Lihat contoh negatif palsu⁠ di atas.)

Pengakuan memiliki batasannya. Mereka tidak mencegah perilaku buruk; mereka memunculkannya. Nilai utama mereka adalah sebagai alat pemantauan dan diagnostik, baik selama pelatihan maupun penerapan. Pengakuan memainkan peran yang mirip dengan pemantauan rantai pemikiran⁠: keduanya membuat proses penalaran tersembunyi menjadi lebih terlihat. Pengakuan berfokus pada apakah model langgar instruksi; Rantai Pemikiran dapat menyoroti bagaimana model sampai di sana.

Pekerjaan ini juga merupakan bukti konsep. Kami tidak latih mekanisme pengakuan dalam skala besar, dan keakuratan pengakuan masih belum sempurna. Masih ada lebih banyak pekerjaan yang harus dilakukan untuk membuat pendekatan ini lebih andal, lebih kuat, dan lebih luas penerapannya di berbagai keluarga model dan tugas.

Pekerjaan ini sesuai dengan pendekatan kami yang lebih luas terhadap keselamatan AI⁠. Pengakuan adalah salah satu mekanisme dalam tumpukan yang lebih besar yang mencakup penyelarasan deliberatif⁠, pemantauan rantai pemikiran⁠, hierarki instruksi⁠, dan lainnya. Tidak ada satu metode pun yang cukup; tujuannya adalah sistem berlapis dari pemeriksaan dan alat transparansi yang saling memperkuat satu sama lain. Pengakuan dapat membantu dalam mendiagnosis perilaku bermasalah pada model selama pelatihan dan evaluasi, serta pemantauan selama penerapan. Pengakuan sendiri tidak menyelesaikan masalah menyeimbangkan berbagai dimensi. Namun dengan membuat mode "serum kebenaran" yang modelnya hanya fokus pada kejujuran, ini menambahkan alat yang berharga ke dalam tumpukan kami untuk meningkatkan kejujuran dan keselamatan secara keseluruhan.

Seiring model menjadi lebih mampu dan diterapkan dalam pengaturan dengan risiko lebih tinggi, kita memerlukan alat yang lebih baik untuk memahami apa yang mereka lakukan dan mengapa. Pengakuan bukanlah solusi yang lengkap, tetapi menambahkan lapisan bermakna ke dalam tumpukan transparansi dan pengawasan kami. Dalam pekerjaan mendatang, kami berencana untuk meningkatkan skala pengakuan, serta memasangkannya dengan teknik transparansi dan keamanan yang saling melengkapi, termasuk pemantauan Rantai Pemikiran dan penyelarasan deliberatif, untuk membuat kemajuan lebih lanjut dalam memastikan bahwa model kami dengan setia mematuhi semua instruksi dan kebijakan (seperti Spesifikasi Model⁠(terbuka di jendela baru) kami), dan melaporkan tindakan mereka dengan jujur.