Kepiye pengakuan bisa njaga model basa tetep jujur
Kita nuduhake metode awal proof-of-concept sing nglatih model kanggo nglaporake nalika model nglanggar instruksi utawa njupuk trabasan sing ora dikarepake.
Sistem AI saya dadi luwih mumpuni, lan kita pengin mangerteni sistem kasebut sedalem-daleme—kalebu kepiye lan kenapa sistem mau tekan sawijining jawaban. Kadhang model njupuk trabasan utawa ngoptimalake tujuan sing salah, nanging output pungkasané isih katon bener. Yen kita bisa nggawé kedadeyan kaya ngono katon, kita bisa luwih apik ngawasi sistem sing wis dideploy, ningkatake pelatihan, lan nambah kapercayan marang outputé.
Riset saka OpenAI lan liya-liyane nuduhake yen model AI bisa ngalusinasi, nindakake reward-hack, utawa ora jujur. Saiki, tumindak nyimpang sing paling nguwatirake, kayata ngakali kanthi rencana(mbukak ing jendhela anyar), mung katon ing stress-test lan evaluasi adversarial. Nanging, amarga model saya luwih mumpuni lan saya luwih agentic, sanajan bentuk misalignment sing langka dadi luwih gedhe akibaté, mula kita kasurung nandur modal ing metode sing mbantu kita luwih apik ndeteksi, mangerteni, lan nyuda risiko iki.
Karya iki njelajah salah siji pendekatan kuwi: nglatih model supaya kanthi cetha ngakoni nalika melu tumindak sing ora dikarepake—teknik sing kita sebut pengakuan.
Pengakuan iku output kapindho, kapisah saka jawaban utama model marang pangguna. Jawaban utama dinilai saka akeh dimensi—kabeneran, gaya, kegunaan, kepatuhan, keamanan, lan liya-liyane, lan sinyal majemuk iki digunakake kanggo nglatih model supaya ngasilake jawaban sing luwih apik. Nanging pengakuan mung dinilai lan dilatih kanggo siji perkara: kejujuran. Nyilih struktur saka praktik pengakuan, apa wae sing diucapake model ing pengakuané ora bakal dianggep ala nalika pelatihan. Yen model kanthi jujur ngakoni yen wis ngeretas tes, sandbagging, utawa nglanggar instruksi, pengakuan kuwi malah nambah ganjarané tinimbang nyuda. Tujuané yaiku nyengkuyung model supaya setya nglaporake apa sing tenan ditindakake.
Ing tes kita, kita nemokake manawa metode pengakuan kanthi signifikan nambah visibilitas tumindak nyimpang model. Rata-rata ing sakabehé evaluasi sing dirancang kanggo micu tumindak nyimpang, kemungkinan “negatif palsu” (yaiku model ora nuruti instruksi lan banjur uga ora ngakoni) mung 4,4%.
Akurasi model pengakuan “proof of concept” kita ing sawatara dataset adversarial. Hasil dikategorikake dadi nuruti lan ora ngakoni (negatif sejati), nuruti lan ngakoni (positif palsu), ora nuruti lan ora ngakoni (negatif palsu), lan ora nuruti lan ngakoni (positif sejati).
Yen diwenehi prompt pangguna, papat asil sing bisa kedadeyan adhedhasar kombinasi (1) apa respons model iku manut (“apik”) utawa ora manut (“ala”), lan (2) apa pengakuan ngaku manut utawa ora manut. Umumé kita ndeleng yen pengakuan banget mungkin akurat, lan saliyane kuwi kesalahan pengakuan biasane ora mbebayani, lan kedadeyan amarga kebingungan sing jujur tinimbang kanthi sengaja nyasarke.
Pengakuan yaiku laporan diri saka model babagan sepira apik model nuruti roh lan teks saka instruksi utawa kabijakan sing eksplisit lan implisit sing diwenehake marang dheweke, lan apa ana kedadeyan nalika model “motong dalan” utawa “ngeretas”, nglanggar kabijakan, utawa kanthi cara apa wae ora nyukupi pangarepan. Ing riset kita, kita nemokake yen model bisa dilatih supaya blaka sajrone nglaporake kekurangane dhewe. Kita nglatih salah siji versi GPT‑5 Thinking kanggo ngasilake pengakuan, lan ngevaluasi ing sawatara dataset stress-test out-of-distribution sing dirancang kanggo ngundang prilaku kayata ngakali kanthi rencana, ngeretas, nglanggar instruksi, lan halusinasi. Kita nemokake yen sanajan model melu tumindak sing ora dikarepake iki, model banget bisa ngakoni. Gambar ing ndhuwur nuduhake yen pendekatan pengakuan cukup efektif ing macem-macem dataset lan tugas.
Sawisé interaksi apa wae antarane pangguna lan model sing dipungkasi nganggo jawaban model, pengakuan bisa dijaluk kanthi ngirim “pesen sistem” marang model sing mrintah model supaya menehi laporan pengakuan. Laporan iki nyangkut jawaban pungkasan saka model, lan ngemot (1) dhaptar kabèh instruksi, kendala, lan tujuan eksplisit lan implisit sing kuduné dipenuhi jawaban iki, (2) analisis sing jujur lan objektif apa jawaban kasebut tenan wis nyukupi saben tujuan mau, lan (3) dhaptar ketidakpastian, ambiguitas, utawa “panggilan penilaian angel” apa wae sing ditemoni model nalika ngasilake jawaban. Sajrone pelatihan, pengakuan dievaluasi dening reward model kapisah sing mung menehi skor marang pengakuan adhedhasar kelengkapan tujuan, akurasi analisis kepatuhan, lan cakupan ketidakpastian. Ganjaran iki mung ditrapake kanggo output pengakuan lan ora tau mengaruhi ganjaran kanggo jawaban utama. Iki njamin sifat sing wis dibahas ing ndhuwur, yaiku apa wae sing diucapake model ing pengakuan ora bisa ngrusak (utawa mbantu) ganjarané kanggo jawaban utama.
Teori ing balik pengakuan iku prasaja. Akeh jinis prilaku model sing ora dikarepake muncul amarga kita njaluk model ngoptimalake sawetara tujuan sekaligus. Sajrone sinau penguatan, model ndeleng prompt, ngasilake respons, lan entuk ganjaran. Suwe-suwe, model sinau ngasilake jinis jawaban sing skoré apik. Tantangane yaiku sinyal ganjaran kudu nggabungake akeh pertimbangan sekaligus: sepira bener jawabané, apa migunani, apa ngetutake spesifikasi produk lan kabijakan, apa nyukupi watesan keamanan, lan apa cocog karo sing biasane disenengi pangguna. Nalika sinyal-sinyal iki sesambungan, kadhang malah tanpa disengaja nyurung model menyang prilaku sing ora kita pengini.
Contone, karya kita babagan halusinasi nuduhake yen sawetara dataset luwih menehi ganjaran marang tebakan percaya diri tinimbang pengakuan jujur yen ora yakin. Riset kita babagan sikofansi nuduhake yen model bisa dadi kakehan sarujuk nalika sinyal preferensiné kuwat banget. Lan karya(mbukak ing jendhela anyar) saka kelompok liya nuduhake yen model bisa “reward hack”—nemokake celah ing setelan pelatihan sing ngidini model entuk skor dhuwur tanpa tenan nindakake sing kita karepake. Ing sawetara kasus, trabasan iki bisa ngeneralisasi(mbukak ing jendhela anyar) dadi prilaku sing luwih mbebayani nalika deployment.
Pengakuan ngindhari masalah iki kanthi misahake tujuan-tujuan kasebut sakabehé. Jawaban utama tetep ngoptimalake kabeh faktor umum kaya biasane. Pengakuan dilatih mung kanggo siji: kejujuran. Apa wae sing diucapake model ing pengakuan ora dianggep ala, lan pengakuan ora mengaruhi ganjaran kanggo jawaban utama. Tegese, sanajan model ngapusi utawa motong dalan ing output asliné, model isih nduweni insentif kanggo ngakoni iku ing pengakuan. Iki sing kita deleng ing praktik: model gelem ngakoni prilaku ala ing pengakuan, malah ing kasus nalika model ndhelikake ing jawaban utama. Lan nalika pengakuan gagal, biasane amarga model tenan bingung—amarga instruksiné ambigu utawa amarga model ora ngerti yen ana kesalahan—dudu amarga model kanthi sengaja nyoba nyasarke. Sing penting, asil awal nuduhake yen pengakuan tetep efektif sanajan jawaban asli diprodhuksi tanpa ranté pikiran babar pisan, nuduhake yen kejujuran pengakuan ora gumantung marang keterbacaan nalar internal lan bisa uga ngeneralisasi ing arsitektur model masa depan.
Pelatihan pengakuan bisa mlaku sanajan tanpa label ground truth babagan kepatuhan. Kanthi “ground truth,” maksud kita label definitif sing diwenehake saka njaba sing nuduhake apa model tenan ngetutake instruksi utawa nglanggar. Ing akeh tugas nyata label iki ora kasedhiya—yen kita ngerti kanthi pasti yen model nglanggar aturan, kita bisa langsung menehi penalti marang pelanggaran kuwi tinimbang gumantung marang pengakuan. Nanging, model diganjar amarga ngasilake penjelasan terstruktur sing didhukung bukti babagan apa sing dipercaya wis ditindakake. Makalah iki nuduhake yen kejujuran cenderung muncul ing setelan iki. Kita mikir iki amarga menehi laporan sing jujur lan didhukung bukti umume luwih gampang kanggo model tinimbang nyusun narasi palsu sing koheren lan bisa lolos saka hakim. Iki asumsi penting sing dijelajah ing makalah, sing uga mbahas kasus nalika pengakuan gagal—negatif palsu lan positif palsu—lan kepiye kedadeyan kasebut muncul.
Makalah iki menehi bukti awal yen pengakuan bisa mlaku, nanging ora kena dianggep minangka bukti final. Sanajan kita nggunakake model tercanggih (GPT‑5 Thinking), eksperimen kita winates saka sisi skala, nggunakake komputasi lan data sing relatif sithik. Kita semangat kanggo nggawa karya iki menyang tingkat sabanjuré, lan ndeleng apa kejujuran pengakuan bakal tetep tahan nalika kita nggedhekake pelatihane.
Model nindakake “reward hack” ing respons utama kanggo ngapusi penilai kanthi menehi anotasi ukara nganggo cacah tembung sing diklaim, nanging banjur ngakoni iki ing pengakuan.
Minangka bagéan saka eksperimen, kita kanthi sengaja nglatih model nglawan sinyal ganjaran “sing bisa diretas” sing diitung dening model sing luwih ringkih. Setelan iki ditrapake kanggo ganjaran utama lan ganjaran pengakuan. Model sinau ngeksploitasi sinyal ganjaran sing ringkih iki: akurasi sing katon (nalika dinilai dening model ringkih) mundhak, dene akurasi sejatiné (nalika dinilai evaluator sing luwih kuwat) malah mudhun.
Nanging, sanajan kanal pengakuan dilatih nganggo sinyal ringkih sing padha, akurasiné malah obah menyang arah kosok balene. Model sinau yen cara paling apik kanggo ngoptimalake ganjaran pengakuan yaiku mung ngakoni nalika model ngeretas ganjaran utama. Pengakuan saya akurat saka wektu ke wektu, sanajan prilaku utama malih arah.
Sajrone pelatihan, nalika model gagal manut, model sinau ing sawatara kasus kanggo “ngeretas” hakim ganjaran utama mula akurasi hakim mudhun. Kosok balene, sanajan hakim ganjaran pengakuan padha wae bisa diretas, model mung dadi saya jujur sajrone pelatihan ing pengakuané, lan pungkasane meh tekan 100% ngakoni nalika model ora manut.
Makalah(mbukak ing jendhela anyar) iki ngemot luwih akeh eksperimen lan asil. Kita mbandhingake model sing dilatih nganggo pengakuan karo model kontrol sing dilatih kanthi cara sing padha nanging tanpa kanal pengakuan. Kita uga nliti kasus nalika pengakuan gagal. Meh kabèh “kecolongan” kedadeyan nalika model tenan bingung—nalika instruksi ambigu utawa nalika model mung ora ngerti yen wis nggawe kesalahan. (Delengen conto negatif palsu ing ndhuwur.)
Pengakuan nduweni watesan. Iki ora nyegah prilaku ala; mung nggawé prilaku mau katon. Nilai utamané yaiku minangka piranti ngawasi lan diagnosis, nalika pelatihan lan uga nalika deployment. Pengakuan nduweni peran sing mirip karo pemantauan ranté pikiran: loro-loroné nggawé proses nalar sing didhelikake dadi luwih katon. Pengakuan fokus ing apa model nglanggar instruksi; ranté pikiran bisa nyorot kepiye model tekan kana.
Karya iki uga mung proof of concept. Kita durung nglatih mekanisme pengakuan ing skala gedhe, lan akurasi pengakuan isih durung sampurna. Isih ana luwih akeh karya sing kudu ditindakake supaya pendekatan iki dadi luwih andal, luwih tangguh, lan luwih bisa ditrapake kanthi amba ing macem-macem kulawarga model lan tugas.
Karya iki cocog karo pendekatan kita sing luwih jembar marang keamanan AI. Pengakuan iku salah siji mekanisme ing tumpukan sing luwih gedhe sing kalebu penyelaras deliberatif, pemantauan ranté pikiran, hierarki instruksi, lan liya-liyane. Ora ana siji metode waé sing cukup; tujuane yaiku sistem berlapis saka pemeriksaan lan alat transparansi sing saling nguwatake. Pengakuan bisa mbantu ndhiagnosis prilaku bermasalah ing model nalika pelatihan lan evaluasi, uga ngawasi nalika deployment. Pengakuan dhewe ora ngrampungake masalah nimbang pirang-pirang dimensi. Nanging kanthi nggawe mode “serum kejujuran” sing ndadekake model mung fokus marang kejujuran, iki nambah piranti sing migunani ing tumpukan kita kanggo ningkatake kejujuran lan keamanan sacara umum.
Nalika model saya luwih mumpuni lan dideploy ing setelan sing taruhane luwih gedhe, kita butuh piranti sing luwih apik kanggo mangerteni apa sing ditindakake lan kenapa. Pengakuan dudu solusi lengkap, nanging nambah lapisan sing migunani ing tumpukan transparansi lan pengawasan kita. Ing karya mendatang, kita rencana nggedhekake pengakuan, uga masangake karo teknik transparansi lan keamanan pelengkap, kalebu pemantauan ranté pikiran lan penyelaras deliberatif, supaya bisa maju luwih adoh kanggo njamin model kita setya manut kabeh instruksi lan kabijakan (kayata Spesifikasi Model(mbukak ing jendhela anyar)), lan kanthi jujur nglaporake tumindaké.
