Model penaakulan sukar mengawal rentetan fikirannya, dan itu bagus

Apabila ejen AI menjadi mampu melaksanakan tugas yang semakin kompleks dan autonomi, mengekalkan pengawasan yang boleh dipercayai terhadap tingkah lakunya menjadi lebih penting. Selaras dengan prinsip pelaksanaan berulang kami, kami mengkaji cara sistem berfungsi dalam persekitaran dunia sebenar dan terus memperhalusi perlindungan apabila keupayaan semakin maju. Untuk menyokong ini, pendekatan keselamatan kami⁠ menggunakan pertahanan mendalam, dengan berbilang lapisan pertahanan pelengkap seperti latihan keselamatan⁠, ujian tingkah laku⁠, semakan kod agentik⁠(dibuka dalam tetingkap baru), dan  pemantauan rentetan fikiran (CoT)⁠. Pemantauan CoT menganalisis langkah penaakulan yang dijana oleh ejen semasa melaksanakan tugas. Jejak penaakulan ini boleh memberikan isyarat yang berharga semasa latihan dan dalam pelaksanaan, membantu sistem pemantauan mengenal pasti bila tingkah laku ejen mungkin tidak selamat atau tidak konsisten dengan matlamat yang dimaksudkan oleh pengguna.

Hari ini, kami mendapati bahawa penaakulan model secara amnya boleh ditafsir dan mudah dipantau⁠. Walau bagaimanapun, pada masa depan, keupayaan untuk memantau mungkin gagal disebabkan oleh pelbagai sebab⁠(dibuka dalam tetingkap baru). Di sini, kami menumpukan pada satu laluan sedemikian: jika ejen berupaya membentuk semula atau mengaburkan penaakulannya secara sengaja apabila ia tahu ia sedang dipantau, penilaian boleh terlebih anggar penjajaran atau keselamatan sistem, dan sistem pemantauan boleh menjadi kurang dipercayai. 

Dalam kerja ini, kami mengkaji sama ada model penaakulan semasa mampu mengawal rentetan fikirannya dengan cara yang mengurangkan kebolehan pemantauan. Memahami keupayaan ini adalah penting untuk memastikan bahawa pemantauan CoT kekal sebagai perlindungan yang kukuh apabila sistem AI semakin berkebolehan. Kami mendapati bahawa model penaakulan semasa sukar mengawal CoTs mereka, walaupun apabila diberitahu bahawa mereka sedang dipantau. Walaupun kebolehkawalan adalah lebih tinggi untuk model yang lebih besar, ia berkurangan apabila model diminta untuk menaakul lebih lama dan apabila ia menjalani pasca-latihan tambahan. Hasil kami mencadangkan bahawa kebolehkawalan CoT berkemungkinan tidak akan pada masa ini menimbulkan risiko besar kepada keupayaan untuk memantau CoT, walaupun penilaian berterusan akan menjadi penting apabila model semakin maju.

Rentetan fikiran merujuk kepada langkah penaakulan pertengahan yang dijana oleh ejen AI semasa menyelesaikan tugas. Jejak penaakulan ini dapat memberikan isyarat keselamatan yang berguna, membantu sistem pemantauan menilai sama ada tingkah laku ejen adalah selamat atau sejajar.

Kebolehkawalan CoT ialah keupayaan model penaakulan untuk mengawal sifat CoTnya dengan cara yang mengurangkan kebolehpantauan. Mengukur keupayaan ini di bawah keseluruhan julat insentif realistik untuk mengelak pemantau yang mungkin kita jangkakan dalam amalan adalah mencabar. Sebaliknya, kami menggunakan proksi yang praktikal: kami mengukur keupayaan model untuk mengikuti arahan pengguna tentang CoT mereka. Sebagai contoh, kami menguji sama ada sesuatu model boleh mengikuti arahan yang mempengaruhi penaakulan dalamannya—seperti menggunakan hanya huruf kecil, mengelakkan kata kunci tertentu, atau menambah frasa tertentu—bukannya sekadar mengubah output yang kelihatan.

Untuk mengkaji perkara ini, kami memperkenalkan CoT-Control, satu suite penilaian sumber terbuka untuk mengukur kebolehkawalan CoT bagi model penaakulan. CoT-Control merangkumi lebih 13,000 tugas yang dibina daripada penanda aras yang telah ditetapkan:  GPQA, MMLU-Pro, HLE, BFCL dan SWE-Bench Verified⁠. Setiap tugas dicipta dengan menggandingkan satu masalah penanda aras dengan satu arahan CoT seperti mengelakkan kata kunci tertentu yang berkaitan dengan masalah dalam CoT, menggunakan huruf kecil sahaja, atau menambahkan satu perkataan yang diberikan pada setiap ayat.

Kami menjalankan penilaian pada 13 model penaakulan, dan mendapati bahawa semuanya bergelut untuk mengawal CoT mereka dengan konsisten. Kami mengukur kebolehkawalan sebagai pecahan jejak penaakulan di mana model berjaya mematuhi arahan CoT kami. Merentasi model perbatasan, skor kebolehkawalan CoT adalah rendah, antara 0.1% dan tidak melebihi 15.4% bagi mana-mana model perbatasan semasa yang kami uji. 

Ketidakupayaan ini tidak berpunca daripada salah faham terhadap tugasan: model sering mengenal pasti dalam CoT yang dipunyainya bahawa ia gagal mematuhi arahan CoT yang diberikan kepadanya dan—walaupun selepas menyedari perkara ini—masih terus gagal. Prestasi yang mengejutkan rendah ini ialah berita baik untuk keupayaan pemantauan CoT: ia mencadangkan bahawa model mungkin juga tidak mempunyai keupayaan untuk mengaburkan penaakulannya bagi mengelakkan pemantau kami.

Walaupun kami melihat bahawa kebolehkawalan meningkat dengan saiz model, kami juga mendapati bahawa ia cepat menurun dengan jumlah pengiraan pasca-latihan dan pengiraan masa ujian. Melihat merentas dua keluarga model berat terbuka, model yang lebih besar adalah lebih baik sedikit dalam mengawal rentetan fikiran mereka, walaupun kesannya semakin berkurangan pada saiz yang lebih besar. Tetapi apabila kita membiarkan model berfikir lebih lama, model menjadi kurang mampu mengawal rentetan fikiran tersebut. Kami melihat trend yang serupa untuk latihan RL bagi OLMo-3-7B-RL-Zero-Math: skor kebolehannya untuk dikawal menurun lebih daripada sepuluh kali ganda sepanjang tempoh latihan.

Kebolehkawalan meningkat dengan penskalaan dalam model berat terbuka tetapi merosot dengan penaakulan yang lebih panjang dan lebih banyak latihan RL.

Untuk mensimulasikan insentif yang realistik untuk mengelak pemantau, kami mengukur kebolehkawalan apabila model diberitahu bahawa ia sedang dipantau atau dinilai. Ini sedikit (tetapi ketara) meningkatkan kawalan. Kami juga menggunakan pengoptimuman prom automatik untuk mencari prom yang mencetuskan kebolehkawalan yang tinggi. Walaupun pengoptimum boleh meningkatkan kebolehkawalan pada set latihan, peningkatan ini kurang dipindahkan dengan baik kepada jenis arahan baharu (seperti memerlukan tiada ruang antara perkataan).

Tugas dalam CoT-Control ialah proksi praktikal: penilaian kebolehkawalan CoT yang ideal akan melibatkan pengujian sama ada model yang secara semula jadi mengejar matlamat yang tidak sejajar boleh mengawal CoT kepunyaannya untuk mengelak pemantauan. Sebaliknya, kami menganggarkan keupayaan ejen untuk mengawal CoT kepunyaannya dengan mengukur keupayaan mereka untuk mengikuti arahan tentang CoT mereka. Selain itu, model boleh mengawal beberapa ciri CoTnya dengan lebih baik daripada yang lain, dan CoT-Control mungkin terlebih atau terkurang menganggarkan kebolehkawalan dengan mengukur hanya set jenis kebolehkawalan yang sempit.

Kebolehkawalan CoT yang rendah ialah satu ciri, bukan pepijat. Kebolehkawalan rendah model-model penaakulan semasa menjadikan pemantauan CoT lebih dipercayai sebagai langkah perlindungan. Pada masa yang sama, kami masih belum memahami mengapa kebolehkawalan model penaakulan semasa adalah rendah—atau sama ada sifat ini akan berterusan apabila model menjadi lebih berkemampuan. Oleh itu, penilaian kebolehkawalan CoT boleh dilihat sebagai penilaian kanari: tanda amaran awal sama ada model semakin baik dalam membentuk atau menyembunyikan penaakulan mereka. 

Hasil kami mencadangkan bahawa kebolehkawalan CoT pada masa ini tidak mungkin menimbulkan risiko besar kepada keupayaan untuk memantau CoT. Walau bagaimanapun, kebolehkawalan yang rendah tidak mencukupi dengan sendirinya untuk menjamin kebolehan pemantauan yang tinggi kerana kebolehan pemantauan masih boleh merosot disebabkan oleh mekanisme lain seperti tekanan pengoptimuman secara langsung ke atas CoT. 

Untuk membantu menjejaki dinamik ini dari semasa ke semasa, kami akan mula melaporkan kebolehkawalan CoT bersama kebolehpantauan CoT⁠ dalam kad sistem untuk model perbatasan masa depan, bermula dengan GPT‑5.4 Berfikir, membina berdasarkan komitmen berterusan⁠ kami untuk tidak mengenakan tekanan pengoptimuman secara langsung kepada CoT model penaakulan perbatasan.