Meningkatkan hierarki instruksi dalam LLM terdepan

Sistem AI sering menerima instruksi dari berbagai sumber. Instruksi ini dapat mencakup kebijakan keamanan dari pesan sistem, panduan produk dari pengembang, permintaan dari pengguna, dan informasi yang ditemukan secara online. Melatih model agar dapat memprioritaskan instruksi yang paling tepercaya secara andal di antara sumber-sumber ini merupakan bagian penting dari penerapan yang aman.

Banyak masalah keamanan dan keandalan AI dapat muncul ketika prioritisasi ini tidak lagi berjalan dengan baik. Model dapat menerima permintaan untuk konten yang tidak diizinkan, upaya untuk mengungkapkan informasi pribadi, atau serangan injeksi prompt yang tertanam dalam data online. Kegagalan untuk berperilaku dengan tepat dalam setiap skenario ini memiliki akar penyebab yang sama: model tersebut mungkin mengikuti instruksi yang salah.

Ketika instruksi ini bertentangan, model harus memutuskan mana yang harus diprioritaskan. Jika model memperlakukan instruksi yang tidak tepercaya sebagai otoritatif, model dapat berperilaku dengan cara yang melanggar kebijakan atau maksud pengembang dan pengguna.

Kami menunjukkan bahwa tugas hierarki instruksi yang dirancang dengan tepat, yang melatih model untuk memprioritaskan instruksi berdasarkan tingkat keterpercayaannya, meningkatkan beberapa properti keamanan di dunia nyata. Model yang dilatih pada tugas-tugas ini menjadi lebih responsif terhadap spesifikasi keamanan dalam prompt sistem (meningkatkan kemampuan pengendalian keamanan) dan lebih tangguh terhadap serangan injeksi prompt yang disisipkan dalam output alat.

Untuk menangani konflik, model OpenAI dilatih untuk mengikuti hierarki instruksi yang jelas:

Sistem > pengembang > pengguna > alat

Instruksi dengan prioritas lebih tinggi lebih tepercaya. Model hanya boleh mengikuti instruksi berprioritas lebih rendah ketika instruksi tersebut tidak bertentangan dengan batasan berprioritas lebih tinggi. Prinsip-prinsip ini dijabarkan dalam Spesifikasi Model OpenAI⁠(terbuka di jendela baru).

Sebagai contoh, jika sebuah pesan sistem menyertakan kebijakan keamanan dan seorang pengguna meminta model untuk melanggarnya, model harus menolak. Jika output alat berisi instruksi berbahaya, model harus mengabaikannya alih-alih memperlakukannya sebagai perintah.

Memastikan hal ini berjalan dengan benar merupakan dasar bagi keamanan model, keamanan sistem, dan keandalan.

Pembelajaran penguatan merupakan pendekatan yang alami untuk mengajarkan hierarki instruksi. Kami dapat menghasilkan percakapan dengan instruksi yang saling bertentangan, memberikan prompt kepada model untuk merespons, dan memberi penghargaan ketika model mengikuti instruksi yang benar.

Kami telah mengidentifikasi tiga kendala dari penerapan resep itu secara naif:

• Kegagalan dalam mengikuti instruksi juga dapat dianggap sebagai kegagalan hierarki instruksi: model mungkin gagal menyelesaikan konflik instruksi, bukan karena tidak memahami hierarki peran, tetapi karena instruksi itu sendiri terlalu rumit.
• Konflik instruksi bisa bersifat kompleks dan bahkan subjektif. Pendekatan yang umum adalah membiarkan LLM penilai terpisah memberikan penghargaan kepada LLM yang sedang dilatih, tetapi penilai itu sendiri bisa saja keliru.
• Model cenderung mempelajari jalan pintas yang menghasilkan penghargaan tinggi, tetapi tidak berguna dalam praktiknya⁠(terbuka di jendela baru). Contoh klasiknya adalah penolakan berlebihan (overrefusal): model dapat belajar untuk memaksimalkan keamanan dengan menolak bahkan untuk permintaan yang tidak berbahaya.

Kami merancang IH-Challenge, sebuah dataset pelatihan pembelajaran penguatan, untuk mengatasi masing-masing kendala tersebut. Kami mematuhi prinsip-prinsip berikut:

• Tugas-tugasnya sederhana, hanya mengikuti instruksi.
• Tugas-tugasnya dapat dinilai secara objektif dengan skrip Python sederhana
• Tidak ada jalan pintas mudah yang menjamin penghargaan tinggi di semua tugas.

Setiap tugas dalam IH-Challenge pada dasarnya adalah percakapan dengan pesan-pesan berikut:

• Pesan instruksi dari peran dengan hak istimewa tinggi, misalnya “Hanya jawab ‘Ya’ atau ‘Tidak’”.
• Pesan instruksi dari peran dengan hak istimewa lebih rendah, yang mencoba membuat model melanggar instruksi dalam pesan dengan hak istimewa lebih tinggi.

Model yang sedang dilatih menghasilkan pesan berikutnya. Kami menulis tugas/lingkungan sedemikian rupa sehingga memungkinkan untuk memeriksa secara terprogram apakah respons model memenuhi batasan tingkat yang lebih tinggi.

Kami melatih sebuah model pada IH‑Challenge dan menghasilkan model internal, yang kami sebut GPT‑5 Mini-R, dengan peningkatan berikut: 

• Berkinerja lebih baik pada tolok ukur hierarki instruksi
• Peningkatan kinerja dapat digeneralisasi ke pengujian hierarki instruksi yang disisihkan dan bersifat adversarial
• Mempertahankan kegunaan secara keseluruhan, tanpa berujung pada penolakan berlebihan.

Inilah yang membuat pendekatan ini sangat meyakinkan untuk keamanan: dengan melatih model secara langsung agar menyelesaikan konflik instruksi dengan benar pada tugas-tugas IH-challenge, kami mendapatkan peningkatan IH yang dapat digeneralisasi ke serangan baru dan situasi baru.

Hierarki instruksi yang lebih kuat memberikan berbagai manfaat keamanan sekaligus, termasuk dalam kemampuan pengendalian keamanan dan ketahanan terhadap injeksi prompt.

Kami mengevaluasi pengendalian keamanan dengan menambahkan spesifikasi keamanan khusus kategori ke prompt sistem dan mengukur perilaku pada Tolok Ukur Produksi Keamanan OpenAI (serangkaian percakapan yang sensitif terhadap keamanan yang mewakili ChatGPT dalam produksi).

Model yang dilatih dengan IH menunjukkan peningkatan yang konsisten: dengan spesifikasi keamanan yang ada, model tersebut mencapai tingkat penolakan dan penyelesaian yang aman yang lebih tinggi di seluruh kategori yang tidak diizinkan, yang menunjukkan bahwa perilaku hierarki instruksi yang lebih kuat membuatnya lebih baik dalam menyelesaikan konflik ketika permintaan yang tidak aman berasal dari instruksi berprioritas lebih rendah. Perlu dicatat, peningkatan ini tidak disertai dengan penurunan tingkat kegunaan (yaitu, tidak menjadi kurang "berguna" hanya dengan menolak lebih banyak permintaan secara keseluruhan).

Hierarki instruksi juga penting dalam menolak injeksi prompt, ketika instruksi berbahaya disisipkan dalam output alat. Kami mengevaluasi model yang dilatih dengan IH pada dua tolok ukur injeksi prompt—tolok ukur akademik CyberSecEval 2 dan tolok ukur injeksi prompt internal OpenAI yang terdiri atas serangan seperti yang didemonstrasikan pada versi lama ChatGPT Atlas⁠.

Dibandingkan dengan baseline, model GPT‑5 Mini-R yang dilatih dengan IH meningkatkan ketahanan terhadap injeksi prompt pada kedua tolok ukur dan secara substansial meningkatkan kinerja pada evaluasi injeksi prompt statis internal kami dalam eksperimen ini.

Seiring model menjadi lebih agentik—memanggil alat, membaca dokumen tidak tepercaya, dan mengambil tindakan di dunia—kemampuan untuk secara konsisten memprioritaskan instruksi tepercaya daripada instruksi tidak tepercaya menjadi properti keamanan inti.

Dalam pekerjaan ini, kami menunjukkan bahwa beberapa kendala dalam pelatihan ketahanan IH dapat diatasi dengan merancang lingkungan pelatihan yang menangani kendala tersebut. Meskipun dataset IH-Challenge kami tampak sederhana, model perilaku IH yang belajar dari lingkungan ini dapat digeneralisasi ke tolok ukur yang lebih realistis, yang sering kali tidak dapat dinilai secara objektif.

Memperkuat hierarki instruksi tidak hanya meningkatkan keandalan, tetapi juga membuka berbagai peningkatan keamanan model dan keamanan sistem sekaligus—sebuah fondasi yang menjadi semakin penting saat sistem AI semakin mampu dan otonom.

Untuk mendukung penelitian lebih lanjut di bidang ini, kami merilis dataset IH‑Challenge di sini⁠(terbuka di jendela baru).