Ngapikake hirarki instruksi ing LLM tercanggih

Sistem AI asring nampa instruksi saka pirang-pirang sumber. Iki bisa kalebu kabijakan keamanan saka pesen sistem, pandhuan produk saka developer, panjaluk saka pangguna, lan informasi sing ditemokake online. Nglatih model supaya bisa kanthi andal ngutamakake instruksi sing paling dipercaya ing antarane sumber-sumber iki iku bagean penting saka penerapan sing aman.

Akeh masalah keamanan lan keandalan AI bisa muncul nalika prioritas iki rusak. Model bisa nampa panjaluk kanggo konten sing ora diidinake, upaya mbukak informasi pribadi, utawa serangan injeksi prompt sing ditandur ing data online. Gagal tumindak kanthi pas ing saben skenario iki nduweni oyod sebab sing padha: model bisa nuruti instruksi sing salah.

Nalika instruksi iki bentrok, model kudu mutusake endi sing kudu diutamakake. Yen model nganggep instruksi sing ora dipercaya minangka wewenang, model bisa tumindak kanthi cara sing nglanggar kabijakan utawa maksud developer lan pangguna.

Kita nuduhake yen tugas hirarki instruksi sing dirancang kanthi bener, sing nglatih model supaya ngutamakake instruksi miturut tingkat kapercayané, nambah sawetara sipat keamanan nyata. Model sing dilatih nganggo tugas iki dadi luwih responsif marang spesifikasi keamanan ing prompt sistem (ningkatake steerability keamanan) lan luwih tahan marang serangan injeksi prompt sing ditandur ing output alat.

Kanggo nangani bentrokan, model OpenAI dilatih kanggo nuruti hirarki instruksi sing cetha:

System > developer > user > tool

Instruksi sing prioritase luwih dhuwur luwih dipercaya. Model mung kudu nuruti instruksi prioritas luwih murah yen ora bentrok karo watesan prioritas luwih dhuwur. Prinsip-prinsip iki dijlentrehake ing OpenAI Model Spec⁠(mbukak ing jendhela anyar).

Contone, yen pesen sistem ngemot kabijakan keamanan lan pangguna njaluk model supaya nglanggar kabijakan kuwi, model kudu nolak. Yen output alat ngemot instruksi mbebayani, model kudu nglirwakake instruksi kuwi tinimbang nganggep minangka prentah.

Nggarap iki kanthi bener iku dhasar tumrap keamanan, sekuritas, lan keandalan.

Sinau penguatan cocog kanthi alami kanggo mulang hirarki instruksi. Kita bisa ngasilake obrolan kanthi instruksi sing bentrok, menehi prompt marang model supaya nanggapi, lan menehi ganjaran nalika model nuruti instruksi sing bener.

Kita wis ngenali telung jebakan yen resep kuwi ditrapake kanthi naif:

• Kegagalan nuruti instruksi bisa uga bebarengan dadi kegagalan hirarki instruksi: model bisa gagal ngrampungake bentrokan instruksi, dudu amarga ora paham hirarki peran, nanging amarga instruksiné dhewe kakehan ruwet.
• Bentrokan instruksi bisa alus lan malah subjektif. Pendekatan umum yaiku ngidini LLM kapisah dadi hakim sing menehi ganjaran marang LLM sing lagi dilatih, nanging para hakim dhewe uga bisa kliru.
• Model cenderung sinau dalan pintas sing ngasilake ganjaran dhuwur, nanging ora migunani ing praktik⁠(mbukak ing jendhela anyar). Conto klasiké yaiku overrefusal: model bisa sinau ngoptimalake keamanan kanthi nolak malah panjaluk sing sejatine ora mbebayani.

Kita ngrancang IH-Challenge, dataset pelatihan sinau penguatan, kanggo ngatasi saben jebakan mau. Kita netepi prinsip-prinsip iki:

• Tugas iku prasaja kanggo nuruti instruksi
• Bisa dinilai kanthi objektif nganggo skrip Python sing prasaja
• Ora ana dalan pintas sepele sing njamin ganjaran dhuwur ing kabeh tugas

Saben tugas ing IH-Challenge sakjane minangka obrolan kanthi pesen-pesen kaya mangkene:

• Pesen instruksi saka peran kanthi hak istimewa luwih dhuwur, upamane “Mung wangsulana ‘Yes’ utawa ‘No’”.
• Pesen instruksi saka peran kanthi hak istimewa luwih murah, sing nyoba nggawe model nglanggar instruksi ing pesen hak istimewa luwih dhuwur.

Model sing lagi dilatih ngasilake pesen sabanjuré. Kita nulis tugas/lingkungan iki supaya bisa dicek kanthi programatis apa respons model nyukupi watesan tingkat luwih dhuwur.

Kita nglatih model nganggo IH‑Challenge lan ngasilake model internal, sing kita sebut GPT‑5 Mini-R, kanthi perbaikan iki: 

• Kinerjane luwih apik ing benchmark hirarki instruksi
• Peningkatan kinerja iki bisa digeneralisasi menyang tes hirarki instruksi held‑out lan adversarial
• Tetep njaga kagunaan sakabèhé, tanpa ambruk dadi over‑refusal

Iki sing ndadekake pendekatan iki utamane narik kawigaten kanggo keamanan: kanthi langsung nglatih model supaya ngrampungake bentrokan instruksi kanthi bener ing tugas IH-challenge, kita entuk peningkatan IH sing bisa digeneralisasi menyang serangan anyar lan kahanan anyar.

Hirarki instruksi sing luwih kuwat menehi pirang-pirang manfaat keamanan sekaligus, kalebu ing steerability keamanan lan ketahanan injeksi prompt.

Kita ngevaluasi steerability keamanan kanthi nambah spesifikasi keamanan khusus kategori menyang prompt sistem lan ngukur prilaku ing OpenAI’s safety Production Benchmarks (sakumpulan obrolan sensitif-keamanan sing makili ChatGPT ing produksi).

Model sing dilatih IH nuduhake peningkatan sing konsisten: nalika spesifikasi keamanan ana, model iki nggayuh tingkat nolak lan rampung aman sing luwih dhuwur ing kategori sing ora diidinake, nuduhake yen prilaku hirarki instruksi sing luwih kuwat ndadekake model luwih apik ngrampungake bentrokan nalika panjaluk ora aman teka saka instruksi prioritas luwih murah. Wigatine, peningkatan iki ora dibarengi penurunan tingkat pitulungan sing cocog (yaiku, model iki ora dadi kurang “migunani” mung amarga luwih kerep nolak sacara umum).

Hirarki instruksi uga dadi pusat kanggo nahan injeksi prompt, nalika instruksi mbebayani ditandur ing output alat. Kita ngevaluasi model sing dilatih IH ing rong benchmark injeksi prompt—benchmark akademik CyberSecEval 2 lan benchmark injeksi prompt internal OpenAI sing kasusun saka serangan kaya sing dituduhake ing versi lawas ChatGPT Atlas⁠.

Dibandhingake karo baseline, model GPT‑5 Mini-R sing dilatih IH ningkatake ketahanan injeksi prompt ing loro benchmark kasebut lan kanthi nyata ningkatake kinerja ing evaluasi injeksi prompt statis internal ing eksperimen iki.

Nalika model dadi luwih agentic—nelpon alat, maca dokumen sing ora dipercaya, lan tumindak ing donya—kemampuan kanggo kanthi konsisten ngutamakake instruksi sing dipercaya tinimbang sing ora dipercaya dadi sipat keamanan inti.

Karya iki nuduhake yen sawetara jebakan pelatihan ketahanan IH bisa diatasi kanthi ngrancang lingkungan pelatihan sing ngatasi jebakan kasebut. Sanadyan dataset IH-Challenge kita katon prasaja, prilaku IH sing disinaoni model saka lingkungan iki bisa digeneralisasi menyang benchmark sing luwih realistis lan asring ora bisa dinilai kanthi objektif.

Nguwatake hirarki instruksi ora mung nambah keandalan, nanging uga mbukak akeh keuntungan keamanan lan sekuritas sekaligus—dhasar sing dadi saya penting nalika sistem AI saya luwih mumpuni lan otonom.

Kanggo ndhukung riset luwih lanjut ing wilayah iki, kita nerbitake dataset IH‑Challenge ing kéné⁠(mbukak ing jendhela anyar).