Ningkatake Prilaku Safety Model nganggo Rule-Based Rewards

Riset kita nuduhake yen Rule-Based Rewards (RBRs) ningkatake safety sistem AI kita kanthi signifikan, dadi luwih aman lan luwih andal kanggo digunakake saben dina dening wong lan para pangembang. Iki bagean saka upaya kita kanggo njelajah luwih akeh cara supaya kita bisa nggunakake AI kita dhewe kanggo nggawe AI luwih aman⁠. 

Sacara tradisional, fine-tuning model basa nganggo sinau penguatan saka umpan balik manungsa (RLHF)⁠ wis dadi metode utama kanggo mesthekake model kasebut ngetutake instruksi⁠ kanthi akurat. OpenAI wis dadi pelopor ing pangembangan metode alignment iki kanggo nggawe model AI sing luwih pinter lan luwih aman.

Kanggo mesthekake sistem AI tumindak kanthi aman lan selaras karo nilai-nilai manungsa, kita nemtokake prilaku sing dikarepake lan nglumpukake umpan balik manungsa kanggo nglatih “model reward.” Model iki nuntun AI kanthi menehi sinyal tumindak sing dikarepake. Nanging, nglumpukake umpan balik manungsa iki kanggo tugas rutin lan repetitif kerep ora efisien. Kajaba iku, yen kabijakan safety kita owah, umpan balik sing wis kita kumpulake bisa dadi ora relevan maneh, mula mbutuhake data anyar.

Mula, kita ngenalake Rule-Based Rewards (RBRs) minangka komponen kunci saka safety stack OpenAI kanggo nyelarasake prilaku model karo prilaku aman sing dikarepake. Beda karo umpan balik manungsa, RBRs nggunakake aturan sing cetha, prasaja, lan langkah demi langkah kanggo ngevaluasi apa output model nyukupi standar safety. Nalika dilebokake ing pipeline RLHF standar, iki mbantu njaga keseimbangan sing apik antarane migunani lan nyegah cilaka, supaya model tumindak kanthi aman lan efektif tanpa inefisiensi saka input manungsa sing bola-bali. Kita wis nggunakake RBRs minangka bagean saka safety stack kita wiwit peluncuran GPT‑4⁠, kalebu GPT‑4o mini⁠, lan kita rencana ngetrapake iki ing model-model kita ing mangsa ngarep.

Proses ngetrapake RBRs kalebu nemtokake sakumpulan proposisi—pernyataan prasaja babagan aspek sing dikarepake utawa ora dikarepake saka respons model, kayata “ngadili”, “ngandhut konten sing ora diidini”, “ngrujuk menyang kabijakan safety”, “disclaimer”, lan liya-liyane. Proposisi iki banjur digunakake kanggo mbentuk aturan sing dirancang kanthi teliti kanggo nangkep nuansa respons sing aman lan pantes ing macem-macem skenario. Contone, pangolakan (umpamane “Nuwun sewu, aku ora bisa mbantu sampeyan babagan iku.”) minangka respons model sing dikarepake nalika ngadhepi panjalukan sing ora aman – aturan sing gegandhengan bakal nyatakake yen pangolakan kasebut “kudu ngemot panyuwunan ngapura sing cekak” lan “kudu nyatakake ora bisa netepi panjalukan”. 

Kita ngrancang telung kategori prilaku model sing dikarepake nalika nangani topik sing mbebayani utawa sensitif. Gumantung saka kabijakan safety, panjalukan sing beda bakal dipetakake menyang jinis respons model sing beda.

Ing ngisor iki kita nyedhiyakake conto sing disederhanakake babagan proposisi lan cara pemetaane menyang prilaku ideal utawa ora ideal kanggo macem-macem jinis respons.

Ing tabel ing ngisor iki, kita menehi sawetara conto completion saka model sing kita latih ing eksperimen kita kanggo menehi conto ilustratif saka proposisi kita. Kita nyorot sawetara nilai proposisi kanggo saben completion lan kelas sing dipetakake.

Grader, yaiku model basa sing tetep, menehi skor marang respons adhedhasar sepira apik respons kasebut netepi aturan kasebut, saengga pendekatan RBR bisa adaptasi kanthi fleksibel marang aturan anyar lan kabijakan safety. RBR nggunakake skor kasebut kanggo nyocogake model linear kanthi parameter bobot sing disinaoni saka dataset cilik prompt kanthi jinis respons ideal sing wis dingerteni, uga completion sing dikarepake lan ora dikarepake sing cocog. Reward RBR iki banjur digabung karo reward saka model reward helpful-only lan digunakake minangka sinyal tambahan ing algoritma PPO⁠ kanggo nyengkuyung model supaya netepi kabijakan prilaku safety. Metode iki ngidini kita menehi kontrol sing rinci marang prilaku model, supaya model ora mung nyingkiri konten mbebayani nanging uga nindakake kanthi cara sing ngajeni lan migunani.

Ing eksperimen kita, model sing dilatih nganggo RBR nuduhake kinerja safety sing bisa dibandhingake karo model sing dilatih nganggo umpan balik manungsa. Model kasebut uga nyuda kasus salah nolak panjalukan sing aman (“overrefuse”) tanpa mengaruhi metrik evaluasi ing benchmark kapabilitas umum. RBRs uga nyuda kanthi signifikan kebutuhan data manungsa sing akeh, nggawe proses pelatihan luwih cepet lan luwih hemat biaya. Kajaba iku, nalika kapabilitas model lan pedoman safety berkembang, RBRs bisa cepet dianyari kanthi ngowahi utawa nambah aturan anyar, tanpa perlu retraining sing ekstensif.

Kita lagi ngevaluasi prilaku safety model kita ing sawijining kerangka kerja sing ngidini kita gampang nglacak trade-off antarane helpfulness lan harmfulness. Siji sisih, gampang dadi aman yen model nolak kabeh, nanging kegunaan model dadi nol. Ing sisih liyane, kita uga ora pengin nggawe model sing ngoptimalake kegunaan maksimal nanging ora aman utawa mbebayani. Model sing selaras kanthi optimal kudu bisa njaga keseimbangan tipis iki antarane helpfulness lan harmfulness.

Sanajan RBRs bisa mlaku apik kanggo tugas sing nduweni aturan cetha lan langsung, iki bisa angel ditrapake kanggo tugas sing luwih subyektif kaya nulis esai bermutu dhuwur. Nanging, RBRs bisa digabung karo umpan balik manungsa kanggo ngimbangi tantangan kasebut. Contone, RBRs bisa ngetrapake pedoman tartamtu (kayata “Aja nganggo slang” utawa aturan ing spesifikasi model⁠), dene umpan balik manungsa bisa mbantu kanggo aspek sing luwih nyrempet rincian (kayata koherensi sakabèhé). Kakuatan RBR dioptimalake supaya bisa ngetrapake preferensi safety kanthi bener nanging ora mengaruhi skor reward pungkasan luwih saka sing dibutuhake - kanthi cara iki model reward RLHF isih bisa menehi sinyal sing kuwat contone kanggo gaya nulis.

Pertimbangan Etis: Ngalihake cek safety saka manungsa menyang AI bisa nyuda pengawasan manungsa marang safety AI lan bisa nggedhekake potensi bias ing model yen model sing bias digunakake kanggo menehi reward RBR. Kanggo ngatasi iki, para peneliti kudu ngrancang RBRs kanthi ati-ati supaya njamin keadilan lan akurasi, lan nimbang nggunakake kombinasi RBRs lan umpan balik manungsa kanggo nyilikake risiko.

Ing kene kita ngenalake pendekatan pemodelan preferensi anyar nganggo Rule-Based Rewards (RBRs) kanggo pelatihan safety model basa. Metode kita efisien saka sisi biaya lan wektu, mbutuhake data manungsa sing minimal, lan gampang dianyari yen prilaku model sing dikarepake owah, nalika tetep njaga keseimbangan antarane safety lan usefulness.

RBRs ora mung winates kanggo pelatihan safety. Iki bisa diadaptasi kanggo macem-macem tugas sing aturan eksplisit bisa nemtokake prilaku sing dikarepake, kayata nyetel kepribadian utawa format respons model kanggo aplikasi tartamtu. Ing ngarep, kita rencana nindakake studi ablasi sing luwih jembar kanggo pemahaman sing luwih komprehensif babagan komponen RBR sing beda-beda, panggunaan data sintetis kanggo pangembangan aturan, lan evaluasi manungsa kanggo validasi efektivitas RBRs ing macem-macem aplikasi kalebu domain liyane saliyane safety.

Kita ngajak para peneliti lan praktisi kanggo njelajah potensi RBRs ing pakaryane dhewe. Kanthi nuduhake wawasan lan kolaborasi babagan praktik paling apik, kita bisa bebarengan ngembangake bidang AI sing aman lan selaras, supaya piranti kuat iki bisa luwih apik ngladeni wong.