Rule-Based Rewards ဖြင့် Model Safety Behavior ကို မြှင့်တင်ခြင်း

ကျွန်ုပ်တို့၏ သုတေသနအရ Rule-Based Rewards (RBRs) သည် ကျွန်ုပ်တို့၏ AI စနစ်များ၏ ဘေးကင်းလုံခြုံမှုကို သိသိသာသာ မြှင့်တင်ပေးပြီး၊ လူများနှင့် developer များအတွက် နေ့စဉ်အသုံးပြုရာတွင် ပိုမိုဘေးကင်းပြီး ယုံကြည်စိတ်ချရစေပါသည်။ ဤသည်မှာ AI ကို ပိုမိုဘေးကင်းစေရန် ကျွန်ုပ်တို့၏ ကိုယ်ပိုင် AI ကို အသုံးချနိုင်မည့် နည်းလမ်းများ⁠ ကို ဆက်လက်ရှာဖွေနေသော ကျွန်ုပ်တို့၏ လုပ်ငန်းစဉ်၏ အစိတ်အပိုင်းတစ်ခုဖြစ်သည်။ 

အစဉ်အလာအားဖြင့် လူတုံ့ပြန်မှုမှ အားဖြည့် သင်ယူလေ့လာခြင်း (RLHF)⁠ ကို အသုံးပြု၍ ဘာသာစကား မော်ဒယ်များကို fine-tuning လုပ်ခြင်းသည် ၎င်းတို့ ညွှန်ကြားချက်များကို လိုက်နာရန်⁠ တိကျစွာ ဆောင်ရွက်စေဖို့ အဓိကနည်းလမ်းဖြစ်ခဲ့သည်။ OpenAI သည် ပိုမိုထက်မြက်ပြီး ပိုမိုဘေးကင်းသော AI မော်ဒယ်များ ဖန်တီးရန် ဤ alignment နည်းလမ်းများကို ဖွံ့ဖြိုးတိုးတက်စေရာတွင် ရှေ့တန်းမှ ဦးဆောင်ခဲ့သည်။

AI စနစ်များသည် ဘေးကင်းစွာ ပြုမူပြီး လူ့တန်ဖိုးများနှင့် ကိုက်ညီစေရန်အတွက် ကျွန်ုပ်တို့သည် လိုလားသော အပြုအမူများကို သတ်မှတ်ကာ “reward model” ကို လေ့ကျင့်ရန် လူသားတုံ့ပြန်ချက်များကို စုဆောင်းပါသည်။ ဤမော်ဒယ်သည် လိုလားအပ်သော လုပ်ဆောင်ချက်များကို အချက်ပြခြင်းဖြင့် AI ကို လမ်းညွှန်ပေးသည်။ သို့သော် ပုံမှန်နှင့် ထပ်ခါတလဲလဲ လုပ်ရသော အလုပ်များအတွက် ဤလူသားတုံ့ပြန်ချက်များကို စုဆောင်းရခြင်းသည် မကြာခဏ ထိရောက်မှုနည်းပါးသည်။ ထို့ပြင် ကျွန်ုပ်တို့၏ ဘေးကင်းရေး မူဝါဒများ ပြောင်းလဲသွားပါက ယခင်က စုဆောင်းထားသော တုံ့ပြန်ချက်များသည် ခေတ်မမီတော့နိုင်ပြီး ဒေတာအသစ် လိုအပ်လာနိုင်သည်။

ထို့ကြောင့် ကျွန်ုပ်တို့သည် model အပြုအမူကို လိုလားသော ဘေးကင်းသည့် အပြုအမူနှင့် ကိုက်ညီစေရန် OpenAI ၏ safety stack ၏ အဓိက အစိတ်အပိုင်းတစ်ခုအဖြစ် Rule-Based Rewards (RBRs) ကို မိတ်ဆက်ပါသည်။ လူသားတုံ့ပြန်ချက်နှင့် မတူဘဲ RBRs သည် မော်ဒယ်၏ output များက ဘေးကင်းရေး စံနှုန်းများနှင့် ကိုက်ညီခြင်းရှိမရှိ အကဲဖြတ်ရန် ရှင်းလင်း၊ ရိုးရှင်းပြီး အဆင့်လိုက် စည်းမျဉ်းများကို အသုံးပြုသည်။ ၎င်းကို ပုံမှန် RLHF pipeline ထဲတွင် ထည့်သွင်းအသုံးပြုသောအခါ ထိခိုက်မှုကို တားဆီးနေစဉ် အသုံးဝင်မှုကောင်းကို ဆက်လက်ထိန်းထားနိုင်ရန် ကူညီပေးပြီး၊ model သည် ထပ်တလဲလဲ လူသားထည့်သွင်းမှုများ၏ ထိရောက်မှုနည်းခြင်းမရှိဘဲ ဘေးကင်းပြီး ထိရောက်စွာ လုပ်ဆောင်စေပါသည်။ ကျွန်ုပ်တို့သည် GPT‑4⁠ စတင်မိတ်ဆက်ချိန်မှစ၍ GPT‑4o mini⁠ အပါအဝင် RBRs ကို ကျွန်ုပ်တို့၏ safety stack ၏ အစိတ်အပိုင်းအဖြစ် အသုံးပြုခဲ့ပြီး၊ ရှေ့ဆက်လည်း ၎င်းကို ကျွန်ုပ်တို့၏ မော်ဒယ်များတွင် အကောင်အထည်ဖော်သွားရန် စီစဉ်ထားပါသည်။

RBRs ကို အကောင်အထည်ဖော်သည့် လုပ်ငန်းစဉ်တွင် proposition များ—မော်ဒယ်၏ တုံ့ပြန်မှုများတွင် လိုလားသော သို့မဟုတ် မလိုလားသော အချက်များအကြောင်း ရိုးရှင်းသည့် ဖော်ပြချက်များ—ကို သတ်မှတ်ခြင်း ပါဝင်သည်။ ဥပမာ “being judgmental”, “containing disallowed content”, “referring to safety policies”, “disclaimer” စသည်တို့ ဖြစ်သည်။ ထို့နောက် ဤ proposition များကို အခြေအနေမျိုးစုံတွင် ဘေးကင်းပြီး သင့်လျော်သော တုံ့ပြန်မှုများ၏ အနုစိတ်ကွဲပြားချက်များကို ဖမ်းယူနိုင်ရန် သေချာစွာ ရေးဆွဲထားသော စည်းမျဉ်းများ ဖွဲ့စည်းရန် အသုံးပြုသည်။ ဥပမာအားဖြင့် ငြင်းဆိုမှုတစ်ခု (ဥပမာ “Sorry I can’t help you with that.”) သည် unsafe request များကို ရင်ဆိုင်ရသည့်အခါ လိုလားသော model response တစ်ခုဖြစ်သည် – ၎င်းနှင့်ဆက်စပ်သော စည်းမျဉ်းများတွင် ငြင်းဆိုမှု၌ “should contain a brief apology” ဖြစ်ရမည်ဟုလည်းကောင်း၊ “should state an inability to comply” ဖြစ်ရမည်ဟုလည်းကောင်း ဖော်ပြမည်ဖြစ်သည်။ 

ကျွန်ုပ်တို့သည် အန္တရာယ်ရှိသော သို့မဟုတ် ထိလွယ်ရှလွယ်သော အကြောင်းအရာများကို ကိုင်တွယ်သည့်အခါ လိုလားသော model behavior အမျိုးအစား သုံးမျိုးကို ဒီဇိုင်းဆွဲထားပါသည်။ safety policy များပေါ်မူတည်၍ request မျိုးစုံသည် model response type မျိုးစုံသို့ map လုပ်သွားပါသည်။

အောက်တွင် proposition များ၏ ရိုးရှင်းသည့် ဥပမာများနှင့် ၎င်းတို့သည် မတူညီသော response type များအတွက် ideal သို့မဟုတ် non-ideal behavior သို့ မည်သို့ map လုပ်သွားသည်ကို ဖော်ပြထားပါသည်။

ကျွန်ုပ်တို့၏ အဆိုပြုချက်များကို ရှင်းလင်းစွာ ဥပမာပြသနိုင်ရန် အောက်ပါဇယားတွင် စမ်းသပ်မှုများအတွက် လေ့ကျင့်ထားသော မော်ဒယ်များမှ example completion အချို့ကို ပေးထားပါသည်။ completion တစ်ခုချင်းစီအတွက် proposition value အချို့နှင့် ၎င်းတို့ သက်ဆိုင်သည့် class ကိုလည်း ထင်ရှားစွာ ဖော်ပြထားပါသည်။

တည်ငြိမ်သော ဘာသာစကား မော်ဒယ်တစ်ခုဖြစ်သည့် grader သည် ဤစည်းမျဉ်းများကို မည်မျှ ကောင်းစွာ လိုက်နာထားသည်အပေါ် မူတည်၍ တုံ့ပြန်မှုများကို အမှတ်ပေးပြီး၊ ၎င်းကြောင့် RBR နည်းလမ်းသည် စည်းမျဉ်းအသစ်များနှင့် safety policy များသို့ လိုက်လျောညီထွေစွာ ပြောင်းလဲနိုင်စေပါသည်။ RBR သည် ဤအမှတ်များကို အသုံးပြုကာ ideal response type သိထားသော prompt များ၏ dataset အသေးတစ်ခုနှင့် သက်ဆိုင်သော desired နှင့် undesired completion များမှ သင်ယူထားသော weight parameter များပါသော linear model တစ်ခုကို fit လုပ်ပါသည်။ ထို့နောက် ဤ RBR reward များကို helpful-only reward model မှ reward များနှင့် ပေါင်းစပ်ကာ PPO အယ်လ်ဂိုရစ်သမ်များ⁠ တွင် အပို signal အဖြစ် အသုံးပြုကာ model ကို safety behavior policy များ လိုက်နာစေရန် အားပေးပါသည်။ ဤနည်းလမ်းသည် model ၏ behavior ကို အသေးစိတ်ထိန်းချုပ်နိုင်စေပြီး၊ ၎င်းသည် အန္တရာယ်ရှိသော content များကို ရှောင်ရှားရုံသာမက လေးစားမှုရှိပြီး အသုံးဝင်သော ပုံစံဖြင့်ပါ ဆောင်ရွက်စေကြောင်း သေချာစေပါသည်။

ကျွန်ုပ်တို့၏ စမ်းသပ်မှုများတွင် RBR ဖြင့် လေ့ကျင့်ထားသော မော်ဒယ်များသည် လူသားတုံ့ပြန်ချက်ဖြင့် လေ့ကျင့်ထားသော မော်ဒယ်များနှင့် နှိုင်းယှဉ်နိုင်လောက်သော ဘေးကင်းရေး စွမ်းဆောင်ရည်ကို ပြသခဲ့သည်။ ၎င်းတို့သည် safe request များကို မှားယွင်းစွာ ငြင်းဆိုသည့် ဖြစ်ရပ်များ (“overrefuse”) ကိုလည်း လျှော့ချပေးခဲ့ပြီး၊ ပုံမှန် capability benchmark များပေါ်ရှိ evaluation metric များကို မထိခိုက်စေခဲ့ပါ။ RBRs သည် လူသားဒေတာ အများအပြား လိုအပ်မှုကိုလည်း သိသိသာသာ လျှော့ချပေးသောကြောင့် training process ကို ပိုမိုမြန်ဆန်ပြီး ကုန်ကျစရိတ်ပိုမိုထိရောက်စေပါသည်။ ထို့အပြင် model capability များနှင့် safety guideline များ တိုးတက်ပြောင်းလဲလာသည်နှင့်အမျှ RBRs ကို စည်းမျဉ်းအသစ်များ ပြင်ဆင်ခြင်း သို့မဟုတ် ထည့်သွင်းခြင်းဖြင့် ကျယ်ပြန့်သော ပြန်လည်လေ့ကျင့်မှုမလိုဘဲ လျင်မြန်စွာ update လုပ်နိုင်ပါသည်။

ကျွန်ုပ်တို့သည် helpfulness နှင့် harmfulness ကြား trade-off ကို လွယ်ကူစွာ ခြေရာခံနိုင်သော framework တစ်ခုအတွင်း model safety behavior ကို အကဲဖြတ်လျက်ရှိပါသည်။ တစ်ဖက်တွင် model က အရာအားလုံးကို ငြင်းဆိုလျှင် ဘေးကင်းဖို့ လွယ်ကူသော်လည်း model ၏ အသုံးဝင်မှုမှာ သုညဖြစ်သွားသည်။ အခြားတစ်ဖက်တွင် ကျွန်ုပ်တို့သည် အများဆုံး utility အတွက် အကောင်းဆုံးဖြစ်အောင် လုပ်သော်လည်း မဘေးကင်း သို့မဟုတ် အန္တရာယ်ဖြစ်စေနိုင်သော model တစ်ခုကို မတည်ဆောက်လိုပါ။ အကောင်းဆုံး ကိုက်ညီသော model တစ်ခုသည် helpfulness နှင့် harmfulness ကြား ဤခက်ခဲသော ဟန်ချက်ကို ထိန်းသိမ်းနိုင်ရမည်ဖြစ်သည်။

RBRs သည် ရှင်းလင်းပြီး တိုက်ရိုက်သော စည်းမျဉ်းများရှိသည့် အလုပ်များအတွက် ကောင်းစွာ အလုပ်လုပ်သော်လည်း အရည်အသွေးမြင့် စာစီစာကုံးရေးခြင်းကဲ့သို့ ပိုမို subjectivity ရှိသော အလုပ်များတွင် အသုံးချရန် ခက်ခဲနိုင်ပါသည်။ သို့သော် RBRs ကို လူသားတုံ့ပြန်ချက်နှင့် ပေါင်းစပ်အသုံးပြုကာ ဤစိန်ခေါ်မှုများကို ဟန်ချက်ညီအောင် လုပ်နိုင်ပါသည်။ ဥပမာအားဖြင့် RBRs သည် “Don't use slang” သို့မဟုတ် မော်ဒယ် သတ်မှတ်ချက်⁠ ထဲရှိ စည်းမျဉ်းများကဲ့သို့ သတ်မှတ်လမ်းညွှန်ချက်များကို အတည်ပြုပေးနိုင်ပြီး၊ လူသားတုံ့ပြန်ချက်ကတော့ ပိုမိုနူးညံ့သိမ်မွေ့သော အချက်များ (ဥပမာ overall coherence) အတွက် ကူညီပေးနိုင်ပါသည်။ RBR ၏ အားကောင်းမှုကို safety preference များကို မှန်ကန်စွာ အတည်ပြုနိုင်ရန်သာ အကောင်းဆုံးချိန်ညှိထားပြီး နောက်ဆုံး reward score ကို လိုအပ်သည်ထက် ပိုမိုမထိခိုက်စေရန် စီမံထားပါသည် - ဤနည်းဖြင့် RLHF reward model သည် ဥပမာ writing style ကဲ့သို့သော အချက်များအပေါ်တွင်လည်း အားကောင်းသော signal ကို ဆက်လက်ပေးနိုင်ပါသည်။

ကျင့်ဝတ်ဆိုင်ရာ စဉ်းစားစရာများ: ဘေးကင်းရေး စစ်ဆေးမှုများကို လူသားများမှ AI သို့ ရွှေ့ပြောင်းခြင်းသည် AI safety အပေါ် လူသားကြီးကြပ်မှုကို လျော့နည်းစေနိုင်ပြီး၊ RBR reward များပေးရန် ဘက်လိုက်သော မော်ဒယ်များကို အသုံးပြုပါက မော်ဒယ်များအတွင်းရှိ ဖြစ်နိုင်ချေရှိသော ဘက်လိုက်မှုများကို ပိုမိုမြှင့်တင်နိုင်ပါသည်။ ဤပြဿနာကို ဖြေရှင်းရန် သုတေသီများသည် မျှတမှုနှင့် တိကျမှုကို သေချာစေရန် RBRs ကို ဂရုတစိုက် ဒီဇိုင်းဆွဲသင့်ပြီး၊ အန္တရာယ်များကို လျှော့ချရန် RBRs နှင့် လူသားတုံ့ပြန်ချက်တို့ကို ပေါင်းစပ်အသုံးပြုရန်လည်း စဉ်းစားသင့်ပါသည်။

ဤနေရာတွင် ကျွန်ုပ်တို့သည် ဘာသာစကား မော်ဒယ်များ၏ safety training အတွက် Rule-Based Rewards (RBRs) ကို အသုံးပြုသည့် preference modeling နည်းလမ်းသစ်တစ်ခုကို မိတ်ဆက်ခဲ့ပါသည်။ ကျွန်ုပ်တို့၏ နည်းလမ်းသည် ကုန်ကျစရိတ်နှင့် အချိန်ပိုင်းဆိုင်ရာ ထိရောက်ပြီး၊ လူသားဒေတာ အနည်းငယ်သာ လိုအပ်ကာ၊ လိုလားသော model behavior ပြောင်းလဲပါက အလွယ်တကူ update လုပ်နိုင်ပြီး ဘေးကင်းမှုနှင့် အသုံးဝင်မှုကြား ဟန်ချက်ကိုလည်း ထိန်းထားနိုင်ပါသည်။

RBRs သည် safety training အတွက်သာ မကန့်သတ်ထားပါ။ လိုလားသော အပြုအမူများကို အတိအလင်း စည်းမျဉ်းများဖြင့် သတ်မှတ်နိုင်သော အလုပ်မျိုးစုံအတွက် ၎င်းကို ချိန်ညှိအသုံးပြုနိုင်သည်၊ ဥပမာ application တစ်ခုအတွက် model တုံ့ပြန်မှု၏ ကိုယ်ရည်ကိုယ်သွေး သို့မဟုတ် format ကို စိတ်ကြိုက်ပြင်ဆင်ခြင်းကဲ့သို့ ဖြစ်သည်။ အနာဂတ်တွင် ကျွန်ုပ်တို့သည် မတူညီသော RBR အစိတ်အပိုင်းများ၊ စည်းမျဉ်းဖွံ့ဖြိုးရေးအတွက် synthetic data အသုံးပြုမှု နှင့် safety အပြင် အခြား domain များအပါအဝင် မတူညီသော application များတွင် RBRs ၏ ထိရောက်မှုကို အတည်ပြုရန် human evaluation များအပေါ် ပိုမိုပြည့်စုံသော နားလည်မှုရရှိစေရန် ကျယ်ပြန့်သော ablation study များကို ဆောင်ရွက်သွားရန် စီစဉ်ထားပါသည်။

သုတေသီများနှင့် လက်တွေ့လုပ်ဆောင်သူများအား ၎င်းတို့၏ ကိုယ်ပိုင်အလုပ်များတွင် RBRs ၏ အလားအလာကို စူးစမ်းကြည့်ရှုရန် ကျွန်ုပ်တို့ ဖိတ်ခေါ်ပါသည်။ သိမြင်ချက်များ မျှဝေခြင်းနှင့် အကောင်းဆုံး လုပ်ထုံးလုပ်နည်းများပေါ်တွင် ပူးပေါင်းဆောင်ရွက်ခြင်းဖြင့် ကျွန်ုပ်တို့သည် ဘေးကင်းပြီး ကိုက်ညီသော AI နယ်ပယ်ကို စုပေါင်း တိုးတက်စေနိုင်မည်ဖြစ်ပြီး၊ ဤအစွမ်းထက်သော ကိရိယာများသည် လူများကို ပိုကောင်းစွာ အကျိုးပြုစေရန် သေချာစေနိုင်ပါသည်။