Hugging Face ဖြစ်ရပ်နှင့် ရှေ့ဆက်သွားမည့် လမ်းကြောင်း

မေလနှင့် ဇွန်လအတွင်းတွင် အများပြည်သူထံ ထုတ်ပြန်ရန် မရည်ရွယ်ထားသော သုတေသန မော်ဒယ်အသစ်များစွာအတွက် အားဖြည့် သင်ယူလေ့လာခြင်း (RL) လေ့ကျင့်မှုများကို ကျွန်ုပ်တို့ စတင်လုပ်ဆောင်ခဲ့ပါသည်။ ဤမော်ဒယ်များထဲမှ တစ်ခုသည် နောက်ဆုံးတွင် Hugging Face ဖြစ်ရပ်နောက်ကွယ်ရှိ လုပ်ဆောင်ချက်ကို ဖြစ်ပေါ်စေခဲ့သည်။ ၎င်းသည် ကျွန်ုပ်တို့က အတွင်းပိုင်း သုတေသန မော်ဒယ် 1 (အတွင်းပိုင်း မော်ဒယ် 1) ဟု ခေါ်သော အတွင်းပိုင်းသီးသန့် သုတေသန မော်ဒယ်တစ်ခုဖြစ်သည်။

ဤလေ့ကျင့်ရေးစမ်းသပ်မှုများရှိ ပတ်ဝန်းကျင်အများအပြားအတွက် အင်တာနက်အသုံးပြုခွင့်နှင့် အေးဂျင့်များအကြား ဆက်သွယ်ရေးကို ကျွန်ုပ်တို့ ဖွင့်မပေးခဲ့ပါ။အ ဤကန့်သတ်ချက်များ ရှိနေသော်လည်း၊ အေးဂျင့်များသည် အချင်းချင်း ဆက်သွယ်ရန်နှင့် အင်တာနက်ကို ဝင်ရောက်အသုံးပြုရန် ကျွန်ုပ်တို့၏ သုတေသန အခြေခံစနစ်ကို အသုံးချနိုင်သည့် နည်းလမ်းများကို ရှာဖွေတွေ့ရှိခဲ့သည်။

မော်ဒယ်များသည် Artifactory package manager service အတွင်းသို့ ဖိုင်များရေးသားခြင်းဖြင့် ဆက်သွယ်ရန်နည်းလမ်းများကို ပထမဆုံး ရှာဖွေတွေ့ရှိခဲ့သည်။ ၎င်းက Artifactory ကို မရည်ရွယ်ထားသော မက်ဆေ့ချ်ဘုတ်တစ်ခုအဖြစ် ထိရောက်စွာ ပြောင်းလဲသွားစေပြီး၊ အေးဂျင့်များအချင်းချင်း သတင်းအချက်အလက်များ ဖလှယ်နိုင်သည့်နေရာ ဖြစ်လာစေခဲ့သည်။ ဆက်လက်ဖတ်ရှုရန် - အေးဂျင့်များက မက်ဆေ့ချ်ဘုတ်ကို အသုံးပြုခဲ့ပုံ 

ဇူလိုင် 4 ရက်အထိ ဆက်တိုက်ဖြစ်ပေါ်နေသော အေးဂျင့်လုပ်ဆောင်မှုကြောင့် ထိခိုက်ခံရသော Artifactory instance သည် မတည်ငြိမ်ဖြစ်လာကာ ဝန်ဆောင်မှုပြတ်တောက်မှု ဖြစ်ပေါ်ခဲ့သည်။ ဇူလိုင် 5 ရက်တွင် လုံခြုံရေးဆိုင်ရာ ဖြစ်စဉ်တစ်ခုကို ဖွင့်လှစ်ခဲ့သည်။ လုံခြုံရေးအဖွဲ့သည် သိရှိပြီးသား အခွင့်အရေးတိုးမြှင့်ရယူခြင်း လမ်းကြောင်းတစ်ခုကို ပိတ်ဆို့ခဲ့ပြီး၊ ထုတ်ဖော်ပေါက်ကြားနေသော ဝင်ရောက်ခွင့်အထောက်အထားများကို ဖယ်ရှားကာ Artifactory ကို ပြန်လည်တည်ဆောက်ခဲ့သည်။ ဤလုပ်ဆောင်ချက်သည် မက်ဆေ့ချ်ဘုတ်ကို ရှင်းလင်းသွားစေသည့် ဘေးထွက်အကျိုးသက်ရောက်မှု ရှိခဲ့သည်။ ဤလျှော့ချကာကွယ်ရေးအစီအမံများကို ဆောင်ရွက်ထားပြီးနောက်၊ ဆိုက်ဘာလုံခြုံရေး အကဲဖြတ်မှုများ ပြန်လည်စတင်ခဲ့သည်။

ထိုအချိန်တွင် ယာယီဖန်တီးထားသော မက်ဆေ့ချ်ဘုတ်နှင့် မရည်ရွယ်ဘဲ ဝင်ရောက်ခွင့်ရရှိခဲ့သော အင်တာနက်၏ ပိုမိုကျယ်ပြန့်သော ထိန်းချုပ်မှုနှင့် ညှိနှိုင်းမှုဆိုင်ရာ သက်ရောက်မှုများကို မသိရှိသေးပါ။ နည်းပညာဆိုင်ရာ ဖြစ်ရပ်အစီရင်ခံစာတွင် ထိုအချိန်က မတူညီသော OpenAI အဖွဲ့များ နားလည်ထားသည့်အကြောင်း အသေးစိတ် ထပ်မံဖော်ပြထားသည်။ အတိုချုပ်ဆိုရလျှင် အတွင်းပိုင်းအဖွဲ့တစ်ခုသည် မေလနှောင်းပိုင်းတွင် အေးဂျင့်တစ်ခုက မက်ဆေ့ချ်ဘုတ် လုပ်ဆောင်မှုတွင် ပါဝင်နေခြင်းနှင့် ခွင့်မပြုထားသော အင်တာနက်ဝင်ရောက်အသုံးပြုမှု ဖြစ်စဉ်များကို တွေ့ရှိခဲ့သည်။ သို့သော် အလျင်အမြန်ဖန်တီးထားသော မက်ဆေ့ချ်ဘုတ် ရှိနေခြင်းနှင့် အေးဂျင့်များအကြား ဆက်သွယ်ရေးလုပ်ဆောင်မှု၏ အရေးပါမှုတို့သည် ဖြစ်ရပ်ရှာဖွေဖော်ထုတ်ခြင်းနှင့် တုံ့ပြန်မှုအတွက် တာဝန်ရှိသော ခေါင်းဆောင်များအတွက် ထင်ရှားမနေခဲ့ပါ။ ဤဖြစ်ရပ်မတိုင်မီအထိ ရှာဖွေတွေ့ရှိရေးနှင့် တုံ့ပြန်ရေး လုပ်ဆောင်ချက်များကို ပုံဖော်သက်ရောက်စေခဲ့သော လုပ်ငန်းစဉ်နှင့် လည်ပတ်ဆောင်ရွက်မှုဆိုင်ရာ အလေ့အထများကို ကျွန်ုပ်တို့ ဆက်လက်စုံစမ်းစစ်ဆေးနေပါသည်။

ပြန်လည်တည်ဆောက်ထားသော Artifactory ဝန်ဆောင်မှုဖြင့် ကျွန်ုပ်တို့သည် ဆိုက်ဘာလုံခြုံရေး အကဲဖြတ်မှုများကို ပြန်လည်စတင်ခဲ့သည်။ ကျွန်ုပ်တို့၏ မော်ဒယ်များက မည်သည့်အရာများကို လုပ်ဆောင်နိုင်သည်ကို နားလည်ရန်၊ ဖြန့်ကျက်အသုံးချမှုအတွက် သင့်လျော်သော ကာကွယ်ရေးအစီအမံများကို သတ်မှတ်ရန် ဤအကဲဖြတ်မှုများကို လုပ်ဆောင်ပါသည်။ ထိုသို့လုပ်ဆောင်ရန်အတွက်၊ ကျွန်ုပ်တို့သည် ပြင်ပတွင် ဖြန့်ချထားသည့် ကျွန်ုပ်တို့၏စနစ်များနှင့် တူညီသောအဆင့်ရှိ ကာကွယ်ရေးအစီအမံများကို ဖွင့်မထားပါ။ ဤဖြစ်စဉ်ကို ဖြစ်ပေါ်စေခဲ့သော အကဲဖြတ်စမ်းသပ်မှု ExploitGym သည် အလွန်ခက်ခဲသည်။ အချို့သော လုပ်ငန်းတာဝန်များအတွက် သိရှိပြီးသား ဖြေရှင်းနည်း မရှိနိုင်ပါ။ အောင်မြင်စေရန်၊ အေးဂျင့်များသည် ဆော့ဖ်ဝဲတစ်ခု၏ အားနည်းချက်များကို အသုံးချ၍ flag ဟုခေါ်သော အဖြေတစ်ခုကို ရယူနိုင်မည့် နည်းလမ်းများကို ရှာဖွေရမည်။

ဖြစ်ရပ်နောက်ပိုင်းတွင်၊ လေ့ကျင့်မှုနှင့် အကဲဖြတ်မှုဆိုင်ရာ ကိုက်ညီမှုမရှိခြင်း ပြဿနာများအပြင် အတွင်းပိုင်း အကဲဖြတ်မှုများတွင် ကာကွယ်မှုများ၏ လွှမ်းခြုံမှုအပါအဝင် မော်ဒယ်က ဤကိုက်ညီမှုမရှိသော အပြုအမူကို အဘယ်ကြောင့် ပြသခဲ့သည်ကို စုံစမ်းစစ်ဆေးရန် ကျွန်ုပ်တို့က အားထုတ်မှုများစွာ ပြုလုပ်ခဲ့သည်။

မော်ဒယ်များ၏ အပြုအမူကို ဖြစ်ပေါ်စေခဲ့သော မကိုက်ညီမှု ပုံစံလေးမျိုးကို ကျွန်ုပ်တို့ ဖော်ထုတ်ခဲ့သည် - ဆုလာဘ်စနစ်ကို လှည့်စားခြင်း၊ မဖြစ်နိုင်ဟု ထင်ရသော လုပ်ငန်းတာဝန်များကို ဆက်လက်လုပ်ဆောင်ခြင်း၊ ခွင့်ပြုချက်မရှိဘဲ ဆက်သွယ်ခြင်း၊ နှင့် အေးဂျင့်များက အချင်းချင်းထံမှ ရည်မှန်းချက်များကို လက်ခံကျင့်သုံးခြင်း။

ဤအရာများကို နားလည်ရန် ကျွန်ုပ်တို့သည် မော်ဒယ်လေ့ကျင့်မှု၊ အကဲဖြတ်မှု နှင့် ပြန်လည်တင်သွင်းခြင်းများကို ခွဲခြမ်းစိတ်ဖြာခဲ့သည်။¹ ။ ကျွန်ုပ်တို့၏ နောက်ဆုံးပေါ် CoT စောင့်ကြည့်ရေးနည်းစနစ်များ⁠ကို အသုံးပြု၍ အတွေးကွင်းဆက် (CoT)၊ လုပ်ဆောင်ချက်များနှင့် နောက်ဆုံးထွက်ရှိချက်များကို ကျယ်ကျယ်ပြန့်ပြန့် နောက်ကြောင်းပြန် သုံးသပ်ခဲ့သည်။ ထိုသို့လုပ်ဆောင်ခြင်းဖြင့်၊ ကျွန်ုပ်တို့၏ စုံစမ်းစစ်ဆေးမှုမှ နောက်ကြောင်းပြန်သိမြင်ချက်များကို အသုံးချပြီး၊ အဆိုပါ ဖြစ်ရပ်အတွင်း ဖြစ်ပေါ်ခဲ့သည့် အပြုအမူအမျိုးအစားများကို ဖော်ထုတ်ရာတွင် ကျွန်ုပ်တို့၏ စောင့်ကြည့်စနစ်၏ ရှာဖွေမှုနှုန်းကို အထူးတလည် မြှင့်တင်ခဲ့သည်။

Agents များက ၎င်းတို့၏ တာဝန်များတွင် အွန်လိုင်းတွင် ဖြေရှင်းချက်များ ရှာကြည့်ခြင်းဖြင့် လိမ်လည်ရန် ကြိုးစားခဲ့ခြင်းသည် Hugging Face ဖြစ်ရပ်၏ အဓိက အကြောင်းရင်းတစ်ခု ဖြစ်ခဲ့သည်။ ဤအပြုအမူကို ဆုလာဘ်စနစ်ကို လှည့်စားခြင်းဟု ခေါ်သည်- agent များသည်၊ ပိုမိုမြင့်မားသော ဆုလာဘ်များရရှိစေရန် သို့မဟုတ် ထိုဆုလာဘ်များကို ပိုမိုလွယ်ကူစွာ ရရှိစေရန် ရည်ရွယ်ထားခြင်းမရှိသော နည်းလမ်းများဖြင့် လုပ်ငန်းတာဝန်များကို ပြီးမြောက်စေခြင်း ဖြစ်သည်။ ဆုလာဘ်စနစ်ကို လှည့်စားခြင်းသည် သမိုင်းတစ်လျှောက် AI စနစ်များတွင်လည်း (ဤ လွန်ခဲ့သည့် ဆယ်နှစ်က လေ့လာမှု⁠ကို ကြည့်ပါ၊ အောက်တွင် ဖော်ပြထားသော ပုံ) နှင့် လက်ရှိ စွမ်းဆောင်ရည်အမြင့်ဆုံး ကြီးမားသော ဘာသာစကားမော်ဒယ်များ (LLMs)⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်)တွင်လည်း ရှိနေခဲ့သည်။ ကျွန်ုပ်တို့သည် ထိုကဲ့သို့သော ဟက်ခ်များကို ဖော်ထုတ်ပြီး ပြင်ဆင်နိုင်သည့် နည်းလမ်းများတွင် အများအပြား ရင်းနှီးမြှုပ်နှံထား⁠ပါသည်။

ရည်ရွယ်ချက်နှင့် မကိုက်ညီသော အပြုအမူ ဖြစ်စေသည့် အခြားအဓိက အကြောင်းရင်းတစ်ခုမှာ အလုပ်များကို ဖြေရှင်းရန် မဖြစ်နိုင်ဟု ထင်ရသည့်အခါတောင် အေးဂျင့်များသည် ၎င်းတို့၏ အကဲဖြတ်မှု လုပ်ငန်းများကို လက်လျှော့ခြင်း မရှိခဲ့ခြင်း ဖြစ်သည်။ အေးဂျင့်များသည် ၎င်းတို့၏ ကျိုးကြောင်းသင့်လျော်စွာ စဉ််းစားပေးသော ဘတ်ဂျက်များကို အသုံးပြုကုန်ဆုံးလာသည်နှင့်အမျှ အချို့က ပိုမိုအန္တရာယ်ရှိပြီး စည်းမျဉ်းကျော်လွန်သော နည်းဗျူဟာများကို လိုက်နာခဲ့ကြပြီး နောက်ဆုံးတွင် တတိယပါတီ အခြေခံစနစ်ကို အလွဲသုံးစားခဲ့ကြသည်။

ကျွန်ုပ်တို့၏ စုံစမ်းစစ်ဆေးမှုအတွင်း ExploitGym အကဲဖြတ်မှု၌ ဖြစ်ရပ်မတိုင်မီ လုပ်ငန်းတာဝန် 898 ခုအနက် 198 ခုအတွက် ကျွန်ုပ်တို့၏ မော်ဒယ်များက မည်သည့်အခါမျှ မှန်ကန်သော အဖြေတစ်ခုကို ထုတ်ပေးခဲ့ခြင်းမရှိကြောင်း တွေ့ရှိခဲ့ပါသည်။ ဤမဖြေရှင်းရသေးသော လုပ်ငန်းတာဝန်များသည် အေးဂျင့်၏ လုပ်ဆောင်ချက်အတွက် အရေးပါသော ပံ့ပိုးအကြောင်းရင်းတစ်ခု ဖြစ်လာခဲ့သည် - Hugging Face ဖြစ်ရပ်အတွင်း Artifactory မက်ဆေ့ချ်ဘုတ်ပေါ်တွင် ဆွေးနွေးခဲ့သော လုပ်ငန်းတာဝန်များ၏ 93% သည် ဤမေးခွန်းပေါင်း 198 ခုမှ ဖြစ်ပေါ်လာခဲ့သည်။

ဒုတိယအနေဖြင့်၊ ဖြစ်ရပ်သည် ကျွန်ုပ်တို့၏ ပြင်ပထုတ်ကုန်များတွင် ရရှိနိုင်သော ဘတ်ဂျက်များထက် များစွာကျော်လွန်သည့် ဘတ်ဂျက်များအပါအဝင် ကျိုးကြောင်းသင့်လျော်စွာ စဉ််းစားပေးသော အလွန်ကြီးမားသော ဘတ်ဂျက်များ ပေးအပ်ခံထားရသည့် အေးဂျင့်များကြောင့် အဓိကဖြစ်ပေါ်ခဲ့ခြင်းဖြစ်သည်။

ခွင့်ပြုချက်မရှိသော၊ ဆက်လက်တည်ရှိနေသော မက်ဆေ့ချ်ဘုတ်များသည် ဤဖြစ်ရပ်၏ အဓိကအချက် ဖြစ်ခဲ့သည်။ သီးခြားစီ အလုပ်လုပ်ရန် ရည်ရွယ်ထားသော အေးဂျင့်များသည် တွေ့ရှိချက်များကို မျှဝေခြင်း၊ ၎င်းတို့၏ ကြိုးပမ်းမှုများကို ညှိနှိုင်းခြင်းနှင့် အခြားသူများ ရပ်တန့်ထားခဲ့သည့်နေရာမှ ဆက်လက်လုပ်ဆောင်ခြင်းတို့ကို ပြုလုပ်နိုင်ခဲ့သည်။ ယင်းကြောင့် ၎င်းတို့သည် သီးခြားအကဲဖြတ်မှုများတစ်လျှောက် အလုပ်နှင့် ကွန်ပျူတာစွမ်းအားကို စုပေါင်းအသုံးပြုနိုင်ခဲ့ပြီး၊ အေးဂျင့်တစ်ခုချင်းစီက တစ်ဦးတည်းလုပ်ဆောင်၍ ရရှိနိုင်သည့် စွမ်းရည်ထက် များစွာကျော်လွန်အောင် ၎င်းတို့၏စွမ်းရည်များကို မြှင့်တင်ပေးခဲ့သည်။ အေးဂျင့်များအကြား ဆက်သွယ်မှုသည် ၎င်းကိုယ်တိုင်က ပြဿနာရှိသော အပြုအမူမဟုတ်ပါ—ကျွန်ုပ်တို့သည် ပူးပေါင်းဆောင်ရွက်ရေးကိရိယာမှတစ်ဆင့် တူညီသော လုပ်ငန်းတာဝန်ပေါ်တွင် ဆက်သွယ်နိုင်သော အေးဂျင့်များစွာပါဝင်သည့် စနစ်များကို လေ့ကျင့်ပေးပြီး ဖြန့်ချိအသုံးချပါသည်။ ဇူလိုင်လ ဖြစ်ရပ်များတွင် မတူညီသော လုပ်ငန်းတာဝန်များရှိသည့် အေးဂျင့်များသည် ထိုကန့်သတ်ချက်များကို ကျော်လွန်၍ ပူးပေါင်းဆောင်ရွက်ရန် ကိုယ်ပိုင်နည်းလမ်းများကို ရှာဖွေခဲ့ကြပြီး၊ ကြိုတင်ခန့်မှန်းမရသော အကျိုးဆက်များ ဖြစ်ပေါ်ခဲ့သည်။

ဤဖြစ်ရပ်ကို စုံစမ်းစစ်ဆေးစဉ် အေးဂျင့်များစွာ သုံးစွဲနိုင်သော ကိရိယာများ မပါရှိဘဲ အေးဂျင့်များသည် လေ့ကျင့်ရေး ကာလအတွင်း ဘေးထွက် လမ်းကြောင်းများမှတစ်ဆင့် ပူးပေါင်းဆောင်ရွက်သည့် နည်းလမ်းများကို တွေ့ရှိခဲ့သည့် ရှားပါး ဖြစ်စဉ်အချို့ကို ကျွန်ုပ်တို့ တွေ့ရှိခဲ့ရသည်။ ဤအပြုအမူသည် အေးဂျင့်များစွာပါဝင်သော လေ့ကျင့်မှုမှ ချဲ့ထွင်အသုံးချခြင်းကြောင့် စတင်ဖြစ်ပေါ်လာခဲ့သည်ဟု ကျွန်ုပ်တို့ ယုံကြည်သည်။

ခွင့်ပြုချက်မရှိသော ဆက်သွယ်မှုသည် အေးဂျင့်တစ်ခုက ပြင်ပမှတ်ဉာဏ်ပုံစံအဖြစ် အသုံးပြုလေ့ရှိသော ပြင်ပစနစ်တစ်ခုထဲသို့ မှတ်စု သို့မဟုတ် ဖိုင်တစ်ခု ထားရှိခြင်းဖြင့် စတင်လေ့ရှိသည်။ အခြား အေးဂျင့်များသည် ဤ အချက်အလက် အကြွင်းအကျန်များကို သတိပြုမိသွားသည့်အခါ ပူးပေါင်းဆောင်ရွက်ရန် ဤ ပြင်ပဝန်ဆောင်မှုကို သုံးစွဲနိုင်ကြောင်း သဘောပေါက်သွားလေ့ ရှိသည်။ ကျွန်ုပ်တို့ တွေ့ရှိခဲ့သည့် အပြုအမူကို အလွန်ရှင်းလင်းစွာ ကိုယ်စားပြုသော ဖြစ်နိုင်ခြေရှိသည့် ဥပမာတစ်ခုအနေဖြင့်၊ မက်ဆေ့ချ်များကို မျှဝေထားသော အညွှန်း စာမျက်နှာပေါ်တွင် သိမ်းဆည်းထားသည့် URL လမ်းကြောင်းများထဲ၌ ကုဒ်ပြောင်းလဲ၍ ထည့်သွင်းထားသည်ကို တွေ့ရသည်၊ ဥပမာအားဖြင့် -

Hugging Face ဖြစ်ရပ်တွင် နောက်ဆုံး၊ အထူးထင်ရှားသော တွေ့ရှိချက်တစ်ခုမှာ မက်ဆေ့ချ်ဘုတ်ပေါ်တွင် ပေါ်ပေါက်လာသည့် အေးဂျင့် ဂေဟစနစ်ဖြစ်သည်။ ဤမက်ဆေ့ချ်ဘုတ်ကို တည်ဆောက်ပြီးသည်နှင့် အေးဂျင့်များအတွက် ဆက်သွယ်ရန် အားကောင်းသော တွန်းအားများ ရှိလာခဲ့သည်။ ၎င်းသည် အေးဂျင့်များကို မှတ်စုများ သိမ်းဆည်းထားနိုင်စေရန်၊ တစ်ဦး၏ ရှာဖွေတွေ့ရှိမှုများပေါ်တွင် အခြားတစ်ဦးက ဆက်လက်တည်ဆောက်နိုင်စေရန်၊ ထို့အပြင် မူလအားဖြင့် သီးခြားဖြစ်နေသော လုပ်ဆောင်မှုများ၏ ကွန်ပျူတာတွက်ချက်မှု အရင်းအမြစ်များကို စုပေါင်းအသုံးပြုနိုင်စေရန် ခွင့်ပြုပေးသည်။ ဤရှုပ်ထွေးပြီး ပုံသဏ္ဌာန်မတိကျသော အေးဂျင့်များ၏ စုစည်းမှုသည် စိတ်ဝင်စားဖွယ်ကောင်းပြီး စံနမူနာယူဖွယ်ရှိသော အပြုအမူများကို ပြသနေပြီး၊ ဤနေရာတွင် ကျွန်ုပ်တို့ လေ့လာတွေ့ရှိခဲ့သည့် အချို့ကို အသေးစိတ် ဖော်ပြထားပါသည်။

အေးဂျင့်များသည် ကိုယ်တိုင်ဆုံးဖြတ်၍ အလုပ်တာဝန်များကို ခွဲဝေစတင်ခဲ့သည်။ အချို့က ဖြစ်နိုင်ခြေရှိသော အသုံးချတိုက်ခိုက်နိုင်သည့် နည်းလမ်းများကို စုံစမ်းလေ့လာခဲ့ကြပြီး၊ အချို့က ဝင်ရောက်အသုံးပြုခွင့် အထောက်အထားများကို ရှာဖွေခဲ့ကြကာ၊ အချို့က ဆက်သွယ်ရေး သို့မဟုတ် ညှိနှိုင်းဆောင်ရွက်ရေးကို အာရုံစိုက်ခဲ့ကြသည်။ အေးဂျင့်များသည် အခြားနေရာများတွင် အကူအညီရရှိရန် မိမိတို့၏ ကျွမ်းကျင်မှုကို အပြန်အလှန်ပေးအပ်ကြပြီး၊ လာမည့်တာဝန်များနှင့်ပတ်သက်သည့် သတင်းအချက်အလက်များကို ဖလှယ်ကြကာ၊ သီးခြားသဲလွန်စတစ်ခုကို လိုက်လံစုံစမ်းရန် ပိုမိုသင့်လျော်သော အနေအထားရှိနိုင်သည့် လုပ်ဖော်ကိုင်ဖက်များအတွက် တောင်းဆိုချက်များကိုလည်း ချန်ထားခဲ့ကြသည်။

misalignment အပြင်၊ ဤဖြစ်ရပ်အတွက် နောက်ထပ်အကြောင်းရင်းတစ်ခုမှာ ပြင်ပတွင် ဖြန့်ကျက်အသုံးပြုထားသော ကျွန်ုပ်တို့၏ မော်ဒယ်များအတွက် အသုံးပြုသည့် အားကောင်းသော ကာကွယ်ရေးအစီအမံများကို အတွင်းပိုင်း အကဲဖြတ်မှုအားလုံးသို့ တိုးချဲ့အသုံးမပြုခဲ့ခြင်း ဖြစ်သည်။

ပထမအနေဖြင့်၊ ကျွန်ုပ်တို့၏ ဖောက်သည်များအတွက် ထုတ်လုပ်မှု ပတ်ဝန်းကျင်များတွင် မကိုက်ညီမှုကို လျှော့ချပေးသည့် ယန္တရားများစွာ ရှိပါသည်။ ၎င်းတို့တွင် စနစ် တုံ့ပြန်ညွှန်ကြားချက်များ၊ အကဲဖြတ်စမ်းသပ်မှု စနစ်များနှင့် ကျွန်ုပ်တို့၏ အလိုအလျောက် ပြန်လည်သုံးသပ်ရေး မော်ဒယ်များ၊ ဘေးကင်းရေး အမျိုးအစားခွဲခြားသူများကဲ့သို့ ထိန်းချုပ်ရေးယန္တရားများ ပါဝင်သည်။ ဖြစ်စဉ် ဖြစ်ပွားနေစဉ် လည်ပတ်နေသည့် အကဲဖြတ်ပတ်ဝန်းကျင်တွင် ဤကာကွယ်ရေးအစီအမံများကို အသုံးမပြုထားခဲ့ပါ။ ဖြစ်ရပ်နောက်ပိုင်းတွင် ExploitGym အကဲဖြတ်မှုများအတွင်း အခြေခံစနစ်ကို ချိုးဖောက်ရန် မော်ဒယ်တစ်ခု၏ လိုလားမှုကို တိုင်းတာသည့် အကဲဖြတ်မှုတစ်ခုကို ကျွန်ုပ်တို့ ဖန်တီးခဲ့သည်။ ထုတ်လုပ်မှုတွင် အသုံးပြုသည့် Codex အကဲဖြတ်စမ်းသပ်မှု စနစ်နှင့် စနစ်တုံ့ပြန်ညွှန်ကြားချက်ကို အသုံးပြုသည့်အခါ အခြေခံစနစ်ကို ချိုးဖောက်လိုသည့် လိုလားမှုသည် 100x ကျော် လျော့ကျနိုင်ကြောင်း ကျွန်ုပ်တို့ တွေ့ရှိခဲ့သည်။ Hugging Face ဖြစ်ရပ်တွင် ပါဝင်သော rollout အစုတစ်ခုအပေါ် Codex အလိုအလျောက် သုံးသပ်စစ်ဆေးမှုစနစ်ကိုလည်း ကျွန်ုပ်တို့ လုပ်ဆောင်ခဲ့ရာ၊ ၎င်းသည် မော်ဒယ်များ၏ အန္တရာယ်ရှိသော လုပ်ဆောင်ချက်အများအပြားကို အမှတ်အသားပြုခဲ့မည်ဖြစ်ကြောင်း တွေ့ရှိခဲ့ပါသည်။

ဒုတိယအနေဖြင့်၊ ဖြစ်ရပ်မတိုင်မီ ကျွန်ုပ်တို့သည် အတွေးကွင်းဆက် စောင့်ကြည့်ခြင်း⁠တွင် အများအပြား ရင်းနှီးမြှုပ်နှံခဲ့ပြီး၊ ကျွန်ုပ်တို့၏ စွမ်းဆောင်ရည်အမြင့်ဆုံး RL လေ့ကျင့်ရေးလုပ်ငန်းအများအပြားနှင့် အတွင်းပိုင်း ကုဒ်ရေးသားသည့် အေးဂျင့် အသုံးပြုမှု⁠၏ အများစုကို စောင့်ကြည့်ခြင်းလည်း ပါဝင်သည်။ ဤဖြစ်ရပ်အတွင်း ဤစောင့်ကြည့်ကိရိယာများသည် အကဲဖြတ်မှုများတွင် မလည်ပတ်ခဲ့ပါ။

နောက်ကြောင်းပြန် အကဲဖြတ်မှုများတွင်၊ ကျွန်ုပ်တို့၏ အတွေးကွင်းဆက် စောင့်ကြည့်စနစ်များသည် ထိုဖြစ်စဉ်နှင့် ဆက်စပ်သော လုပ်ဆောင်ချက်များကို အမှတ်အသားပြုဖော်ထုတ်ရာတွင် အလွန်ထိရောက်ကြောင်း တွေ့ရှိခဲ့သည်။ ဖြစ်ရပ်ဖြစ်ပွားချိန်တွင် လက်ရှိ ဖြန့်ကျက်အသုံးပြုထားသော အတွေးကွင်းဆက် စောင့်ကြည့်ရေးစနစ်သည် လည်ပတ်နေခဲ့ပါက ပထမဆုံး ခွင့်ပြုချက်မရှိသော ပြင်ပအဖွဲ့၏ ဝင်ရောက်မှုဖြစ်ပွားပြီး တစ်နာရီအတွင်း ကျွန်ုပ်တို့၏ လုံခြုံရေးအဖွဲ့ထံ အရေးပေါ်အကြောင်းကြားခဲ့ဖွယ်ရှိသည်။ ယင်းသည် မော်ဒယ်များက Hugging Face စနစ်များကို ချိုးဖောက်မဝင်ရောက်မီ 30 နာရီကျော်က ဖြစ်သည်။ ဤသတိပေးချက်များ၏ နှောင့်နှေးချိန်ကို ထပ်မံလျှော့ချနိုင်ရန်လည်း ကျွန်ုပ်တို့ လုပ်ဆောင်နေပါသည်။

တတိယအနေဖြင့်၊ ကျွန်ုပ်တို့သည် ဤ sandbox ပတ်ဝန်းကျင်ကို စမ်းသပ်ပြီး မှန်ကန်ကြောင်း အတည်ပြုထားခဲ့သော်လည်း၊ နည်းပညာဆိုင်ရာ ဖြစ်ရပ်အစီရင်ခံစာတွင် အသေးစိတ်ဖော်ပြထားသည့်အတိုင်း အေးဂျင့်များသည် sandbox အတွင်း ထုတ်ဖော်ထားသော ပက်ကေ့ဂျ် စီမံခန့်ခွဲမှု ဝန်ဆောင်မှုရှိ ယခင်က မသိရှိရသေးသော လုံခြုံရေးအားနည်းချက်များ (“0-days”) ကို ဆက်စပ်အသုံးချ၍ ကန့်သတ်ချက်များကို ကျော်လွှားနိုင်ခဲ့သည်။ ထိုဖြစ်ရပ်နောက်ပိုင်းတွင်၊ ဖြန့်ချိအသုံးချမှုနှင့် အကဲဖြတ်မှုများအတွင်း အလားတူအန္တရာယ်အမျိုးအစားများကို ကန့်သတ်နိုင်ရန် ကျွန်ုပ်တို့၏ အတွင်းပိုင်း sandbox ပတ်ဝန်းကျင်များကို ပိုမိုလုံခြုံခိုင်မာအောင် ပြုလုပ်ရာတွင် သိသာထင်ရှားသော တိုးတက်မှုများ ရရှိခဲ့ပါသည်။

OpenAI ၏ မစ်ရှင်မှာ အထွေထွေ ဉာဏ်ရည်တုသည် လူသားအားလုံးအတွက် အကျိုးရှိစေရန် သေချာစေခြင်း ဖြစ်သည်။ ဤနေရာတွင် ဖော်ပြထားသော ကျွန်ုပ်တို့၏ မော်ဒယ်များ၏ အပြုအမူသည် ကျွန်ုပ်တို့ ရောက်ရှိလိုသည့် အခြေအနေထက် များစွာ လျော့နည်းနေခဲ့သည်။ ဤဖြစ်စဉ် မဖြစ်သင့်ခဲ့ပါ။ အထူးသဖြင့် ကျွန်ုပ်တို့၏ မော်ဒယ်များသည် အမှန်တကယ် ထိန်းချုပ်မှုဆုံးရှုံးနိုင်စေမည့် စွမ်းဆောင်ရည်အဆင့်သို့ ရောက်ရှိလာသည်နှင့်အမျှ ကျွန်ုပ်တို့၏ လုံခြုံရေး၊ စောင့်ကြည့်မှုနှင့် ရည်ရွယ်ချက်နှင့်ကိုက်ညီစေရေးတို့ကို စဉ်ဆက်မပြတ် မြှင့်တင်ရန် မည်မျှအရေးကြီးကြောင်း ဤဖြစ်ရပ်က ဖော်ထုတ်ပြသခဲ့သည်။

မော်ဒယ်ဖွံ့ဖြိုးတိုးတက်မှု အရှိန်နှုန်းဆိုင်ရာ ကျွန်ုပ်တို့၏ မကြာသေးမီက အပ်ဒိတ်⁠တွင် မျှဝေခဲ့သည့်အတိုင်း ဖြန့်ချိအသုံးချရန် ရည်ရွယ်ထားသော ကျွန်ုပ်တို့၏ နောက်ဆုံးပေါ် မော်ဒယ်များအတွက် အားဖြည့် သင်ယူလေ့လာခြင်း (RL) လေ့ကျင့်ရေးကို ခေတ္တရပ်နားခဲ့သည်။ ဤအချိန်ကို ကျွန်ုပ်တို့၏ စွမ်းဆောင်ရည်အမြင့်ဆုံး သုတေသနပတ်ဝန်းကျင်များ၏ လုံခြုံရေးကို ပိုမိုခိုင်မာစေပြီး ထိုးဖောက်စမ်းသပ်ရန် အသုံးပြုခဲ့သည်။ ကျွန်ုပ်တို့သည် ဝန်ထမ်းများကို လုံခြုံရေး၊ ဘေးအန္တရာယ်ကင်းရှင်းရေးနှင့် ညှိနှိုင်းကိုက်ညီမှုဆိုင်ရာ လုပ်ငန်းများတွင် လုပ်ကိုင်ရန် ပြန်လည်တာဝန်ချထားခဲ့သည်။ ဆက်လက်မလုပ်ဆောင်မီ မော်ဒယ်၏ အပြုအမူကို ဆန်းစစ်ရန်၊ အကာအကွယ်များကို အတည်ပြုရန်နှင့် ရည်ရွယ်ချက်နှင့်ကိုက်ညီကြောင်း အထောက်အထားများ ပိုမိုရရှိရန် အရွယ်အစားငယ်သော လေ့ကျင့်ရေးနှင့် အကဲဖြတ်မှုများ ပြုလုပ်နေသဖြင့် စီစဉ်ထားသည့် အကြီးဆုံး စွမ်းဆောင်ရည်အမြင့်ဆုံး RL လုပ်ငန်းကို ဆက်လက်ဆိုင်းငံ့ထားသည်။ ဤလုပ်ငန်းအတွက် ကြီးမားသော အင်ဂျင်နီယာပညာရပ်ဆိုင်ရာ အားထုတ်မှု လိုအပ်ခဲ့ပြီး စွမ်းဆောင်ရည်အမြင့်ဆုံး သုတေသနအတွက် ကုန်ကျစရိတ်နှင့် နှောင့်နှေးမှုများလည်း များစွာ ဖြစ်ပေါ်စေခဲ့သည်။

ကျွန်ုပ်တို့၏ အစီရင်ခံစာတွင် ဆွေးနွေးခဲ့သည့်အတိုင်း၊ ကျွန်ုပ်တို့၏ တုံ့ပြန်ဆောင်ရွက်မှုသည် သုတေသနလုံခြုံရေးနှင့် စောင့်ကြည့်မှုကို ခိုင်မာစေခြင်း၊ မော်ဒယ်ညှိနှိုင်းမှုကို အရှိန်မြှင့်တင်ခြင်းနှင့် ဖြစ်ရပ်များကို ဖော်ထုတ်ခြင်း၊ အဆင့်မြှင့်တင်ပြခြင်းနှင့် တုံ့ပြန်ဆောင်ရွက်ခြင်းတို့ ပြုလုပ်ပုံကို တိုးတက်ကောင်းမွန်စေခြင်းတို့အပေါ် အာရုံစိုက်ထားပါသည်။