ဘာသာစကား မော်ဒယ်များသည် အခေါက်ရေနည်းနည်းဖြင့် ပြုလုပ်ခြင်း သင်ယူသူများဖြစ်သည်
မကြာသေးမီက လုပ်ဆောင်ခဲ့သော သုတေသနများတွင် စာသားအစုကြီးတစ်ခုပေါ်တွင် အကြိုလေ့ကျင့်သင်ကြားခြင်း ပြုလုပ်ပြီးနောက် သတ်မှတ်ထားသော လုပ်ငန်းတာဝန်တစ်ခုအတွက် fine-tuning ပြုလုပ်ခြင်းအားဖြင့် NLP လုပ်ငန်းတာဝန်များနှင့် benchmark များစွာတွင် သိသာထင်ရှားသော တိုးတက်မှုများ ရရှိနိုင်ကြောင်း ပြသထားသည်။ ဗိသုကာပိုင်းအရ ယေဘုယျအားဖြင့် task-agnostic ဖြစ်သော်လည်း ဤနည်းလမ်းသည် လုပ်ငန်းတာဝန်တိတိကျကျအတွက် ဥပမာထောင်ပေါင်းများစွာ သို့မဟုတ် သောင်းပေါင်းများစွာ ပါဝင်သော fine-tuning dataset များကို လိုအပ်နေဆဲဖြစ်သည်။ ထိုနှိုင်းယှဉ်ချက်အရ လူများသည် ယေဘုယျအားဖြင့် ဥပမာအနည်းငယ်သာ သို့မဟုတ် ရိုးရှင်းသော ညွှန်ကြားချက်များမှတစ်ဆင့် ဘာသာစကားဆိုင်ရာ လုပ်ငန်းတာဝန်အသစ်တစ်ခုကို ဆောင်ရွက်နိုင်ကြသော်လည်း ယခုခေတ် NLP စနစ်များအတွက်တော့ ထိုအရာမှာ အများအားဖြင့် ခက်ခဲနေဆဲဖြစ်သည်။ ဤနေရာတွင် ဘာသာစကား မော်ဒယ်များကို အရွယ်အစားကြီးမားအောင် ချဲ့ထွင်ခြင်းက task-agnostic ဖြစ်သော အခေါက်ရေနည်းနည်းဖြင့် ပြုလုပ်ခြင်း စွမ်းဆောင်ရည်ကို အလွန်တိုးတက်စေပြီး တစ်ခါတစ်ရံ ယခင် state-of-the-art fine-tuning နည်းလမ်းများနှင့်ပင် ယှဉ်ပြိုင်နိုင်သည့် အဆင့်အထိ ရောက်ရှိစေကြောင်း ပြသထားသည်။ အထူးသဖြင့် ကျွန်ုပ်တို့သည် parameter 175 billion ပါဝင်သော autoregressive ဘာသာစကား မော်ဒယ် GPT‑3 ကို လေ့ကျင့်ပေးထားပြီး ၎င်းသည် ယခင် non-sparse ဘာသာစကား မော်ဒယ်အားလုံးထက် 10 ဆ ပိုများကာ အခေါက်ရေနည်းနည်းဖြင့် ပြုလုပ်ခြင်း အခြေအနေတွင် ၎င်း၏ စွမ်းဆောင်ရည်ကို စမ်းသပ်ထားသည်။ လုပ်ငန်းတာဝန်အားလုံးအတွက် GPT‑3 ကို gradient update များ သို့မဟုတ် fine-tuning များ မလိုဘဲ အသုံးချထားပြီး လုပ်ငန်းတာဝန်များနှင့် အခေါက်ရေနည်းနည်းဖြင့် ပြုလုပ်ခြင်း သရုပ်ပြဥပမာများကို မော်ဒယ်နှင့် စာသားအခြေပြု အပြန်အလှန်ဆက်သွယ်မှုမှသာ သတ်မှတ်ထားသည်။ GPT‑3 သည် ဘာသာပြန်ခြင်း၊ အမေးအဖြေ၊ cloze task များအပါအဝင် NLP dataset များစွာတွင် ကောင်းမွန်သော စွမ်းဆောင်ရည် ရရှိထားသလို စကားလုံးများကို ပြန်စီခြင်း၊ စာကြောင်းတစ်ကြောင်းအတွင်း စကားလုံးအသစ်တစ်လုံးကို သုံးခြင်း သို့မဟုတ် ဂဏန်း ၃ လုံးပါ သင်္ချာတွက်ချက်မှု ပြုလုပ်ခြင်းကဲ့သို့ ချက်ချင်း ကျိုးကြောင်းသင့်လျော်စွာ စဉ််းစားပေးသော လုပ်ဆောင်မှု သို့မဟုတ် domain adaptation လိုအပ်သည့် လုပ်ငန်းတာဝန်အချို့တွင်လည်း စွမ်းဆောင်ရည်ပြသထားသည်။ တစ်ပြိုင်နက်တည်းမှာပင် GPT‑3 ၏ အခေါက်ရေနည်းနည်းဖြင့် ပြုလုပ်ခြင်း သင်ယူမှုက ခက်ခဲနေဆဲဖြစ်သော dataset အချို့နှင့် ကြီးမားသော web corpus များပေါ်တွင် လေ့ကျင့်ထားခြင်းနှင့် ဆက်နွယ်သော နည်းလမ်းပိုင်းဆိုင်ရာ ပြဿနာများကို GPT‑3 ရင်ဆိုင်နေရသည့် dataset အချို့ကိုလည်း ကျွန်ုပ်တို့ ခွဲခြားဖော်ထုတ်ထားသည်။ နောက်ဆုံးတွင် GPT‑3 သည် လူသားအကဲဖြတ်သူများအတွက် လူသားများရေးသားသော ဆောင်းပါးများနှင့် ခွဲခြားရန် ခက်ခဲသည့် သတင်းဆောင်းပါး နမူနာများကို ဖန်တီးနိုင်ကြောင်းကိုလည်း တွေ့ရှိခဲ့သည်။ ဤတွေ့ရှိချက်၏ ပိုမိုကျယ်ပြန့်သော လူမှုရေးဆိုင်ရာ သက်ရောက်မှုများနှင့် ယေဘုယျအားဖြင့် GPT‑3 ၏ သက်ရောက်မှုများကို ကျွန်ုပ်တို့ ဆွေးနွေးထားသည်။
