မော်ဒယ်များကို ၎င်းတို့၏ မသေချာမှုကို စကားလုံးများဖြင့် ဖော်ပြတတ်အောင် သင်ကြားခြင်း

GPT‑3 မော်ဒယ်တစ်ခုသည် model logits ကို အသုံးမပြုဘဲ မိမိ၏ အဖြေများအပေါ်ရှိ မသေချာမှုကို သဘာဝဘာသာစကားဖြင့် ဖော်ပြတတ်ရန် သင်ယူနိုင်ကြောင်း ကျွန်ုပ်တို့ ပြသထားပါသည်။ မေးခွန်းတစ်ခု ပေးလိုက်သောအခါ မော်ဒယ်သည် အဖြေတစ်ခုနှင့် ယုံကြည်မှုအဆင့်တစ်ခုကိုပါ (ဥပမာ၊ “90% confidence” သို့မဟုတ် “high confidence”) ထုတ်ပေးပါသည်။ ဤအဆင့်များသည် ကောင်းမွန်စွာ calibration လုပ်ထားသော probability များနှင့် ကိုက်ညီပါသည်။ မော်ဒယ်သည် distribution shift အောက်တွင်လည်း အတော်အသင့် calibration မှန်ကန်မှုကို ထိန်းထားနိုင်ပြီး၊ လူ၏ ဥပမာများကို တုပခြင်းထက် မိမိ၏ အဖြေများအပေါ်ရှိ မသေချာမှုကို အာရုံခံနိုင်ပါသည်။ ကျွန်ုပ်တို့ သိသလောက်တော့၊ မော်ဒယ်တစ်ခုက မိမိ၏ အဖြေများအပေါ်ရှိ calibration လုပ်ထားသော မသေချာမှုကို သဘာဝဘာသာစကားဖြင့် ဖော်ပြနိုင်ကြောင်း ပြသထားခြင်းမှာ ဤသည် ပထမဆုံးဖြစ်ပါသည်။ calibration ကို စမ်းသပ်ရန်အတွက် ကျွန်ုပ်တို့သည် CalibratedMath task အစုကို မိတ်ဆက်ပေးထားပါသည်။ စကားလုံးများဖြင့် ဖော်ပြထားသော မသေချာမှု (“verbalized probability”) ၏ calibration ကို model logits မှ ထုတ်ယူထားသော မသေချာမှုနှင့် နှိုင်းယှဉ်ထားပါသည်။ မသေချာမှု အမျိုးအစားနှစ်မျိုးလုံးသည် distribution shift အောက်တွင် calibration ကို ယေဘုယျအသုံးချနိုင်စွမ်း ရှိပါသည်။ ထို့ပြင် GPT‑3 ၏ calibration ကို ယေဘုယျအသုံးချနိုင်စွမ်းသည် ၎င်း၏ အဖြေများအပေါ်ရှိ epistemic uncertainty နှင့် ဆက်နွယ်သော pre-trained latent representations များအပေါ် မူတည်ကြောင်းကိုလည်း သက်သေပြထားပါသည်။