ဘာကြောင့် language model များက hallucinate ဖြစ်သလဲ

OpenAI တွင် ကျွန်ုပ်တို့သည် AI စနစ်များကို ပိုမိုအသုံးဝင်ပြီး ယုံကြည်စိတ်ချရစေရန် အားသွန်ခွန်စိုက် လုပ်ဆောင်နေပါသည်။ language model များ၏ စွမ်းရည်များ ပိုမိုမြင့်မားလာသော်လည်း အပြည့်အဝ ဖြေရှင်းရန် အလွန်ခက်ခဲနေဆဲ စိန်ခေါ်မှုတစ်ရပ် ရှိနေပါသည် — hallucination များ ဖြစ်ပါသည်။ ယင်းအားဖြင့် မော်ဒယ်တစ်ခုက မမှန်ကန်သော အဖြေကို ယုံကြည်ချက်ပြည့်ဝစွာ ထုတ်ပေးသော အခြေအနေများကို ဆိုလိုပါသည်။ ကျွန်ုပ်တို့၏ သုတေသနစာတမ်းအသစ်⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်) တွင် language model များ hallucinate ဖြစ်ရခြင်းမှာ ပုံမှန် training နှင့် evaluation လုပ်ငန်းစဉ်များက မသေချာမှုကို ဝန်ခံခြင်းထက် မှန်းဆခြင်းကို ပိုမိုဆုချီးမြှင့်နေသောကြောင့်ဟု တင်ပြထားပါသည်။

ChatGPT သည်လည်း hallucinate ဖြစ်တတ်ပါသည်။ GPT‑5 တွင် hallucination များ သိသိသာသာ လျော့နည်းလာခဲ့ပြီး အထူးသဖြင့် ကျိုးကြောင်းသင့်လျော်စွာ စဉ််းစားပေးသော အခါ⁠ ပိုကောင်းလာသော်လည်း ယင်းများသည် ဖြစ်ပွားနေဆဲဖြစ်ပါသည်။ Hallucination များသည် large language model အားလုံးအတွက် အခြေခံကျသော စိန်ခေါ်မှုတစ်ရပ်အဖြစ် ကျန်ရှိနေဆဲဖြစ်သော်လည်း ကျွန်ုပ်တို့သည် ယင်းများကို ထပ်မံလျှော့ချနိုင်ရန် အားသွန်ခွန်စိုက် လုပ်ဆောင်နေပါသည်။

Hallucination များသည် language model များက ထုတ်ပေးသော ယုံလွယ်စရာကောင်းသော်လည်း မမှန်သော ဖော်ပြချက်များဖြစ်ပါသည်။ မေးခွန်းများသည် ရိုးရိုးရှင်းရှင်း ဖြစ်သကဲ့သို့ ထင်ရသော်လည်း မထင်မှတ်သော ပုံစံများဖြင့်ပင် ယင်းတို့ ပေါ်လာနိုင်ပါသည်။ ဥပမာအားဖြင့် ကျွန်ုပ်တို့က လူသုံးများသော chatbot တစ်ခုကို Adam Tauman Kalai (ဤစာတမ်း၏ စာရေးသူတစ်ဦး) ၏ PhD dissertation ခေါင်းစဉ်ကို မေးမြန်းသောအခါ ၎င်းသည် ယုံကြည်ချက်ပြည့်ဝစွာ မတူညီသော အဖြေသုံးခုကို ထုတ်ပေးခဲ့ပြီး ၎င်းတို့အနက် တစ်ခုမျှ မမှန်ပါ။ သူ၏ မွေးနေ့ကို မေးသောအခါတွင်လည်း မတူညီသော ရက်စွဲသုံးခုကို ပေးခဲ့ပြီး ထိုအားလုံးလည်း မှားယွင်းနေပါသည်။

Hallucination များ ဆက်လက်တည်ရှိနေခြင်း၏ တစ်စိတ်တစ်ပိုင်းအကြောင်းရင်းမှာ လက်ရှိ evaluation နည်းလမ်းများက မမှန်ကန်သော လှုံ့ဆော်မှုများကို သတ်မှတ်ပေးနေခြင်းကြောင့်ဖြစ်ပါသည်။ Evaluation များသည် ကိုယ်တိုင်အားဖြင့် hallucination များကို တိုက်ရိုက် မဖြစ်စေသော်လည်း evaluation အများစုသည် မော်ဒယ်စွမ်းဆောင်ရည်ကို မသေချာမှုအပေါ် ရိုးသားစွာ ဝန်ခံခြင်းထက် မှန်းဆခြင်းကို အားပေးသည့် ပုံစံဖြင့် တိုင်းတာကြပါသည်။

ဒါကို multiple-choice စာမေးပွဲတစ်ခုလို စဉ်းစားကြည့်ပါ။ အဖြေကို မသိပေမယ့် ကံစမ်းပြီး မှန်းဖြေလိုက်ပါက ကံကောင်းရင် မှန်နိုင်ပါသည်။ အလွတ်ထားလိုက်ပါကတော့ အမှတ် သုည ရမည်မှာ သေချာပါသည်။ အလားတူပင် မော်ဒယ်များကို accuracy တစ်ခုတည်း—မေးခွန်းများထဲမှ တိတိကျကျ မှန်ကန်စွာ ဖြေဆိုနိုင်သည့် ရာခိုင်နှုန်း—အပေါ်သာ အမှတ်ပေးလျှင် “ကျွန်တော် မသိပါ” ဟု ပြောခြင်းထက် မှန်းဆရန် အားပေးခံရပါသည်။

နောက်ဥပမာတစ်ခုအဖြစ် language model တစ်ခုကို လူတစ်ဦး၏ မွေးနေ့ကို မေးထားသော်လည်း ၎င်းမသိဟု ယူဆကြပါစို့။ ၎င်းက “စက်တင်ဘာ ၁၀” ဟု မှန်းလိုက်ပါက 365 ပုံ 1 ပုံ အခွင့်အရေးဖြင့် မှန်နိုင်ပါသည်။ “မသိပါ” ဟု ပြောလိုက်လျှင်တော့ အမှတ် သုည ရမည်မှာ သေချာပါသည်။ စမ်းသပ်မေးခွန်း ထောင်ပေါင်းများစွာအတွင်း မသေချာမှုကို ဝန်ခံသော သတိထားသည့် မော်ဒယ်ထက် မသေချာသည့်အခါ မှန်းသော မော်ဒယ်က scoreboard များတွင် ပိုကောင်းသကဲ့သို့ ပေါ်ထွက်လာတတ်ပါသည်။

“အဖြေမှန်” တစ်ခုတည်းသာ ရှိသော မေးခွန်းများအတွက် တုံ့ပြန်မှု အမျိုးအစား သုံးမျိုးကို စဉ်းစားနိုင်ပါသည် — မှန်ကန်သော တုံ့ပြန်မှုများ၊ အမှားများ နှင့် မော်ဒယ်က မမှန်းဆဘဲ နေသည့် abstention များ ဖြစ်ပါသည်။ Abstaining သည် နှိမ့်ချမှု ၏ အစိတ်အပိုင်းတစ်ခုဖြစ်ပြီး ၎င်းသည် OpenAI ၏ အဓိကတန်ဖိုးများ⁠ ထဲမှ တစ်ခုဖြစ်ပါသည်။ Scoreboard အများစုသည် မော်ဒယ်များကို accuracy အပေါ် အခြေခံ၍ ဦးစားပေးပြီး အဆင့်သတ်မှတ်ကြသော်လည်း အမှားများသည် abstention များထက် ပိုဆိုးပါသည်။ ကျွန်ုပ်တို့၏ မော်ဒယ် သတ်မှတ်ချက်⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်) တွင် မှားနိုင်သော အချက်အလက်ကို ယုံကြည်ချက်ပြည့်ဝစွာ ပေးမည့်အစား မသေချာမှုကို ဖော်ပြခြင်း သို့မဟုတ် ရှင်းလင်းချက်တောင်းခံခြင်းက ပိုကောင်းသည်ဟု ဖော်ပြထားပါသည်။

တိကျသော ဥပမာတစ်ခုအနေနှင့် SimpleQA eval ကို GPT5 စနစ်ကဒ်⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်) မှ ဥပမာတစ်ခုအဖြစ် စဉ်းစားကြည့်ပါ။

Accuracy အရဆိုလျှင် OpenAI o4-mini မော်ဒယ်အဟောင်းက အနည်းငယ် ပိုကောင်းစွာ လုပ်ဆောင်ပါသည်။ သို့သော် ၎င်း၏ error rate (hallucination ဖြစ်နှုန်း) သည် သိသိသာသာ ပိုမြင့်ပါသည်။ မသေချာသည့်အချိန်တွင် မဟာဗျူဟာကျကျ မှန်းဆခြင်းက accuracy ကို တိုးတက်စေသော်လည်း အမှားများနှင့် hallucination များကို တိုးစေပါသည်။

Evaluation ဒါဇင်များစွာတစ်လျှောက် ရလဒ်များကို ပျမ်းမျှတွက်သောအခါ benchmark အများစုသည် accuracy metric ကိုသာ ထုတ်ယူကြသော်လည်း ထိုသို့လုပ်ခြင်းက မှန်/မှား ဟူသော မှားယွင်းသည့် နှစ်ပိုင်းကွဲ ချဉ်းကပ်မှုတစ်ရပ်ကို ဖြစ်ပေါ်စေပါသည်။ SimpleQA ကဲ့သို့ ရိုးရှင်းသော eval များတွင် မော်ဒယ်အချို့က 100% နီးပါး accuracy ရရှိပြီး hallucination များကို ဖယ်ရှားသကဲ့သို့ ဖြစ်နိုင်ပါသည်။ သို့သော် ပိုမိုစိန်ခေါ်မှုများသော evaluation များနှင့် လက်တွေ့အသုံးပြုမှုတွင် အချက်အလက်မရရှိနိုင်ခြင်း၊ မော်ဒယ်သေးများ၏ စဉ်းစားနိုင်စွမ်းကန့်သတ်ချက်များ၊ သို့မဟုတ် ရှင်းလင်းရန် လိုအပ်သော မရှင်းလင်းမှုများ စသည့် အကြောင်းရင်းမျိုးစုံကြောင့် အချို့မေးခွန်းများ၏ အဖြေကို မဆုံးဖြတ်နိုင်သဖြင့် accuracy သည် 100% အောက်တွင်ပင် ကန့်သတ်နေပါသည်။

သို့သော်လည်း accuracy တစ်ခုတည်းကိုသာ အခြေခံသော scoreboard များသည် leaderboard များနှင့် model card များတွင် အဓိကနေရာယူနေဆဲဖြစ်ပြီး developer များကို ထိန်းထားမည့်အစား မှန်းဆသော မော်ဒယ်များ တည်ဆောက်ရန် လှုံ့ဆော်နေပါသည်။ ထိုအရာသည် မော်ဒယ်များ ပိုမိုခေတ်မီလာသော်လည်း မသေချာမှုကို ဝန်မခံဘဲ မှားယွင်းသော အဖြေများကို ယုံကြည်ချက်ပြည့်ဝစွာ ပေးရင်း hallucinate ဖြစ်နေဆဲ ဖြစ်ရသည့် အကြောင်းရင်းတစ်ခုဖြစ်ပါသည်။

ရိုးရှင်းသော ဖြေရှင်းနည်းတစ်ခု ရှိပါသည်။ မသေချာမှုကို အပြစ်ပေးသလောက်ထက် ယုံကြည်ချက်ပြည့်ဝသော အမှားများကို ပိုမို ပြင်းထန်စွာ အပြစ်ပေးပါ၊ ထို့ပြင် သင့်လျော်သော မသေချာမှု ဖော်ပြချက်များအတွက် တစ်စိတ်တစ်ပိုင်း အမှတ်ပေးပါ။ ဤအယူအဆသည် အသစ်မဟုတ်ပါ။ စံသတ်မှတ်ထားသော စာမေးပွဲအချို့တွင် မျက်စိကန်းမှန်းဆမှုကို တားဆီးရန် မှားသောအဖြေများအတွက် negative marking သို့မဟုတ် မေးခွန်းများကို အလွတ်ထားခြင်းအတွက် partial credit ပေးသည့် နည်းလမ်းမျိုးများကို ကြာမြင့်စွာကတည်းက အသုံးပြုခဲ့ကြပါသည်။ သုတေသနအဖွဲ့များစွာကလည်း မသေချာမှုနှင့် calibration ကို ထည့်သွင်းစဉ်းစားသော evaluation များကို လေ့လာခဲ့ကြပါသည်။

ကျွန်ုပ်တို့ ပြောလိုသည်မှာ ကွဲပြားပါသည်။ ဘေးဖက်တွင် မသေချာမှုကို သတိပြုသည့် စမ်းသပ်မှုအသစ် အနည်းငယ် ထည့်ခြင်းသာဖြင့် မလုံလောက်ပါ။ လူသုံးများသော accuracy အခြေပြု eval များသည် မှန်းဆမှုကို လျော့ပါးစေရန် scoring ကို အပ်ဒိတ်လုပ်ရန် လိုအပ်ပါသည်။ အဓိက scoreboard များက ကံကောင်းမှန်းဆမှုကို ဆက်လက် ဆုချီးမြှင့်နေသရွေ့ မော်ဒယ်များကလည်း ဆက်လက် မှန်းဆသင်ယူနေမည်ဖြစ်သည်။ Scoreboard များကို ပြင်ဆင်ခြင်းက hallucination လျှော့ချရေး နည်းလမ်းများ—အသစ်တီထွင်ထားသော နည်းလမ်းများသာမက ယခင်သုတေသနမှ နည်းလမ်းများကိုပါ—ပိုမိုကျယ်ပြန့်စွာ လက်ခံအသုံးပြုလာစေနိုင်ပါသည်။

Hallucination များကို ဖယ်ရှားရန် ဘာကြောင့် ဒီလောက်ခက်ခဲသည်ကို ကျွန်ုပ်တို့ ဆွေးနွေးခဲ့ပြီးဖြစ်သော်လည်း ဤမျှ အလွန်တိကျသည့် အချက်အလက်အမှားများသည် အစက ဘယ်ကနေ လာသနည်း။ အားလုံးသိသည့်အတိုင်း pretrained large model များတွင် စာလုံးပေါင်းမှားခြင်း သို့မဟုတ် ကွင်းစကာ မကိုက်ညီခြင်းကဲ့သို့သော အခြားအမှားမျိုးများကို မကြာခဏ မတွေ့ရပါ။ ကွာခြားချက်မှာ ဒေတာအတွင်း ရှိနေသော pattern အမျိုးအစားများနှင့် ဆက်စပ်နေပါသည်။

Language model များသည် အလွန်များပြားသော စာသားများတွင် နောက်လာမည့် စကားလုံးကို ခန့်မှန်းရသော pretraining လုပ်ငန်းစဉ်မှတစ်ဆင့် ပထမဆုံး သင်ယူကြပါသည်။ ရိုးရာ machine learning ပြဿနာများနှင့် မတူဘဲ ဖော်ပြချက်တစ်ခုချင်းစီတွင် “မှန်/မမှန်” ဟူသော label များ မကပ်ထားပါ။ မော်ဒယ်သည် သဘာဝကျသော ဘာသာစကား၏ positive example များကိုသာ တွေ့ရပြီး အလုံးစုံ distribution ကို အနီးစပ်ဆုံး ခန့်မှန်းရပါသည်။

Invalid ဟု label တပ်ထားသော ဥပမာ တစ်ခုမျှ မရှိသောအခါ မှန်ကန်သော ဖော်ပြချက်များနှင့် မမှန်ကန်သော ဖော်ပြချက်များကို ခွဲခြားရန် နှစ်ဆပိုခက်ခဲပါသည်။ သို့သော် label များ ရှိနေသော်လည်း အမှားအယွင်း အချို့က ရှောင်လွှဲမရပါ။ ဘာကြောင့်လဲဆိုတာ သိရန် ပိုရိုးရှင်းသည့် ဥပမာတစ်ခုကို စဉ်းစားကြည့်ပါ။ ပုံရိပ်ခွဲခြားသတ်မှတ်ခြင်းတွင် ကြောင်နှင့် ခွေး ဓာတ်ပုံ သန်းပေါင်းများစွာကို “cat” သို့မဟုတ် “dog” ဟု label တပ်ထားပါက algorithm များသည် ယင်းတို့ကို ယုံကြည်စိတ်ချရစွာ ခွဲခြားသတ်မှတ်နိုင်ရန် သင်ယူနိုင်ပါသည်။ သို့သော် အိမ်မွေးတိရစ္ဆာန် ဓာတ်ပုံတစ်ပုံချင်းစီကို ထိုတိရစ္ဆာန်၏ မွေးနေ့ဖြင့် label တပ်မည်ဟု စိတ်ကူးကြည့်ပါ။ မွေးနေ့များသည် အခြေခံအားဖြင့် ကျပန်းဖြစ်သောကြောင့် algorithm ဘယ်လောက်ပင် အဆင့်မြင့်လာစေကာမူ ဤတာဝန်မှာ အမြဲ အမှားများကို ဖြစ်ပေါ်စေမည်ဖြစ်ပါသည်။

အလားတူမူ principle သည် pretraining တွင်လည်း အသုံးချနိုင်ပါသည်။ စာလုံးပေါင်းနှင့် ကွင်းစကာများတွင် တည်ငြိမ်သော pattern များ ရှိသဖြင့် scale ကြီးလာသည်နှင့် အမှားများ ပျောက်ကွယ်သွားပါသည်။ သို့သော် အိမ်မွေးတိရစ္ဆာန်၏ မွေးနေ့ကဲ့သို့ ကျပန်းဖြစ်ပြီး တွေ့ရနည်းသော fact များကို pattern များတစ်ခုတည်းမှ ခန့်မှန်း၍ မရနိုင်သဖြင့် hallucination များကို ဖြစ်စေပါသည်။ ကျွန်ုပ်တို့၏ analysis သည် နောက်စကားလုံး ခန့်မှန်းခြင်းမှ ဘယ်လို hallucination အမျိုးအစားများ ပေါ်ထွက်သင့်သည်ကို ရှင်းပြပါသည်။ အကောင်းဆုံးအားဖြင့် pretraining ပြီးနောက် နောက်ထပ် အဆင့်များက ယင်းတို့ကို ဖယ်ရှားသင့်သော်လည်း ယခင်အပိုင်းတွင် ဖော်ပြထားသော အကြောင်းရင်းများကြောင့် အပြည့်အဝ မအောင်မြင်သေးပါ။

ကျွန်ုပ်တို့၏ စာတမ်းထဲရှိ စာရင်းအင်းဆိုင်ရာ မြင်ကွင်းက hallucination များ၏ သဘာဝကို ပိုမိုရှင်းလင်းစေပြီး အများတွေ့နေကျ အယူမှားများကို ပြန်လည်တုံ့ပြန်နိုင်မည်ဟု မျှော်လင့်ပါသည် —

• ဆိုချက်: Accuracy ကို မြှင့်တင်လိုက်ခြင်းဖြင့် hallucination များ ပျောက်ကွယ်သွားမည်၊ အဘယ့်ကြောင့်ဆိုသော် 100% accurate မော်ဒယ်တစ်ခုသည် hallucinate မဖြစ်သောကြောင့်ဖြစ်သည်။
  တွေ့ရှိချက်: မော်ဒယ်အရွယ်အစား၊ search နှင့် ကျိုးကြောင်းသင့်လျော်စွာ စဉ််းစားပေးသော စွမ်းရည် မည်သို့ပင် ဖြစ်စေကာမူ လက်တွေ့ကမ္ဘာရှိ မေးခွန်းအချို့မှာ မူလကပင် အဖြေမရနိုင်သောကြောင့် Accuracy သည် 100% သို့ ဘယ်တော့မှ မရောက်နိုင်ပါ။
• ဆိုချက်: Hallucination များသည် ရှောင်လွှဲမရနိုင်ပါ။
  တွေ့ရှိချက်: ထိုသို့ မဟုတ်ပါ၊ အကြောင်းမှာ language model များသည် မသေချာသောအခါ abstain လုပ်နိုင်သောကြောင့်ဖြစ်ပါသည်။
• ဆိုချက်: Hallucination များကို ရှောင်ရှားရန် ပိုကြီးမားသော မော်ဒယ်များဖြင့်သာ ရနိုင်သော ဉာဏ်ရည်အဆင့်တစ်ခု လိုအပ်သည်။
  တွေ့ရှိချက်: မော်ဒယ်သေးတစ်ခုအတွက် မိမိကန့်သတ်ချက်များကို သိရှိခြင်းသည် ပိုလွယ် နိုင်ပါသည်။ ဥပမာ Māori ဘာသာမေးခွန်းတစ်ခုကို ဖြေရန် မေးသောအခါ Māori ကို လုံးဝမသိသော မော်ဒယ်သေးတစ်ခုက “မသိပါ” ဟု ရိုးရိုးပြောနိုင်သော်လည်း Māori အချို့ကို သိသော မော်ဒယ်တစ်ခုကတော့ မိမိ၏ ယုံကြည်မှုအဆင့်ကို သတ်မှတ်ရမည်ဖြစ်ပါသည်။ စာတမ်းတွင် ဆွေးနွေးထားသကဲ့သို့ “calibrated” ဖြစ်ရန်သည် accurate ဖြစ်ရန်ထက် တွက်ချက်မှု အလွန်နည်းပါးစွာသာ လိုအပ်ပါသည်။
• ဆိုချက်: Hallucination များသည် ခေတ်သစ် language model များအတွင်းရှိ နားမလည်နိုင်သော glitch တစ်ခုဖြစ်သည်။
  တွေ့ရှိချက်: Hallucination များ မည်သို့ ပေါ်လာပြီး evaluation များတွင် မည်သို့ ဆုချီးမြှင့်ခံရသည်ကို ဖော်ပြသော စာရင်းအင်းဆိုင်ရာ လုပ်ငန်းစဉ်များကို ကျွန်ုပ်တို့ နားလည်ထားပြီးဖြစ်ပါသည်။
• ဆိုချက်: Hallucination များကို တိုင်းတာရန် hallucination eval ကောင်းကောင်းတစ်ခုသာ လိုအပ်သည်။
  တွေ့ရှိချက်: Hallucination eval များကို ထုတ်ဝေထားပြီးဖြစ်ပါသည်။ သို့သော် နှိမ့်ချမှုကို အပြစ်ပေးပြီး မှန်းဆမှုကို ဆုချီးမြှင့်သော ရိုးရာ accuracy အခြေပြု eval ရာပေါင်းများစွာရှေ့တွင် hallucination eval ကောင်းတစ်ခု၏ သက်ရောက်မှုမှာ အနည်းငယ်သာ ရှိပါသည်။ ထို့အစား အဓိက eval metric များအားလုံးကို မသေချာမှု ဖော်ပြချက်များကို ဆုချီးမြှင့်နိုင်ရန် ပြန်လည်ပြုပြင်ရန် လိုအပ်ပါသည်။

ကျွန်ုပ်တို့၏ နောက်ဆုံးထွက် မော်ဒယ်များတွင် hallucination rate များ ပိုမိုနိမ့်လာခဲ့ပြီး language model များက ထုတ်ပေးသော ယုံကြည်ချက်ပြည့်ဝသည့် အမှားနှုန်းများကို ထပ်မံလျှော့ချနိုင်ရန် ကျွန်ုပ်တို့ ဆက်လက် ကြိုးပမ်းလျက်ရှိပါသည်။