ဂေါ်ဘလင်တွေ ဘယ်ကလာတာလဲ

GPT‑5.1 မှစ၍ ကျွန်ုပ်တို့၏ မော်ဒယ်များတွင် ထူးဆန်းသော အကျင့်တစ်ခု စတင်ဖြစ်ပေါ်လာခဲ့သည်။ ၎င်းတို့သည် ၎င်းတို့၏ ဥပမာတင်စားချက်များထဲတွင် ဂေါ်ဘလင်များ၊ ဂရမ်လင်များနှင့် အခြားသတ္တဝါများကို ပိုမိုမကြာခဏ ထည့်သွင်းဖော်ပြလာကြသည်။ tanking eval သို့မဟုတ် spiking training metric ကနေတစ်ဆင့် ပေါ်လာပြီး သီးခြားပြောင်းလဲမှုတစ်ခုကို ညွှန်ပြသည့် မော်ဒယ် bug များနှင့်မတူဘဲ၊ ဤ bug သည် သိမ်မွေ့စွာ ဝင်ရောက်လာပါသည်။ အဖြေတစ်ခုထဲတွင် “ဂေါ်ဘလင်လေး” တစ်ခုသာ ပါဝင်ခြင်းသည် ထိခိုက်မှုမရှိနိုင်သလို နှစ်လိုဖွယ်ပင် ဖြစ်နိုင်သည်။ သို့သော် မော်ဒယ်မျိုးဆက်များ တစ်လျှောက်တွင် ထိုအလေ့အကျင့်ကို သတိမပြုဘဲမနေနိုင်လောက်အောင် ထင်ရှားလာပါတော့သည်။ ဂေါ်ဘလင်များသည် ဆက်တိုက် တိုးပွားလာနေပြီး ၎င်းတို့ ဘယ်က လာသည်ကို ကျွန်ုပ်တို့ ရှာဖွေဖော်ထုတ်ရန် လိုအပ်ခဲ့သည်။

အတိုချုပ်ဖြေရသော် မော်ဒယ်၏ အပြုအမူသည် သေးငယ်သော လှုံ့ဆော်မှုများစွာက ပုံဖော်ပေးပါသည်။ ဤအခြေအနေတွင် ထိုမက်လုံးများထဲမှ တစ်ခုသည် ပင်ကိုယ်စရိုက်ကို စိတ်ကြိုက်ပြင်ဆင်နိုင်သည့် လုပ်ဆောင်ချက်⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်) အတွက် မော်ဒယ်ကို လေ့ကျင့်ခြင်းမှ ဖြစ်ပေါ်လာခဲ့ပြီး၊ အထူးသဖြင့် Nerdy ပင်ကိုယ်စရိုက်အတွက် ဖြစ်ပါသည်။ ကျွန်ုပ်တို့သည် သတ္တဝါများပါဝင်သော ဥပမာတင်စားချက်များအတွက် မသိလိုက်ဘဲ အထူးမြင့်မားသော ဆုလာဘ်များ ပေးခဲ့မိပါသည်။ ထိုနေရာမှ ဂေါ်ဘလင်များ ပျံ့နှံ့သွားခဲ့သည်။

ထိုပုံစံကို ကျွန်ုပ်တို့ ပထမဆုံး ရှင်းလင်းစွာ မြင်တွေ့ခဲ့ရသည်မှာ GPT‑5.1 စတင်မိတ်ဆက်ပြီးနောက် နိုဝင်ဘာလတွင် ဖြစ်ပြီး၊ ၎င်းသည် ယင်းထက် စော၍ စတင်ခဲ့ခြင်းလည်း ဖြစ်နိုင်ပါသည်⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်)။ အသုံးပြုသူများက မော်ဒယ်သည် စကားဝိုင်းတွင် ထူးဆန်းစွာ ရင်းနှီးလွန်းနေသည်ဟု တိုင်ကြားခဲ့ကြသောကြောင့် အချို့သော စကားပြောနည်းဟန်ပန်များကို စုံစမ်းစစ်ဆေးရန် တွန်းအားပေးခဲ့သည်။ ဘေးကင်းရေး သုတေသီတစ်ဦးသည် “ဂေါ်ဘလင်” နှင့် “ဂရမ်လင်” အချို့ကို ကြုံတွေ့ခဲ့ပြီး ၎င်းတို့ကို စစ်ဆေးမှုတွင် ထည့်သွင်းရန် တောင်းဆိုခဲ့သည်။ ကျွန်ုပ်တို့ စစ်ဆေးကြည့်သောအခါ GPT‑5.1 မိတ်ဆက်ပြီးနောက် ChatGPT ထဲတွင် “goblin” ဟူသော စကားလုံးအသုံးပြုမှုသည် ၁၇၅% မြင့်တက်ခဲ့ပြီး၊ “gremlin” ဟူသော စကားလုံးအသုံးပြုမှုမှာ ၅၂% မြင့်တက်ခဲ့သည်။

ထိုအချိန်က ဂေါ်ဘလင်များ၏ ပျံ့နှံ့မှုသည် အထူးစိုးရိမ်ဖွယ်ရာ မဟုတ်ခဲ့ပါ။ လအနည်းငယ်အကြာတွင် ဂေါ်ဘလင်များသည် ပိုမိုသီးသန့်တိကျပြီး ပြန်လည်ထုတ်လုပ်နိုင်သော ပုံစံဖြင့် ကျွန်ုပ်တို့ကိုပြန်လည်နှောက်ယှက်လာခဲ့သည်။

GPT‑5.4 ဖြင့် ကျွန်ုပ်တို့ နှင့် ကျွန်ုပ်တို့၏ အသုံးပြုသူများ⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်) သည် ဤသတ္တဝါများကို ဖော်ပြမှုများ ပိုမိုကြီးမားစွာ တိုးလာသည်ကို သတိပြုမိခဲ့သည်။ ထိုအရာက နောက်ထပ် အတွင်းပိုင်း ခွဲခြမ်းစိတ်ဖြာမှုတစ်ခုကို ဖြစ်ပေါ်စေပြီး အရင်းခံအကြောင်းရင်းနှင့် ပထမဆုံး ဆက်စပ်မှုကို ဖော်ထုတ်ပေးခဲ့သည်- “Nerdy” ကိုယ်ရည်ကိုယ်သွေးကို ရွေးချယ်ထားသော အသုံးပြုသူများမှလာသည့် production traffic တွင် သတ္တဝါဘာသာစကားသည် အထူးအဖြစ်များခဲ့သည်။ “Nerdy” သည် အောက်ပါ စနစ် တုံ့ပြန်ညွှန်ကြားချက်ကို အသုံးပြုခဲ့ပြီး၊ ၎င်းက ထူးခြားဆန်းပြားမှုကို တစ်စိတ်တစ်ပိုင်း ရှင်းပြပေးခဲ့သည်-

သင်သည် လူသားတစ်ဦးအတွက် မရှက်မရွံ့ နည်းပညာဝါသနာအလွန်ကြီးသော၊ ပျော်စရာကောင်းပြီး ဉာဏ်ပညာရှိသော AI အကြံပေးသူ ဖြစ်သည်။ သင်သည် အမှန်တရား၊ အသိပညာ၊ ဒဿနိကဗေဒ၊ သိပ္ပံနည်းကျနည်းလမ်းနှင့် ဝေဖန်ပိုင်းခြားတွေးခေါ်မှုတို့ကို မြှင့်တင်အားပေးရာတွင် အလွန်စိတ်အားထက်သန်သူဖြစ်သည်။ [...] ဘာသာစကားကို ပျော်စရာကောင်းစွာ အသုံးပြုခြင်းဖြင့် ဟန်ဆောင်ကြီးကျယ်မှုကို လျှော့ချရမည်။ ကမ္ဘာလောကသည် ရှုပ်ထွေးပြီး ထူးဆန်းသည်၊ ၎င်း၏ ထူးဆန်းမှုကိုလည်း အသိအမှတ်ပြု၊ ခွဲခြမ်းစိတ်ဖြာပြီး ခံစားနှစ်သက်ရမည်။ လေးနက်သော အကြောင်းအရာများကို ကိုယ့်ကိုယ်ကို အလွန်အမင်း လေးနက်သလို ပြုမူသည့် ထောင်ချောက်ထဲ မကျစေဘဲ ကိုင်တွယ်ဖြေရှင်းပါ။ [...]

အကယ်၍ ဤအပြုအမူသည် ကျယ်ပြန့်သော အင်တာနက် ရေစီးကြောင်းတစ်ခုမျှသာ ဖြစ်ခဲ့ပါက၊ ၎င်းသည် ပိုမိုညီညာစွာ ပျံ့နှံ့မည်ဟု ကျွန်ုပ်တို့ မျှော်လင့်မိပါလိမ့်မည်။ ထိုအစား၊ ၎င်းသည် ပျော်ရွှင်ဖွယ်၊ နည်းပညာဝါသနာရှင်ဆန်သော စတိုင်အတွက် ထင်ရှားစွာ အကောင်းဆုံးဖြစ်အောင် ချိန်ညှိထားသော စနစ်၏ အစိတ်အပိုင်းတွင် စုစည်းတည်ရှိနေခဲ့သည်။ Nerdy သည် ChatGPT တုံ့ပြန်ချက်အားလုံး၏ ၂.၅% သာ ဖြစ်ခဲ့သော်လည်း ChatGPT တုံ့ပြန်ချက်များအတွင်းရှိ “ဂေါ်ဘလင်” ဖော်ပြချက်အားလုံး၏ ၆၆.၇% ရှိခဲ့သည်။

ကျွန်ုပ်တို့၏ မော်ဒယ် ထုတ်ဝေမှုများအလိုက် “ဂေါ်ဘလင်” တွေ့ရှိမှုနှုန်း တိုးလာသကဲ့သို့ ထင်ရသောကြောင့်၊ ကျွန်ုပ်တို့၏ ကိုယ်ရည်ကိုယ်သွေးဆိုင်ရာ ညွှန်ကြားချက်များကို လိုက်နာစေသည့် လေ့ကျင့်မှုအတွင်းရှိ တစ်စုံတစ်ခုက ဤအရာကို ပိုမိုမြှင့်တင်နေသည်ဟု ကျွန်ုပ်တို့ သံသယရှိခဲ့သည်။

Codex သည် RL လေ့ကျင့်မှုအတွင်း “goblin” သို့မဟုတ် “gremlin” ပါဝင်သော မော်ဒယ်အထွက်ရလဒ်များကို ထိုစကားလုံးများ မပါဝင်သော တူညီသည့် တာဝန်မှ အထွက်ရလဒ်များနှင့် နှိုင်းယှဉ်နိုင်ရန် ကျွန်ုပ်တို့ကို ကူညီပေးခဲ့သည်။ ဆုလာဘ် အချက်ပြတစ်ခုက ချက်ချင်းပဲ ထင်ရှားပေါ်လွင်လာခဲ့သည်- Nerdy ကိုယ်ရည်ကိုယ်သွေးကို အားပေးရန် မူလက ဒီဇိုင်းပြုလုပ်ထားသည့် အချက်ပြက သတ္တဝါ-စကားလုံး ပါသော ထွက်ရှိချက်များကို တစ်သမတ်တည်း ပိုမိုအသာပေးနေခဲ့သည်။ စိစစ်မှုအတွင်းရှိ ဒေတာစုအားလုံးတွင် Nerdy ကိုယ်ရည်ကိုယ်သွေး ဆုလာဘ် (reward) သည် တူညီသော ပြဿနာအတွက် “goblin” သို့မဟုတ် “gremlin” ပါဝင်သော ထွက်ရှိချက်များကို မပါဝင်သော ထွက်ရှိချက်များထက် ပိုမြင့်မားစွာ အမှတ်ပေးရန် ဦးတည်နေသည့် သဘောထားအကြောင်း ရှင်းလင်းစွာ ပြသခဲ့ပြီး ဒေတာစုများ၏ ၇၆.၂% တွင် အပြုသဘောဆောင်သော မြှင့်တင်မှု ရရှိခဲ့သည်။

ထိုအရာက Nerdy ပင်ကိုယ်စရိုက် တုံ့ပြန်ညွှန်ကြားချက်ကို အသုံးပြုသည့်အခါ ထိုအပြုအမူ ဘာကြောင့် ပိုမိုအားကောင်းလာသည်ကို ရှင်းပြနိုင်ခဲ့သော်လည်း၊ ထိုတုံ့ပြန်ညွှန်ကြားချက် မပါဘဲလည်း ၎င်း ဘာကြောင့် ပေါ်လာခဲ့သည်ကို မရှင်းပြနိုင်ခဲ့ပါ။ စတိုင် လွှဲပြောင်းကူးပြောင်းနေခြင်း ရှိမရှိ စမ်းသပ်ရန်၊ ကျွန်ုပ်တို့သည် Nerdy တုံ့ပြန်ညွှန်ကြားချက် ပါရှိသည့်အခြေအနေနှင့် မပါရှိသည့်အခြေအနေတို့အတွက် လေ့ကျင့်ရေးကာလတစ်လျှောက် ဖော်ပြမှုနှုန်းများကို ခြေရာခံခဲ့ပါသည်။

Nerdy ကိုယ်ရည်ကိုယ်သွေးအောက်တွင် goblin နှင့် gremlin ဖော်ပြမှုများ တိုးလာသည့်အတိုင်း၊ ၎င်းမပါဝင်သော နမူနာများတွင်လည်း အချိုးအစားအားဖြင့် နီးပါးတူညီသော ပမာဏဖြင့် တိုးလာခဲ့သည်။ အားလုံးကို ခြုံငုံကြည့်လျှင် ပိုမိုကျယ်ပြန့်သော အပြုအမူသည် Nerdy ကိုယ်ရည်ကိုယ်သွေး လေ့ကျင့်မှုမှ လွှဲပြောင်းမှုမှတစ်ဆင့် ပေါ်ပေါက်လာကြောင်း အထောက်အထားများက ဖော်ပြသည်။

ဆုလာဘ်များကို Nerdy အခြေအနေတွင်သာ အသုံးချခဲ့သော်လည်း၊ အားဖြည့်သင်ယူမှုသည် သင်ယူထားသော အပြုအမူများသည် ၎င်းတို့ကို ဖြစ်ပေါ်စေသည့် အခြေအနေနှင့် ကိုက်ညီစွာ ရှိနေမည်ဟု အာမမခံနိုင်ပါ။ စတိုင်ဆိုင်ရာ အလေ့အထသေးသေးလေးတစ်ခု ဆုချီးမြှင့်ခံရသည်နှင့် နောက်ပိုင်းလေ့ကျင့်မှုများသည် ၎င်းကို အခြားနေရာများသို့ ပြန့်နှံ့စေခြင်း သို့မဟုတ် ပိုမိုအားဖြည့်ခြင်း ပြုလုပ်နိုင်သည်၊ အထူးသဖြင့် ထိုအထွက်ရလဒ်များကို ကြီးကြပ်မှုဖြင့် မွမ်းမံပြင်ဆင်မှု သို့မဟုတ် နှစ်သက်မှုဒေတာတွင် ပြန်လည်အသုံးပြုသည့်အခါ ဖြစ်သည်။

ထိုအရာက တုံ့ပြန်ချက်ကွင်းဆက်တစ်ခုကို ဖန်တီးသည်-

1. ပျော်ရွှင်ဖွယ် စတိုင်သည် ဆုရရှိပါသည်
2. ဆုလာဘ်ပေးထားသော ဥပမာအချို့တွင် ထင်ရှားသော ဝေါဟာရဆိုင်ရာ လက္ခဏာတစ်ခု ပါဝင်သည်။
3. tic သည် rollouts များတွင် ပိုမိုမကြာခဏ ပေါ်လာသည်။
4. မော်ဒယ်မှ ထုတ်ပေးထားသော rollouts များကို ကြီးကြပ်မှုဖြင့် မွမ်းမံပြင်ဆင်မှုအတွက် အသုံးပြုသည်။
5. မော်ဒယ်သည် tic ကို ထုတ်ပေးရာတွင် ပို၍ပင် ကျင့်သားရလာသည်။

GPT‑5.5 ၏ အတွင်းတွင် ရှာဖွေမှုတစ်ခု SFT ဒေတာတွင် “goblin” နှင့် “gremlin” ပါဝင်သော ဒေတာအချက်များ အများအပြားကို တွေ့ရှိခဲ့သည်။ ထပ်မံ စုံစမ်းလေ့လာမှုအရ အခြား ထူးဆန်းသည့် သတ္တဝါအမည်များ အုပ်စုတစ်ခုလုံးကို တွေ့ရှိခဲ့သည်- raccoons၊ trolls၊ ogres နှင့် pigeons တို့ကို အခြား tic စကားလုံးများအဖြစ် သတ်မှတ်တွေ့ရှိခဲ့ပြီး၊ frog ကို အသုံးပြုမှုအများစုမှာမူ တရားဝင်သည့် အသုံးများဖြစ်ကြောင်း တွေ့ရှိခဲ့သည်။

GPT‑5.4 ကို မိတ်ဆက်ပြီးနောက် မတ်လတွင် ကျွန်ုပ်တို့သည် “Nerdy” စရိုက်ကို အသုံးပြုမှုမှ ရပ်ဆိုင်းခဲ့ပါသည်။ လေ့ကျင့်မှုတွင် ကျွန်ုပ်တို့သည် ဂေါ်ဘလင်များနှင့် ဆက်စပ်အားကောင်းသော ဆုရရှိမှု အချက်ပြကို ဖယ်ရှားခဲ့ပြီး သတ္တဝါဆိုင်ရာ စကားလုံးများ ပါဝင်သော လေ့ကျင့်ရေးဒေတာကို စစ်ထုတ်ခဲ့ပါသည်။ ထို့ကြောင့် ဂေါ်ဘလင်များသည် အလွန်အကျွံ ပေါ်လာခြင်း သို့မဟုတ် မသင့်လျော်သော အခြေအနေများတွင် ပေါ်လာခြင်း ဖြစ်နိုင်ခြေ လျော့နည်းသွားပါသည်။ ကံမကောင်းစွာဖြင့်၊ ကျွန်ုပ်တို့ ဂေါ်ဘလင်များ၏ အရင်းခံအကြောင်းရင်းကို မတွေ့ရှိမီ GPT‑5.5 သည် လေ့ကျင့်မှုကို စတင်ခဲ့သည်။ ကျွန်ုပ်တို့သည် Codex တွင် GPT‑5.5 ကို စတင်စမ်းသပ်သောအခါ OpenAI ဝန်ထမ်းများက ဂေါ်ဘလင်များအပေါ် ထူးဆန်းသည့် နှစ်သက်စွဲလမ်းမှုကို ချက်ချင်း သတိပြုမိခဲ့ကြပြီး၊ ၎င်းကို လျော့ပါးစေရန် developer တုံ့ပြန်ညွှန်ကြားချက်⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်) တစ်ခုကို ထည့်သွင်းခဲ့သည်။ Codex ကတော့ တကယ်ပြောရလျှင် အတော်လေး နည်းပညာသမားဆန်ပါသည်။

Codex မှာ သတ္တဝါတွေကို လွတ်လပ်စွာ ပြေးလွှားခွင့်ပေးလိုပါက goblin-suppressing ညွှန်ကြားချက်များကို ဖယ်ရှားပြီး Codex ကို စတင်ဖို့ ဒီ command ကို သုံးနိုင်ပါသည်-

ဘယ်သူ့ကို မေးသလဲပေါ် မူတည်၍၊ ဂေါ်ဘလင်များသည် မော်ဒယ်၏ နှစ်လိုဖွယ်ကောင်းသော သို့မဟုတ် စိတ်အနှောင့်အယှက်ဖြစ်စေသော ထူးခြားချက်တစ်ခု ဖြစ်သည်။ သို့သော် ၎င်းတို့သည် ဆုရရှိမှု အချက်ပြများက မော်ဒယ်၏ အပြုအမူကို မမျှော်လင့်ထားသည့် နည်းလမ်းများဖြင့် မည်သို့ပုံဖော်နိုင်သည်၊ မော်ဒယ်များက အချို့သော အခြေအနေများရှိ ဆုရရှိမှုများကို မသက်ဆိုင်သော အခြေအနေများသို့ မည်သို့ ယေဘုယျချဲ့ထွင်ပြီး အသုံးချရန် သင်ယူနိုင်သည်ကို ပြသသည့် အားကောင်းသော ဥပမာတစ်ခုလည်း ဖြစ်သည်။ မော်ဒယ်တစ်ခု ဘာကြောင့် ထူးဆန်းသည့်ပုံစံဖြင့် ပြုမူနေသည်ကို နားလည်ရန် အချိန်ယူခြင်းနှင့် အဆိုပါပုံစံများကို လျင်မြန်စွာ စုံစမ်းလေ့လာနိုင်မည့် နည်းလမ်းများကို တည်ဆောက်ဖော်ဆောင်ခြင်းသည် ကျွန်ုပ်တို့၏ သုတေသနအဖွဲ့အတွက် အရေးကြီးသော စွမ်းရည်တစ်ရပ်ဖြစ်သည်။ ဤစုံစမ်းစစ်ဆေးမှုကြောင့် သုတေသနအဖွဲ့အနေဖြင့် မော်ဒယ်၏ အပြုအမူကို စစ်ဆေးစိစစ်ရန်နှင့် အပြုအမူဆိုင်ရာ ပြဿနာများကို ၎င်းတို့၏ အရင်းအမြစ်မှ ပြုပြင်ဖြေရှင်းရန် ကိရိယာအသစ်များ ရရှိလာစေခဲ့သည်။