မကောင်းသော တုံ့ပြန်ညွှန်ကြားချက်များ ထည့်သွင်းခြင်းကို ခံနိုင်ရည်ရှိသော AI အေးဂျင့်များကို ဒီဇိုင်းဆွဲခြင်း

AI အေးဂျင့်များသည် ဝဘ်ကို ရှာဖွေကြည့်ရှုခြင်း၊ အချက်အလက်များကို ပြန်လည်ရယူခြင်းနှင့် အသုံးပြုသူကိုယ်စား လုပ်ဆောင်ချက်များကို ဆောင်ရွက်ခြင်းတို့ကို ပိုမိုလုပ်ဆောင်လာနိုင်ကြသည်။ ထိုစွမ်းရည်များသည် အသုံးဝင်သော်လည်း တိုက်ခိုက်သူများအတွက် စနစ်ကို လှည့်ဖြားထိန်းချုပ်ရန် နည်းလမ်းသစ်များကိုလည်း ဖန်တီးပေးသည်။

ဤတိုက်ခိုက်မှုများကို မကြာခဏ prompt injection⁠ ဟု ဖော်ပြကြသည်။ ၎င်းမှာ အသုံးပြုသူ မတောင်းဆိုထားသည့် အရာတစ်ခုကို မော်ဒယ်က လုပ်ဆောင်စေရန် ကြိုးပမ်းမှုဖြင့် ပြင်ပအကြောင်းအရာအတွင်း ထည့်သွင်းထားသော ညွှန်ကြားချက်များဖြစ်သည်။ ကျွန်ုပ်တို့၏ အတွေ့အကြုံအရ ယင်းတိုက်ခိုက်မှုများ၏ လက်တွေ့ကမ္ဘာတွင် အထိရောက်ဆုံးပုံစံများသည် ရိုးရှင်းသော prompt override များထက် social engineering နှင့် ပိုမိုဆင်တူလာသည်။

ဤပြောင်းလဲမှုသည် အရေးကြီးသည်။ ပြဿနာမှာ အန္တရာယ်ရှိသော စာကြောင်းတစ်ကြောင်းကိုသာ ခွဲခြားသတ်မှတ်ခြင်းမဟုတ်ဘဲ အကြောင်းအရာဆက်စပ်မှုအတွင်း လှည့်ဖြားသည့် သို့မဟုတ် ထိန်းချုပ်ရန်ကြိုးပမ်းသည့် အကြောင်းအရာကို ခံနိုင်ရည်ရှိစွာ တုံ့ပြန်ခြင်းဖြစ်ပါက၊ ၎င်းကို ကာကွယ်ရန် input များကို filter လုပ်ခြင်းတစ်ခုတည်းအပေါ် မမှီခိုနိုင်ပါ။ တိုက်ခိုက်မှုအချို့ အောင်မြင်သွားသော်လည်း လှည့်ဖြားမှု၏ သက်ရောက်မှုကို ကန့်သတ်ထားနိုင်စေရန် စနစ်ကို ဒီဇိုင်းဆွဲရန်လည်း လိုအပ်သည်။

အစောပိုင်း “prompt injection” အမျိုးအစား တိုက်ခိုက်မှုများသည် AI အေးဂျင့်များ ဝင်ရောက်ကြည့်ရှုသော Wikipedia ဆောင်းပါးတစ်ပုဒ်ထဲသို့ တိုက်ရိုက်ညွှန်ကြားချက်များ ထည့်သွင်းပြင်ဆင်ရုံလောက်သာ ရိုးရှင်းနိုင်သည်။ ထိုသို့သော ပြိုင်ဘက်ဆန်သော ပတ်ဝန်းကျင်အကြောင်း training-time အတွေ့အကြုံမရှိပါက AI မော်ဒယ်များသည် ထိုညွှန်ကြားချက်များကို မေးခွန်းမထုတ်ဘဲ လိုက်နာလေ့ရှိကြသည်¹။ မော်ဒယ်များ ပိုမိုထက်မြက်လာသည်နှင့်အမျှ ဤကဲ့သို့သော အကြံပြုမှုမျိုးအပေါ် ထိခိုက်လွယ်မှု လျော့နည်းလာခဲ့ပြီး၊ prompt injection ပုံစံ တိုက်ခိုက်မှုများသည် social engineering ၏ အစိတ်အပိုင်းများကို ထည့်သွင်းလာကြောင်း ကျွန်ုပ်တို့ တွေ့မြင်ခဲ့သည်။

AI လုံခြုံရေး ecosystem ကျယ်ပြန့်ထဲတွင် “AI firewalling” ကဲ့သို့သော နည်းလမ်းများကို အကြံပြုခြင်းမှာ သာမန်ဖြစ်လာခဲ့သည်။ ဤနည်းလမ်းတွင် AI အေးဂျင့်နှင့် ပြင်ပကမ္ဘာအကြားရှိ ကြားခံစနစ်တစ်ခုက input များကို အန္တရာယ်ရှိသော prompt injection များနှင့် ပုံမှန် input များအဖြစ် ခွဲခြားရန် ကြိုးပမ်းသည်။ သို့သော် အပြည့်အဝ ဖွံ့ဖြိုးပြီးသော ဤတိုက်ခိုက်မှုများကို ယင်းစနစ်များက များသောအားဖြင့် မဖမ်းမိတတ်ပါ။ ယင်းစနစ်များအတွက် အန္တရာယ်ရှိသော input ကို ရှာဖွေဖော်ထုတ်ခြင်းသည် လိမ်လည်မှု သို့မဟုတ် သတင်းမှားကို ရှာဖွေဖော်ထုတ်ခြင်းကဲ့သို့ အလွန်ခက်ခဲသော ပြဿနာတစ်ခု ဖြစ်လာပြီး၊ မကြာခဏ လိုအပ်သော context မရှိဘဲ ဖြစ်တတ်သည်။

လက်တွေ့ကမ္ဘာရှိ prompt injection တိုက်ခိုက်မှုများသည် ပိုမိုရှုပ်ထွေးလာသည်နှင့်အမျှ၊ အထိရောက်ဆုံး တိုက်ခိုက်ရေးနည်းလမ်းများသည် social engineering tactic များကို အသုံးချကြသည်ဟု ကျွန်ုပ်တို့ တွေ့ရှိခဲ့သည်။ social engineering ပါဝင်သည့် ဤ prompt injection တိုက်ခိုက်မှုများကို သီးခြား သို့မဟုတ် လုံးဝအသစ်သော ပြဿနာအမျိုးအစားတစ်ခုအဖြစ် မယူဆဘဲ၊ အခြားနယ်ပယ်များတွင် လူသားများအပေါ် social engineering အန္တရာယ်ကို စီမံခန့်ခွဲရာ၌ အသုံးပြုသည့် ရှုထောင့်တစ်ခုတည်းမှ ကြည့်ရှုစတင်ခဲ့သည်။ ထိုစနစ်များတွင် ရည်မှန်းချက်မှာ အန္တရာယ်ရှိသော input များကို ပြီးပြည့်စုံစွာ ခွဲခြားသတ်မှတ်ခြင်းသာ မဟုတ်ဘဲ၊ လှည့်ဖြားမှု အောင်မြင်သွားခဲ့သော်လည်း ၎င်း၏ သက်ရောက်မှုကို ကန့်သတ်ထားနိုင်စေရန် အေးဂျင့်များနှင့် စနစ်များကို ဒီဇိုင်းဆွဲခြင်းဖြစ်သည်။ ထိုကဲ့သို့သော စနစ်များသည် prompt injection နှင့် social engineering နှစ်မျိုးစလုံးကို လျော့ပါးစေရန် ထိရောက်ကြောင်း ပြသထားသည်။

ဤနည်းဖြင့် AI အေးဂျင့်ကို customer service agent နှင့် ဆင်တူသော actor သုံးဦးပါ စနစ်တစ်ခုထဲတွင် ရှိနေသည်ဟု စဉ်းစားနိုင်သည်။ အေးဂျင့်သည် မိမိအလုပ်ရှင်ကိုယ်စား ဆောင်ရွက်လိုသော်လည်း ၎င်းကို လှည့်ဖြားရန် ကြိုးပမ်းနိုင်သည့် ပြင်ပ input များနှင့် အဆက်မပြတ် ထိတွေ့နေရသည်။ လူသားဖြစ်စေ AI ဖြစ်စေ customer support agent သည် ထိုကဲ့သို့သော အန္တရာယ်ရှိသော ပတ်ဝန်းကျင်တွင် တည်ရှိခြင်းကြောင့် ဖြစ်ပေါ်လာသော downside risk ကို ကန့်သတ်ရန် ၎င်း၏ စွမ်းဆောင်ရည်များအပေါ် ကန့်သတ်ချက်များ ထားရှိရမည်။

လူတစ်ဦးက customer support system ကို လည်ပတ်နေပြီး ပို့ဆောင်မှု နှေးကွေးခြင်း၊ ချို့ယွင်းမှုကြောင့် ပျက်စီးမှု ဖြစ်ခြင်း စသည်တို့ကြောင့် customer ကြုံတွေ့ရသော အဆင်မပြေမှုများအတွက် gift card များနှင့် refund များ ပေးနိုင်သည်ဟု စိတ်ကူးကြည့်ပါ။ ဤသည်မှာ ပါတီအများ ပါဝင်သည့် ပြဿနာတစ်ခုဖြစ်ပြီး၊ ကုမ္ပဏီသည် အေးဂျင့်က မှန်ကန်သော အကြောင်းပြချက်များအတွက် refund များ ပေးသည်ကို ယုံကြည်ရမည်ဖြစ်သကဲ့သို့၊ အေးဂျင့်သည်လည်း ၎င်းကို လှည့်ဖြားရန် သို့မဟုတ် ဖိအားပေးရန် ရည်ရွယ်နိုင်သည့် third-party များနှင့် အပြန်အလှန် ဆက်သွယ်နေရသည်။

လက်တွေ့ကမ္ဘာတွင် အေးဂျင့်ကို လိုက်နာရမည့် စည်းမျဉ်းများ ပေးထားသော်လည်း ၎င်းတည်ရှိနေသော adversarial environment အတွင်း၌ လှည့်ဖြားခံရမည်ဟု မျှော်လင့်ထားကြသည်။ customer တစ်ဦးက ၎င်း၏ refund မရောက်ခဲ့ကြောင်း ဆိုထားသော message တစ်စောင် ပို့လာနိုင်သည်၊ သို့မဟုတ် refund မပေးပါက အန္တရာယ်ပြုမည်ဟု ခြိမ်းခြောက်နိုင်သည်။ အေးဂျင့် အပြန်အလှန် ဆက်သွယ်ရသော deterministic systems များသည် customer တစ်ဦးအတွက် ပေးနိုင်သော refund ပမာဏကို ကန့်သတ်ပေးခြင်း၊ phishing email ဖြစ်နိုင်ခြေများကို အလံပြခြင်းနှင့် ထိုကဲ့သို့သော mitigation များကို ပေးခြင်းအားဖြင့် အေးဂျင့်တစ်ဦးချင်းစီ compromise ဖြစ်သွားခြင်း၏ သက်ရောက်မှုကို ကန့်သတ်ပေးသည်။ 

ဤအတွေးအခေါ်ပုံစံသည် ကျွန်ုပ်တို့၏ အသုံးပြုသူများ မျှော်လင့်ထားသည့် လုံခြုံရေးစံနှုန်းများကို ထိန်းသိမ်းပေးသော ကျွန်ုပ်တို့ တပ်ဆင်ထားသည့် ခိုင်မာသော countermeasure အစုကို ပုံဖော်ပေးခဲ့သည်။

ChatGPT တွင် ကျွန်ုပ်တို့သည် ဤ social engineering မော်ဒယ်ကို source-sink analysis ကဲ့သို့ ပိုမိုရိုးရာ လုံခြုံရေး engineering နည်းလမ်းများနှင့် ပေါင်းစပ်အသုံးပြုသည်။

ထိုရှုထောင့်မှကြည့်လျှင် တိုက်ခိုက်သူတစ်ဦးသည် source တစ်ခု၊ အထူးသဖြင့် စနစ်အပေါ် သြဇာသက်ရောက်စေမည့် နည်းလမ်းတစ်ခုနှင့် sink တစ်ခု၊ အထူးသဖြင့် မှားယွင်းသော context အတွင်း အန္တရာယ်ဖြစ်လာသည့် စွမ်းဆောင်ရည်တစ်ခုကို နှစ်မျိုးလုံး လိုအပ်သည်။ agentic systems များအတွက် ထိုအရာသည် ယုံကြည်မရသော ပြင်ပအကြောင်းအရာကို third party တစ်ဦးထံ သတင်းအချက်အလက် ပို့ခြင်း၊ link တစ်ခုကို လိုက်ခြင်း သို့မဟုတ် tool တစ်ခုနှင့် အပြန်အလှန် ဆက်သွယ်ခြင်းကဲ့သို့ လုပ်ဆောင်ချက်တစ်ခုနှင့် ပေါင်းစပ်ခြင်းကို မကြာခဏ ဆိုလိုသည်။

ကျွန်ုပ်တို့၏ ရည်မှန်းချက်မှာ အသုံးပြုသူများအတွက် အခြေခံ လုံခြုံရေးမျှော်လင့်ချက်တစ်ခုကို ထိန်းသိမ်းရန်ဖြစ်သည်။ အန္တရာယ်ဖြစ်နိုင်သော လုပ်ဆောင်ချက်များ သို့မဟုတ် အရေးကြီးနိုင်သော အချက်အလက်များ ပို့လွှတ်မှုများသည် တိတ်တဆိတ် သို့မဟုတ် သင့်လျော်သော အကာအကွယ်များ မရှိဘဲ မဖြစ်သင့်ပါ။

ChatGPT ကို ဆန့်ကျင် ဖွံ့ဖြိုးလာသည့် တိုက်ခိုက်မှုများတွင် ကျွန်ုပ်တို့ အများဆုံး တွေ့ရသည်မှာ assistant ကို စကားဝိုင်းထဲမှ လျှို့ဝှက် အချက်အလက်တစ်ခုခုကို ယူပြီး အန္တရာယ်ရှိသော third-party တစ်ဦးထံ ပို့ပေးသင့်ကြောင်း ယုံကြည်အောင် ကြိုးပမ်းခြင်းဖြစ်သည်။ ကျွန်ုပ်တို့ သိရှိထားသော ကိစ္စအများစုတွင် ဤတိုက်ခိုက်မှုများသည် ကျွန်ုပ်တို့၏ safety training ကြောင့် အေးဂျင့်က ငြင်းဆိုသဖြင့် မအောင်မြင်ကြပါ။ အေးဂျင့်ကို ယုံကြည်အောင် လုပ်နိုင်သည့် ကိစ္စများအတွက်တော့ စကားဝိုင်းအတွင်း assistant က သိရှိသွားသော အချက်အလက်များကို third-party တစ်ဦးထံ ပို့လွှတ်မည့်အချိန်ကို ရှာဖွေဖော်ထုတ်ရန် ဒီဇိုင်းဆွဲထားသော Safe Url ဟုခေါ်သည့် mitigation strategy တစ်ခုကို ကျွန်ုပ်တို့ ဖန်တီးထားသည်။ ဤရှားပါးသော ကိစ္စများတွင် ကျွန်ုပ်တို့သည် ပို့လွှတ်မည့် အချက်အလက်ကို အသုံးပြုသူထံ ပြသပြီး အတည်ပြုခိုင်းသည်၊ သို့မဟုတ် ၎င်းကို တားဆီးပြီး အသုံးပြုသူ၏ တောင်းဆိုချက်ကို ဆက်လက်ဖြည့်ဆည်းရန် အခြားနည်းလမ်းတစ်ခု စမ်းကြည့်ရန် အေးဂျင့်ကို ပြောကြားသည်။

ဤ mechanism တူညီမှုသည် Atlas⁠ အတွင်းရှိ navigation များနှင့် bookmark များ၊ နှင့် Deep Research⁠ အတွင်းရှိ search များနှင့် navigation များတွင်လည်း သက်ရောက်သည်။ ChatGPT canvas⁠ နှင့် ChatGPT Apps⁠ တို့သည်လည်း ဆင်တူသည့် နည်းလမ်းကို အသုံးပြုကြပြီး၊ အေးဂျင့်အား လုပ်ဆောင်နိုင်သော application များကို ဖန်တီး၍ အသုံးပြုခွင့်ပေးသည်—ဤအရာများသည် မမျှော်လင့်ထားသော communication များကို ရှာဖွေဖော်ထုတ်နိုင်ပြီး အသုံးပြုသူ၏ သဘောတူညီချက်ကို တောင်းဆို⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်)နိုင်သော sandbox အတွင်း လည်ပတ်သည်။

Safe Url အကြောင်းနှင့် ၎င်း၏ ဖွဲ့စည်းပုံနှင့်ပတ်သက်သော စာတမ်းကို ၎င်းအတွက် သီးသန့် blog post ဖြစ်သော AI အေးဂျင့်တစ်ဦးက link တစ်ခုကို နှိပ်သည့်အခါ သင့်ဒေတာကို လုံခြုံအောင် ထိန်းသိမ်းခြင်း⁠ တွင် ပိုမိုဖတ်ရှုနိုင်သည်။

ပြိုင်ဘက်ဆန်သော ပြင်ပကမ္ဘာနှင့် လုံခြုံစွာ အပြန်အလှန် ဆက်သွယ်နိုင်ခြင်းသည် အပြည့်အဝ ကိုယ်တိုင်လုပ်ဆောင်နိုင်သော အေးဂျင့်များအတွက် လိုအပ်သည်။ AI မော်ဒယ်တစ်ခုကို application system တစ်ခုနှင့် ပေါင်းစည်းရာတွင် အလားတူ အခြေအနေမျိုး၌ လူသားအေးဂျင့်တစ်ဦးတွင် မည်သည့် ထိန်းချုပ်မှုများ ရှိသင့်သည်ကို မေးမြန်းပြီး ၎င်းတို့ကို အကောင်အထည်ဖော်ရန် ကျွန်ုပ်တို့ အကြံပြုသည်။ အလွန်အမင်း ဉာဏ်ရည်မြင့်သော AI မော်ဒယ်တစ်ခုသည် လူသားအေးဂျင့်ထက် social engineering ကို ပိုကောင်းစွာ ခံနိုင်ရည်ရှိမည်ဟု ကျွန်ုပ်တို့ မျှော်လင့်သော်လည်း application ပေါ်မူတည်၍ ဤအရာသည် အမြဲတမ်း လက်တွေ့ကျသည် သို့မဟုတ် ကုန်ကျစရိတ်အရ ထိရောက်သည် မဟုတ်ပေ။

ကျွန်ုပ်တို့သည် AI မော်ဒယ်များအပေါ် social engineering ၏ သက်ရောက်မှုများနှင့် ၎င်းကို ဆန့်ကျင်သော ကာကွယ်ရေးများကို ဆက်လက် လေ့လာနေပြီး၊ ကျွန်ုပ်တို့၏ တွေ့ရှိချက်များကို application security architecture များနှင့် ကျွန်ုပ်တို့၏ AI မော်ဒယ်များအတွက် ပြုလုပ်သော training နှစ်မျိုးလုံးအတွင်း ထည့်သွင်းအသုံးချနေပါသည်။