Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်) သည် ဘဏ္ဍာရေးအကြံပေးများကို ပိုမိုမြန်ဆန်သော insight များ၊ ပိုမိုသိရှိနားလည်စွာ ဆုံးဖြတ်နိုင်မှုများနှင့် ဖောက်သည်ဆက်ဆံရေးကို ပိုမိုနက်ရှိုင်းစေမည့် ထိရောက်သော အကျဉ်းချုပ်ကိရိယာများဖြင့် စွမ်းဆောင်ရည်မြှင့်တင်ပေးသော AI ဖြေရှင်းချက်များကို တည်ဆောက်ရန် OpenAI နှင့် ပူးပေါင်းဆောင်ရွက်ခဲ့သည်။ ၎င်းတို့၏ အောင်မြင်မှုသည် AI က ယုံကြည်စိတ်ချရစွာ၊ တသမတ်တည်း လုပ်ဆောင်ပြီး အကြံပေးများ မျှော်လင့်သည့် မြင့်မားသော စံနှုန်းများကို ပြည့်မီစေကြောင်း သေချာစေသော ခိုင်မာသည့် evaluation framework ပေါ်တွင် အခြေခံထားသည်။

GPT‑4 ကို ၎င်းတို့၏ workflow များအတွင်း ပေါင်းစည်းထည့်သွင်းခြင်းဖြင့် Morgan Stanley Wealth Management သည် ဘဏ္ဍာရေးအကြံပေးများက ကုမ္ပဏီ၏ knowledge base ကို မည်သို့ ရယူအသုံးပြုပြီး ဖောက်သည်လိုအပ်ချက်များကို မည်သို့ တုံ့ပြန်သည်ကို တိုးတက်ကောင်းမွန်စေခဲ့သည်။ ယနေ့တွင် အကြံပေးအဖွဲ့များ၏ 98% ကျော်သည် ချောမွေ့သော internal information retrieval အတွက် ဘဏ္ဍာရေးအကြံပေးများ၏ မေးခွန်းများကို ဖြေဆိုပေးသည့် Morgan Stanley ၏ internal chatbot ဖြစ်သော AI @ Morgan Stanley Assistant ကို တက်ကြွစွာ အသုံးပြုနေကြသည်။

ဘဏ္ဍာရေးဝန်ဆောင်မှုများတွင် AI ကို ဖြန့်ချိအသုံးပြုရန်အတွက် နည်းပညာက ထူးခြားသောတန်ဖိုးကို ပေးအပ်နိုင်ပြီး ကုမ္ပဏီ၏ တင်းကျပ်သော အရည်အသွေးနှင့် ယုံကြည်စိတ်ချရမှု စံနှုန်းများကိုလည်း ပြည့်မီမည်ဆိုသော ယုံကြည်ချက် လိုအပ်ခဲ့သည်။

Morgan Stanley သည် AI အသုံးပြုနိုင်မှုတိုင်းကို deployment မတိုင်မီ စမ်းသပ်ရန် evaluation (eval) framework တစ်ခုကို အကောင်အထည်ဖော်ခြင်းဖြင့် ဤစိန်ခေါ်မှုကို ရင်ဆိုင်ဖြေရှင်းခဲ့သည်။ Evals သည် မော်ဒယ်များက လက်တွေ့အသုံးပြုနိုင်မှုများအပေါ် မည်သို့ လုပ်ဆောင်သည်ကို တိုင်းတာပြီး အဆင့်တိုင်းတွင် ကျွမ်းကျင်သူ တုံ့ပြန်ချက်များနှင့်အတူ တိုးတက်မှုများကို လမ်းညွှန်ပေးသည်။

အဖွဲ့သည် ၎င်းတို့၏ ပထမဆုံး AI အသုံးပြုနိုင်မှုများအတွက် ရည်မှန်းချက် သုံးခုဖြင့် စတင်ခဲ့သည်:

• အကြံပေးများ၏ စာရွက်စာတမ်းရှာဖွေချိန် နာရီပေါင်းများစွာကို သက်သာစေရန် အချက်အလက် ရယူခြင်းကို ပိုမိုမြန်ဆန်စေခြင်း။
• သုတေသနအစီရင်ခံစာများကို အကျဉ်းချုပ်ခြင်းကဲ့သို့ ထပ်တလဲလဲ လုပ်ရသော တာဝန်များကို အလိုအလျောက်လုပ်ဆောင်ခြင်း။
• ဖောက်သည်လိုအပ်ချက်များနှင့် ကိုက်ညီသော ပိုမိုကောင်းမွန်သည့် insight များ။

၎င်းတို့၏ ကျွမ်းကျင်သူများနှင့် နှိုင်းယှဉ်၍ GPT‑4 ၏ စွမ်းဆောင်ရည်ကို အကဲဖြတ်ရန် Morgan Stanley သည် summarization evals ကို ပြုလုပ်ခဲ့ပြီး မော်ဒယ်က ဉာဏပစ္စည်းအရင်းအမြစ် အမြောက်အများနှင့် process-driven content များကို တိုတောင်းသည့် အကျဉ်းချုပ်များအဖြစ် မည်မျှ ထိရောက်စွာ ချုံ့ပေးနိုင်သည်ကို စမ်းသပ်ခဲ့သည်။ အကြံပေးများနှင့် prompt engineer များက AI ၏ တုံ့ပြန်ချက်များကို တိကျမှုနှင့် အချိတ်အဆက်ညီမှုအပေါ် အဆင့်သတ်မှတ်ပေးခဲ့ရာ အဖွဲ့အနေဖြင့် prompt များကို ပိုမိုသန့်စင်ကာ output အရည်အသွေးကို မြှင့်တင်နိုင်ခဲ့သည်။

eval framework သည် တည်ငြိမ်နေသော အရာမဟုတ်ဘဲ အဖွဲ့က သင်ယူလာသည်နှင့်အမျှ တိုးတက်ပြောင်းလဲလာခဲ့သည်။ ထို့နောက် ဘာသာစကားစုံ ဖောက်သည်များအတွက် translation evals ကို မိတ်ဆက်ခဲ့ပြီး AI က အမြဲတိုးပွားနေသော document library ကို ကိုင်တွယ်နိုင်ရန် OpenAI နှင့် နီးကပ်စွာ ပူးပေါင်းကာ retrieval method များကို fine-tune လုပ်ခဲ့သည်။

“ကျွန်ုပ်တို့က မေးခွန်း 7,000 ကို ဖြေနိုင်သည့် အဆင့်ကနေ ယခုဆို စာရွက်စာတမ်း 100,000 ပါသော corpus တစ်ခုမှ မေးခွန်းမှန်သမျှကို ထိရောက်စွာ ဖြေနိုင်သည့် အဆင့်သို့ ရောက်လာပါပြီ” ဟု Morgan Stanley ၏ Firmwide AI Product & Architecture Strategy ခေါင်းဆောင် David Wu က ဆိုသည်။

McMillan က AI @ Morgan Stanley Assistant မှ ပေးသော မြန်ဆန်ပြီး ယုံကြည်စိတ်ချရသော အဖြေများသည် အကြံပေးများ၏ စကားဝိုင်းများအပေါ် သက်ရောက်မှုကို မှတ်ချက်ပြုသည်။ “ယခုအခါ အကြံပေးများသည် အရင်က မဆွေးနွေးဖူးသည့် အကြောင်းအရာများအပေါ် ဖောက်သည်များနှင့် ဆက်ဆံပြောဆိုနိုင်ကြသည်၊ ဘာကြောင့်လဲဆိုတော့ ဗဟုသုတနှင့် ဆက်သွယ်ရေးကြားက friction က သုညသို့ ရောက်သွားလို့ပါ။”

ဘဏ္ဍာရေးအကြံပေးများ၏ မေးခွန်းများကို ဖြေဆိုရန် Morgan Stanley ၏ internal chatbot ဖြစ်သော AI @ Morgan Stanley Assistant ၏ အောင်မြင်မှုအပေါ် အခြေခံပြီး အဖွဲ့သည် Whisper နှင့် GPT‑4 ဖြင့် အားဖြည့်ထားသော ဘဏ္ဍာရေးအကြံပေးများအတွက် အစည်းအဝေးအကျဉ်းချုပ်ကိရိယာ AI @ Morgan Stanley Debrief ကို မိတ်ဆက်ခဲ့သည်။

Debrief သည် ဖောက်သည်၏ သဘောတူညီချက်ဖြင့် Zoom recording များကို client note များကဲ့သို့ လက်တွေ့အသုံးချနိုင်သော output များအဖြစ် ပြောင်းလဲပေးပြီး ၎င်းတို့ကို CRM စနစ်များထဲသို့ အလိုအလျောက် ပေါင်းစည်းထည့်သွင်းပေးသည်။ ထို့ပြင် အကြံပေးများက ပြင်ဆင်ပြီး ပေးပို့နိုင်သော အဓိက လုပ်ဆောင်ရန်အချက်များကို အကျဉ်းချုပ်ထားသည့် draft follow-up များလည်း ဖန်တီးပေးသည်။

အကြံပေးများသည် AI ဖန်တီးထားသော output များကို အပြီးသတ်မလုပ်မီ ပြန်လည်သုံးသပ်ပြီး ချိန်ညှိကြသဖြင့် automation နှင့် လူသားကြီးကြပ်မှုအကြား မျှတမှုကို ထိန်းသိမ်းထားသည်။

ကိရိယာနှစ်ခုစလုံးသည် Morgan Stanley ၏ eval အခြေပြု နည်းလမ်းမှ အကျိုးရရှိခဲ့သည်။ Debrief အတွက် အဖွဲ့သည် အစည်းအဝေးအမျိုးအစား အမျိုးမျိုးကို ကိုယ်စားပြုသော evaluation dataset များကို ဖန်တီးခဲ့ပြီး အမှားများ မထည့်သွင်းဘဲ အရေးကြီးသော လုပ်ဆောင်ရန်အချက်များကို မော်ဒယ်က ဖမ်းယူနိုင်စွမ်းကို တင်းကြပ်စွာ စမ်းသပ်ခဲ့သည်။

ဘဏ္ဍာရေးဝန်ဆောင်မှုများ၏ တင်းကျပ်သော လိုက်နာမှုစံနှုန်းများကို ဖြည့်ဆည်းရန် Morgan Stanley သည် ၎င်းတို့၏ eval framework အတွင်း quality assurance ကို ပေါင်းစည်းထည့်သွင်းခဲ့သည်။ နမူနာမေးခွန်းများပါသော regression suite ဖြင့် နေ့စဉ်စမ်းသပ်မှုများက ဖြစ်နိုင်သော အားနည်းချက်များကို ဖော်ထုတ်ပေးပြီး စနစ်က လိုက်နာမှုရှိသော output များ ပေးနိုင်စွမ်းကို တိုးတက်စေခဲ့သည်။

“ကျွန်ုပ်တို့ ထည့်သွင်းသော မေးခွန်းများနှင့် ရရှိနေသော output များအပေါ် အခြေခံပြီး OpenAI နဲ့အတူ ထိုင်ဆွေးနွေးကာ ‘Morgan Stanley မှာ လိုအပ်တဲ့ တိကျမှန်ကန်မှုရဖို့ retrieval methods တွေကို ဘာတွေ ပြောင်းလဲနိုင်မလဲ’ လို့ မေးကြတယ်” ဟု Elliott က ဆိုသည်။

OpenAI ၏ ဒေတာ လုံးဝသိမ်းဆည်းမထားခြင်း မူဝါဒကလည်း အရေးကြီးသော လုံခြုံရေးစိုးရိမ်ချက်များကို ဖြေရှင်းပေးခဲ့ပြီး Morgan Stanley ၏ မူပိုင်ဒေတာများကို ကိုယ်ပိုင်လျှို့ဝှက်ထားရှိနိုင်စေခဲ့သည်။

“ကျွန်ုပ်တို့ အရင်ဆုံးရတဲ့ မေးခွန်းတွေထဲက တစ်ခုက ကျွန်ုပ်တို့ရဲ့ အချက်အလက်တွေကို OpenAI က အများသုံး ChatGPT ကို လေ့ကျင့်ဖို့ အသုံးပြုသွားမလား ဆိုတာပါ” ဟု Wu က ဆိုသည်။ “OpenAI အဖွဲ့က ဒေတာ လုံးဝသိမ်းဆည်းမထားခြင်းကို သေချာစေလိုတဲ့ ဆန္ဒရှိမှုက တကယ်ကို အကျိုးသက်ရောက်မှု ကြီးမားခဲ့ပါတယ်”

Morgan Stanley ၏ အရည်အသွေးနှင့် ယုံကြည်စိတ်ချရမှုအပေါ် အာရုံစိုက်မှုကြောင့် ဝန်ထမ်းများ အသုံးပြုလိုသော ယုံကြည်ရပြီး လုံခြုံသော ဖြေရှင်းချက်များ ပေါ်ပေါက်လာခဲ့သည်:

• ယခုအခါ အကြံပေးအဖွဲ့အားလုံးနီးပါးသည် Assistant ကဲ့သို့သော AI ကိရိယာများကို နေ့စဉ်အသုံးပြုနေပြီး wealth management တွင် 98% ကျော် အသုံးပြုမှုကို ရရှိထားသည်။
• စာရွက်စာတမ်းများ ရယူအသုံးပြုနိုင်မှုမှာ 20% မှ 80% သို့ တိုးလာပြီး ရှာဖွေချိန်ကို အလွန်လျှော့ချပေးကာ document retrieval ထိရောက်မှုကို တိုးမြှင့်ပေးခဲ့သည်။
• လုပ်ငန်းတာဝန် အလိုအလျောက်ဆောင်ရွက်မှုနှင့် ပိုမိုမြန်ဆန်သော insight များကြောင့် အကြံပေးများသည် ဖောက်သည်ဆက်ဆံရေးအပေါ် အချိန်ပိုမို သုံးစွဲနိုင်လာသည်။

၎င်းတို့၏ ခိုင်မာသော eval framework သည် အနာဂတ်ဖြေရှင်းချက်များနှင့် ဝန်ဆောင်မှုများအတွက် flywheel တစ်ခုကိုလည်း ဖွင့်ပေးခဲ့သည်။ AI @ Morgan Stanley သည် ဝန်ထမ်းများအတွက် “super app” တစ်ခုအဖြစ် ဖြစ်လာသဖြင့် Morgan Stanley သည် ဌာနများအနှံ့ မရေမတွက်နိုင်သော အသုံးပြုနိုင်မှုများကို မြင်ယောင်ထားပြီး ၎င်း၏ institutional securities group အတွက် Assistant ၏ လုပ်ဆောင်ချက်များကိုလည်း တိုးချဲ့နေပြီဖြစ်သည်။

“အသုံးပြုနိုင်မှုများစွာကို ပံ့ပိုးပေးမယ့် platform တွေကို ကျွန်ုပ်တို့ တည်ဆောက်နေပါတယ်” ဟု Wu က ဆိုသည်။ “Debrief က လက်ရှိမှာ ဖောက်သည်တွေနဲ့ ပြောနေတဲ့ အကြံပေးတွေအတွက် ဖြစ်ပေမယ့် CFO နဲ့ ပြောနေတဲ့ investment banker အတွက်လည်း ဒါကို မရရှိနိုင်ဘူးလား?”

“ဒါဟာ ကျွန်ုပ်တို့ရဲ့ content အရည်အသွေးကို မြှင့်တင်ပေးရုံသာမက ပြဿနာနဲ့ နီးစပ်သူတွေကသာ စိတ်ကူးနိုင်မယ့် ထုတ်ကုန်အသစ်များနှင့် ဝန်ဆောင်မှုအသစ်များကိုလည်း ဖန်တီးပေးတဲ့ အခြေခံကျတဲ့ ပြောင်းလဲမှုတစ်ခုပါ” ဟု McMillan က ဆိုသည်။