Morgan Stanley uses AI evals to shape the future of financial services
Morgan Stanley(ku furmaa daaqad cusub) waxay la shaqeysay OpenAI si ay u dhisto xalal AI ah oo awood siinaya la-taliyeyaasha maaliyadeed aragtiyo degdeg badan, go'aanno xog-ogaal ah, iyo qalabyo soo koobid oo hufan si loo qoto-dheereeyo xiriirrada macaamiisha. Guushoodu waxay ku dhisnayd qaab-dhismeed qiimeyn adag oo hubiya in AI ay si lagu kalsoonaan karo, joogto ah, iyo heerarka sare ee ay la-taliyeyaashu filayaan ugu shaqeyso.
Iyadoo GPT‑4 lagu dhex daray hab-socodkooda shaqo, Morgan Stanley Wealth Management waxay hagaajisay sida la-taliyeyaasha maaliyadeed u helaan saldhigga aqoonta shirkadda ugana jawaabaan baahiyaha macaamiisha. Maanta, in ka badan 98% kooxaha la-taliyeyaasha ayaa si firfircoon u isticmaala AI @ Morgan Stanley Assistant—chatbot-ka gudaha ee Morgan Stanley ee ka jawaaba su’aalaha la-taliyeyaasha maaliyadeed—si loo helo soo-celin macluumaad gudaha ah oo aan kala go’ lahayn.
“Tiknoolajiyaddan waxay kaa dhigaysaa qof u caqli badan sida qofka ugu caqliga badan ururka. Macmiil kastaa wuu ka duwan yahay, AI-na waxay naga caawisaa inaan daboolno baahiyaha gaarka ah ee macmiil kasta.”
Soo bandhigista AI ee adeegyada maaliyadeed waxay u baahnayd kalsooni ah in tiknoolajiyaddu ay keeni doonto qiime weyn iyadoo isla markaas buuxinaysa heerarka adag ee shirkadda ee tayada iyo isku-halleynta.
Morgan Stanley waxay caqabaddan kaga hortagtay hirgelinta qaab-dhismeed qiimeyn (eval) ah si loo tijaabiyo xaalad kasta oo isticmaal AI ah ka hor inta aan la hawlgelin. Evals-ku waxay cabbiraan sida noocyadu uga shaqeeyaan xaaladaha isticmaalka ee dunida dhabta ah waxayna hagaan hagaajinta, iyadoo la helayo jawaab-celin khubaro, tallaabo kasta.
Kooxdu waxay ku billowday saddex yool oo bartilmaameed ah oo loogu talagalay xaaladahoodii ugu horreeyay ee isticmaalka AI:
- Soo-celin xogeed oo degdeg badan si loo badbaadiyo la-taliyeyaasha saacado raadinta dukumentiyada ah.
- Otomaatigga hawlaha soo noqnoqda sida soo koobidda warbixinnada cilmi-baarista.
- Aragtiyo la xoojiyay oo ku habboon baahiyaha macaamiisha.
Si ay u qiimeeyaan waxqabadka GPT‑4 marka loo eego khubaradooda, Morgan Stanley waxay samaysay summarization evals si loo tijaabiyo sida wax ku oolka ah ee noocku u soo koobay tiro badan oo aqoon urursan iyo nuxur geeddi-socod ku dhisan oo uu ugu beddelay soo koobidyo kooban. La-taliyeyaasha iyo injineerrada weydiinta ayaa darajayn jiray jawaabaha AI marka loo eego saxnaanta iyo isku xidhnaanta, taas oo u saamaxday kooxda inay sifeeyaan weydiimaha oo ay hagaajiyaan tayada natiijada.
Qaab-dhismeedka eval-ku ma ahayn mid taagan; wuu isbeddelayay markii ay kooxdu wax baranaysay. Markaas waxay soo kordhiyeen translation evals ee macaamiisha luqado badan leh waxayna si dhow ula shaqeeyeen OpenAI si ay u sifeeyaan hababka soo-celinta, iyagoo hubinaya in AI ay xamili karto maktabad dukumentiyo ah oo sii ballaaranaysa.
“Waxaan ka soo gudubnay inaan awoodno ka jawaabidda 7,000 su’aalood una gudubnay meel aan hadda si wax ku ool ah uga jawaabi karno su’aal kasta oo ka timaadda ururin ka kooban 100,000 dukumenti,” ayuu yiri David Wu, Madaxa Istaraatiijiyadda Badeecadda iyo Dhismaha AI ee Shirkadda oo Dhan ee Morgan Stanley.
McMillan wuxuu xusay saameynta ay jawaabaha degdegga ah ee la isku hallayn karo ee AI @ Morgan Stanley Assistant ku yeesheen wada sheekaysiyada la-taliyeyaasha. “Hadda, la-taliyeyaashu waxay macaamiisha kala hadli karaan mawduucyo aysan hore uga hadlin sababtoo ah khilaafkii u dhexeeyay aqoonta iyo isgaarsiinta wuxuu noqday eber.”
Iyadoo lagu sii dhisayo guusha AI @ Morgan Stanley Assistant, oo ah chatbot-ka gudaha ee Morgan Stanley ee ka jawaaba su’aalaha la-taliyeyaasha maaliyadeed, kooxdu waxay soo saartay AI @ Morgan Stanley Debrief, oo ah qalab soo koobid kulan oo loogu talagalay la-taliyeyaasha maaliyadeed kana shaqeeya Whisper iyo GPT‑4.
Debrief wuxuu duubista Zoom, iyadoo oggolaanshaha macmiilka la haysto, u beddelaa natiijooyin wax-ku-ool ah sida qoraallada macmiilka, kuwaas oo si toos ah loogu dhex daro nidaamyada CRM, iyo qabyo-qoraallo dabagal ah oo soo koobaya qodobbada waxqabadka muhiimka ah kuwaas oo la-taliyeyaashu sifeyn karaan oo diri karaan.
La-taliyeyaashu waxay dib u eegaan oo hagaajiyaan natiijooyinka ay AI abuurtay ka hor inta aan la dhammeystirin, iyagoo ilaalinaya dheellitirka u dhexeeya otomaatigga iyo kormeerka aadanaha.
Labada qalabba waxay ka faa’iideysteen habka Morgan Stanley ee eval-ku wado. Debrief, kooxdu waxay samaysay xog-ururinno qiimeyn ah oo matalaya noocyo kala duwan oo kulammo ah waxayna si adag u tijaabisay awoodda nooca ee qabashada qodobbada waxqabadka muhiimka ah iyada oo aan khaladaad la soo gelin.
“Jawaab-celinta la-taliyeyaasha waxay ahayd mid aad u wanaagsan. Waxay si badan ula falgalaan macaamiisha, dabagaladuna kuwii markii hore maalmo qaadan jiray hadda waxay ku dhacaan saacado gudahood.”
Si loo waafajiyo heerarka adag ee u hoggaansanaanta adeegyada maaliyadeed, Morgan Stanley waxay ku dhex dartay hubinta tayada qaab-dhismeedkooda eval. Tijaabo maalinle ah oo lagu sameeyo xirmo regression ah oo su’aalo muunad ah ayaa aqoonsatay meelaha daciifka ah ee iman kara waxayna hagaajisay awoodda nidaamka ee bixinta natiijooyin waafaqsan shuruudaha.
“Iyadoo lagu salaynayo dhammaan su’aalaha aan gelinno iyo natiijooyinka aan helayno, waxaan la fariisan jirnay OpenAI oo aan nidhaahno, ‘Maxaan ka beddeli karnaa hababka soo-celintayada si ay uga caawiyaan saxnaanta aan uga baahan nahay Morgan Stanley?’” ayuu yiri Elliott.
xeerka haynta xog haynta eberka ah ee OpenAI ayaa sidoo kale wax ka qabtay walaacyada amniga ee muhiimka ah, iyadoo hubinaysa in xogta gaarka ah ee Morgan Stanley ay ahaato mid gaar loo leeyahay.
“Mid ka mid ah su’aalaha ugu horreeya ee nala weydiiyo waa, macluumaadkayaga ma OpenAI ayaa u adeegsan doonta tababarka dadweynaha ee ChatGPT?” ayuu yiri Wu. “Diyaargarowga kooxda OpenAI ee xaqiijinta xog haynta eberka ah runtii saameyn weyn ayuu yeeshay.”
Diiradda Morgan Stanley ee tayada iyo isku-halleynta ayaa horseeday xalal la aamini karo oo ammaan ah oo shaqaaluhu rabaan inay isticmaalaan:
- Ku dhowaad dhammaan kooxaha la-taliyeyaashu hadda waxay maalin kasta isticmaalaan aaladaha AI sida Assistant, iyagoo gaadhay in ka badan 98% qaadasho maaraynta hantida.
- Helitaanka dukumentiyada ayaa ka kacay 20% ilaa 80%, taasoo si weyn u yaraysay waqtiga raadinta isla markaana kordhisay hufnaanta soo-celinta dukumentiyada.
- La-taliyeyaashu waxay waqti badan ku bixiyaan xiriirrada macaamiisha, taas oo ay ugu wacan tahay otomaatigga hawlaha iyo aragtiyo degdeg badan.
Qaab-dhismeedkooda eval ee adag ayaa sidoo kale furay wareeg-dardargelin u ah xalalka iyo adeegyada mustaqbalka. Iyadoo AI @ Morgan Stanley uu u noqday “super app” shaqaalaha, Morgan Stanley waxay aragtaa xaalado isticmaal oo aan la tirin karin oo waaxyaha oo dhan ah, waxayna durba ballaarinaysaa shaqeynta Assistant ee kooxda securities-keeda hay’adeed.
“Waxaan dhiseynaa meelo shaqo oo taageeri doona xaalado isticmaal oo kale oo badan,” ayuu yiri Wu. “Debrief hadda wuxuu u yahay la-taliyeyaasha la hadlaya macaamiisha, laakiin maxaa noo diidaya inaan taas u diyaarino bangi-hayaha maalgashiga ee la hadlaya CFO-ga?”
“Waa isbeddel aasaasi ah oo labadaba hagaajinaya tayada nuxurkeenna isla markaana abuuraya badeecooyin iyo adeegyo cusub oo ay qiyaasi karaan oo keliya dadka dhibaatada si dhow ugu dhow,” ayuu yiri McMillan.
