Morgan Stanley uses AI evals to shape the future of financial services
Morgan Stanley(жаңа терезеде ашылады) OpenAI-пен бірлесіп, қаржылық кеңесшілерге жылдамырақ инсайттар, анағұрлым негізделген шешімдер және клиенттермен қарым-қатынасты тереңдетуге арналған тиімді қорытындылау құралдарын ұсынатын AI шешімдерін құрды. Олардың жетістігінің негізінде AI-дың сенімді, тұрақты және кеңесшілер күтетін жоғары стандарттарға сай жұмыс істеуін қамтамасыз ететін берік бағалау фреймворкі жатты.
GPT‑4‑ті өз жұмыс ағындарына енгізу арқылы Morgan Stanley Wealth Management қаржылық кеңесшілердің компанияның білім қорына қол жеткізуі мен клиент қажеттіліктеріне жауап беру тәсілін жақсартты. Бүгінде кеңесші топтарының 98%-дан астамы ішкі ақпаратты кедергісіз іздеп табу үшін қаржылық кеңесшілердің сұрақтарына жауап беруге арналған Morgan Stanley-дің ішкі чатботы — AI @ Morgan Stanley Assistant-ты белсенді қолданады.
«Бұл технология сізді ұйымдағы ең ақылды адамдай етеді. Әр клиент әртүрлі, ал AI бізге әр клиенттің бірегей қажеттіліктеріне бейімделуге көмектеседі.»
Қаржылық қызметтерге AI енгізу технологияның компанияның сапа мен сенімділікке қатысты қатаң стандарттарына сай бола отырып, елеулі құндылық әкелетініне сенімділікті талап етті.
Morgan Stanley бұл міндетті іске қосу алдында әрбір AI қолдану жағдайын сынайтын бағалау (eval) фреймворкін енгізу арқылы шешті. Evals модельдердің нақты өмірдегі қолдану жағдайларына қатысты қалай жұмыс істейтінін өлшейді және әр қадамда сарапшылардың кері байланысымен жақсартуларға бағыт береді.
Команда өзінің алғашқы AI қолдану жағдайлары үшін үш нысаналы мақсаттан бастады:
- Кеңесшілердің құжат іздеуге кететін сағаттарын үнемдеу үшін ақпаратты жылдамырақ табу.
- Зерттеу есептерін қорытындылау сияқты қайталанатын тапсырмаларды автоматтандыру.
- Клиент қажеттіліктеріне бейімделген жақсартылған инсайттар.
GPT‑4 жұмысының сарапшылар нәтижелерімен салыстырғандағы өнімділігін бағалау үшін Morgan Stanley summarization evals жүргізіп, модельдің зияткерлік капитал мен үдерістерге негізделген контенттің орасан көлемін қысқа түйіндерге қаншалықты тиімді жинақтай алатынын сынады. Кеңесшілер мен көмексөз инженерлері AI жауаптарын дәлдігі мен қисындылығы бойынша бағалап, командаға көмексөздерді жетілдіруге және нәтиже сапасын арттыруға мүмкіндік берді.
Eval фреймворкі өзгеріссіз болған жоқ; команда үйренген сайын ол да дамыды. Кейін олар көптілді клиенттер үшін translation evals енгізіп, AI үздіксіз кеңейіп жатқан құжат кітапханасымен жұмыс істей алуын қамтамасыз ету үшін OpenAI-пен тығыз жұмыс істеп, іздеп табу әдістерін дәл баптады.
«Біз 7 000 сұраққа жауап бере алатын деңгейден қазір 100 000 құжаттан тұратын корпустағы іс жүзінде кез келген сұраққа тиімді жауап бере алатын деңгейге жеттік», — дейді Morgan Stanley компаниясындағы бүкіл компаниялық AI өнімдері мен архитектура стратегиясының басшысы David Wu.
McMillan AI @ Morgan Stanley Assistant ұсынатын жылдам әрі сенімді жауаптардың кеңесшілердің әңгімелеріне әсерін атап өтеді. «Енді кеңесшілер бұрын талқыламаған тақырыптар бойынша клиенттермен сөйлесе алады, өйткені білім мен коммуникация арасындағы кедергі нөлге түсті.»
Қаржылық кеңесшілердің сұрақтарына жауап беруге арналған Morgan Stanley-дің ішкі чатботы AI @ Morgan Stanley Assistant-тың жетістігіне сүйене отырып, команда Whisper мен GPT‑4 негізіндегі қаржылық кеңесшілерге арналған кездесуді қорытындылау құралы — AI @ Morgan Stanley Debrief-ті іске қосты.
Клиенттің келісімімен Debrief Zoom жазбаларын CRM жүйелеріне автоматты түрде біріктірілетін клиент жазбалары сияқты әрекетке жарамды нәтижелерге және кеңесшілер өңдеп, жібере алатын негізгі әрекет тармақтарын жинақтайтын кейінгі хаттардың бастапқы нұсқаларына айналдырады.
Кеңесшілер AI жасаған нәтижелерді аяқтамас бұрын қарап шығып, түзетеді, осылайша автоматтандыру мен адам бақылауы арасындағы тепе-теңдікті сақтайды.
Екі құрал да Morgan Stanley-дің eval-ге негізделген тәсілінен пайда көрді. Debrief үшін команда әртүрлі кездесу түрлерін көрсететін бағалау деректер жинақтарын әзірлеп, модельдің қателер енгізбей, маңызды әрекет тармақтарын тіркей алу қабілетін қатаң сынады.
«Кеңесшілерден келген пікірлер өте жағымды болды. Олар клиенттермен көбірек жұмыс істейді, ал бұрын бірнеше күн алатын кейінгі әрекеттер енді бірнеше сағат ішінде орындалады.»
Қаржылық қызметтер саласының қатаң сәйкестік стандарттарына сай болу үшін Morgan Stanley өздерінің eval фреймворкіне сапаны қамтамасыз етуді біріктірді. Үлгі сұрақтардан тұратын регрессиялық жинақпен күнделікті тестілеу ықтимал әлсіз тұстарды анықтап, жүйенің талаптарға сай нәтижелер беру қабілетін жақсартты.
«Біз енгізетін барлық сұрақтар мен алып жатқан нәтижелерге сүйене отырып, OpenAI-пен бірге отырып: “Morgan Stanley-ге қажет дәлдікке жетуге көмектесу үшін іздеп табу әдістерімізде нені өзгерте аламыз?” деп талқылайтынбыз», — дейді Elliott.
OpenAI-дың деректерді мүлде сақтамау саясаты да негізгі қауіпсіздік алаңдаушылықтарын шешіп, Morgan Stanley-дің меншікті деректерінің құпия күйде қалуын қамтамасыз етті.
«Бізге ең алдымен қойылатын сұрақтардың бірі — біздің ақпарат OpenAI тарапынан қоғамдық ChatGPT‑ті үйрету үшін қолданыла ма?», — дейді Wu. «OpenAI тобының деректерді мүлде сақтамауды қамтамасыз етуге дайындығы шынымен зор әсер етті.»
Morgan Stanley-дің сапа мен сенімділікке басымдық беруі қызметкерлер қолданғысы келетін сенімді әрі қауіпсіз шешімдерге әкелді:
- Қазір кеңесші топтарының дерлік барлығы Assistant сияқты AI құралдарын күн сайын қолданады, бұл ауқатты басқару саласында 98%-дан жоғары енгізілуге жеткізді.
- Құжаттарға қолжетімділік 20%-дан 80%-ға өсті, бұл іздеуге кететін уақытты күрт қысқартып, құжаттарды табу тиімділігін арттырды.
- Тапсырмаларды автоматтандыру мен жылдамырақ инсайттардың арқасында кеңесшілер клиенттермен қарым-қатынасқа көбірек уақыт бөледі.
Олардың мықты eval фреймворкі болашақ шешімдер мен қызметтер үшін де серпін беретін тетікке айналды. AI @ Morgan Stanley қызметкерлерге арналған «супер қолданбаға» айналып жатқандықтан, Morgan Stanley бөлімшелер бойынша сансыз қолдану жағдайларын көздейді және өз институционалдық бағалы қағаздар тобы үшін Assistant функцияларын қазірдің өзінде ауқымдап жатыр.
«Біз көптеген басқа қолдану жағдайларын қолдайтын платформалар құрып жатырмыз», — дейді Wu. «Debrief қазір клиенттермен сөйлесетін кеңесшілерге арналған, бірақ неге оны CFO-мен сөйлесетін инвестициялық банкирге де қолжетімді етпеске?»
«Бұл — контентіміздің сапасын жақсартып қана қоймай, мәселенің өзіне жақын адамдар ғана елестете алатын жаңа өнімдер мен қызметтерді жасайтын түбегейлі өзгеріс», — дейді McMillan.
