Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(નવી વિન્ડોમાં ખૂલે છે)એ OpenAI સાથે મળીને એવા AI ઉકેલો બનાવ્યા કે જે નાણાકીય એડવાઇઝરોને ઝડપી ઇનસાઇટ્સ, વધુ માહિતીસભર નિર્ણયો અને ક્લાયંટ સંબંધોને વધુ ગાઢ બનાવવા કાર્યક્ષમ સમરી ટૂલ્સ દ્વારા સશક્ત બનાવે છે. તેમની સફળતા મજબૂત evaluation framework પર આધારિત હતી, જે ખાતરી કરે છે કે AI વિશ્વસનીય રીતે, સતત અને એડવાઇઝરો અપેક્ષા રાખે તેવા ઊંચા ધોરણો મુજબ કાર્ય કરે.

તેમના workflowsમાં GPT‑4ને એમ્બેડ કરીને, Morgan Stanley Wealth Managementએ નાણાકીય એડવાઇઝરો ફર્મના જ્ઞાન આધાર સુધી કેવી રીતે પહોંચે છે અને ક્લાયંટની જરૂરિયાતોને કેવી રીતે પ્રતિસાદ આપે છે તેમાં સુધારો કર્યો છે. આજે, 98%થી વધુ એડવાઇઝર ટીમો AI @ Morgan Stanley Assistantનો સક્રિય ઉપયોગ કરે છે—નાણાકીય એડવાઇઝરોના પ્રશ્નોના જવાબ આપવા માટે Morgan Stanleyનો આંતરિક ચેટબોટ—સહજ આંતરિક માહિતી પુનઃપ્રાપ્તિ માટે.

નાણાકીય સેવાઓમાં AI અમલમાં મૂકવા માટે એવો વિશ્વાસ જરૂરી હતો કે ટેક્નોલોજી અસાધારણ મૂલ્ય આપશે અને સાથે સાથે ફર્મના ગુણવત્તા અને વિશ્વસનીયતા માટેના કડક ધોરણોને પણ પૂર્ણ કરશે.

Morgan Stanleyએ આ પડકારનો સામનો દરેક AI ઉપયોગ કિસ્સાને અમલમાં મૂકતા પહેલાં પરીક્ષણ કરવા માટે evaluation (eval) framework અમલમાં મૂકીને કર્યો. Evals વાસ્તવિક દુનિયાના ઉપયોગ કિસ્સાઓ સામે મોડલ્સ કેવી રીતે કાર્ય કરે છે તે માપે છે અને દરેક પગલે નિષ્ણાતોના પ્રતિસાદ સાથે સુધારાઓને માર્ગદર્શન આપે છે.

ટીમે તેમના પ્રથમ AI ઉપયોગ કિસ્સાઓ માટે ત્રણ નિશાનિત લક્ષ્યોથી શરૂઆત કરી:

• એડવાઇઝરોને દસ્તાવેજો શોધવામાં લાગતા કલાકો બચાવવા વધુ ઝડપી માહિતી પુનઃપ્રાપ્તિ.
• રિસર્ચ રિપોર્ટ્સનું સારાંશ બનાવવાની જેવી પુનરાવર્તિત કામગીરીઓનું ઓટોમેશન.
• ક્લાયંટની જરૂરિયાતોને અનુરૂપ વધુ સારી ઇનસાઇટ્સ.

તેમના નિષ્ણાતો સામે GPT‑4ની કાર્યક્ષમતાનું મૂલ્યાંકન કરવા માટે, Morgan Stanleyએ summarization evals ચલાવ્યા જેથી મોડલ વિશાળ માત્રામાં રહેલા બૌદ્ધિક મૂડી અને પ્રક્રિયા-આધારિત સામગ્રીને સંક્ષિપ્ત સારાંશોમાં કેટલી અસરકારક રીતે સંકોચે છે તે તપાસી શકાય. એડવાઇઝરો અને પ્રોમ્પ્ટ એન્જિનિયરો એ ચોકસાઈ અને સગળાપણું માટે AI પ્રતિસાદોને ગ્રેડ આપ્યા, જેના કારણે ટીમ પ્રોમ્પ્ટ્સને સુધારી શકી અને આઉટપુટની ગુણવત્તા ઊંચી કરી શકી.

eval framework સ્થિર નહોતું; ટીમ શીખતી ગઈ તેમ તે વિકસતું ગયું. ત્યારબાદ તેમણે બહુભાષી ક્લાયંટ્સ માટે translation evals રજૂ કર્યા અને OpenAI સાથે નજીકથી કામ કરીને રિટ્રિવલ પદ્ધતિઓને ફાઇન-ટ્યુન કરી, જેથી AI સતત વિસ્તરતી દસ્તાવેજ લાઇબ્રેરીને સંભાળી શકે તેની ખાતરી થઈ.

“અમે 7,000 પ્રશ્નોના જવાબ આપી શકતા હતા તે સ્થિતિથી આગળ વધી હવે 100,000 દસ્તાવેજોના કોર્પસમાંથી અસરકારક રીતે કોઈપણ પ્રશ્નનો જવાબ આપી શકીએ તેવી સ્થિતિએ પહોંચ્યા છીએ,” Morgan Stanley ખાતે Head of Firmwide AI Product & Architecture Strategy, David Wu કહે છે.

McMillan નોંધે છે કે AI @ Morgan Stanley Assistant તરફથી મળતા ઝડપી અને વિશ્વસનીય જવાબોએ એડવાઇઝરોની વાતચીત પર મોટી અસર પાડી છે. “હવે એડવાઇઝરો એવા વિષયો પર ક્લાયંટ્સ સાથે જોડાઈ શકે છે, જેમની તેઓએ પહેલાં ચર્ચા કરી નહોતી, કારણ કે જ્ઞાન અને સંચાર વચ્ચેનું ઘર્ષણ શૂન્ય થઈ ગયું છે.”

નાણાકીય એડવાઇઝરોના પ્રશ્નોના જવાબ આપવા માટે Morgan Stanleyના આંતરિક ચેટબોટ AI @ Morgan Stanley Assistantની સફળતા પર આધાર રાખીને, ટીમે AI @ Morgan Stanley Debrief શરૂ કર્યું, જે Whisper અને GPT‑4 દ્વારા સંચાલિત નાણાકીય એડવાઇઝરો માટેનું મીટિંગ સમરી ટૂલ છે.

ક્લાયંટની સંમતિ સાથે Debrief Zoom રેકોર્ડિંગ્સને ક્લાયંટ નોટ્સ જેવા કાર્યક્ષમ આઉટપુટમાં ફેરવે છે, જે આપોઆપ CRM સિસ્ટમોમાં સંકલિત થાય છે, તેમજ ડ્રાફ્ટ ફોલો-અપ્સમાં, જે મુખ્ય એક્શન આઇટમ્સનું સારાંશ આપે છે અને જેને એડવાઇઝરો સુધારીને મોકલી શકે છે.

એડવાઇઝરો AI દ્વારા જનરેટ થયેલા આઉટપુટ્સને અંતિમરૂપ આપતાં પહેલાં સમીક્ષા કરે છે અને સમાયોજિત કરે છે, જેથી ઓટોમેશન અને માનવીય દેખરેખ વચ્ચે સંતુલન જળવાઈ રહે.

બંને ટૂલ્સને Morgan Stanleyના eval-પ્રેરિત અભિગમનો લાભ મળ્યો. Debrief માટે, ટીમે વિવિધ મીટિંગ પ્રકારોને પ્રતિનિધિત્વ કરતા મૂલ્યાંકન ડેટાસેટ્સ વિકસાવ્યા અને ભૂલો ઉમેર્યા વગર મહત્વપૂર્ણ એક્શન આઇટમ્સ પકડવાની મોડલની ક્ષમતાનું કડક પરીક્ષણ કર્યું.

નાણાકીય સેવાઓના કડક અનુપાલન ધોરણોને પૂર્ણ કરવા માટે, Morgan Stanleyએ તેમના eval ફ્રેમવર્કમાં ગુણવત્તા ખાતરીને સંકલિત કરી. નમૂનાઓના પ્રશ્નોની રિગ્રેશન સ્યુટ સાથેની દૈનિક પરીક્ષણ પ્રક્રિયાએ સંભવિત કમજોરીઓ ઓળખી અને અનુરૂપ આઉટપુટ આપવાની સિસ્ટમની ક્ષમતા સુધારી.

“અમે જે બધા પ્રશ્નો ઇનપુટ કરીએ છીએ અને જે આઉટપુટ મળી રહ્યા છે તેના આધારે, અમે OpenAI સાથે બેસીને કહીએ, ‘Morgan Stanleyમાં અમને જે ચોકસાઈ જોઈએ છે તેમાં મદદ કરવા માટે અમારી રિટ્રિવલ પદ્ધતિઓમાં અમે શું બદલી શકીએ?’” Elliott કહે છે.

OpenAIની ઝીરો ડેટા રિટેન્શન પોલિસીએ મુખ્ય સુરક્ષા ચિંતાઓને પણ ઉકેલી, જેથી Morgan Stanleyનો માલિકી હકવાળો ડેટા ખાનગી રહે તેની ખાતરી થઈ.

“અમને મળતા પ્રથમ પ્રશ્નોમાંનો એક એ હોય છે કે શું અમારી માહિતી OpenAI દ્વારા જાહેર ChatGPTને ટ્રેન કરવા માટે વપરાશે?” Wu કહે છે. “ઝીરો ડેટા રિટેન્શન સુનિશ્ચિત કરવા માટે OpenAI ટીમની તૈયારી ખરેખર બહુ અસરકારક રહી છે.”

Morgan Stanleyનું ગુણવત્તા અને વિશ્વસનીયતા પરનું ધ્યાન એવા વિશ્વસનીય, સુરક્ષિત ઉકેલો સુધી પહોંચ્યું છે, જેનો કર્મચારીઓ ઉપયોગ કરવા ઇચ્છે છે:

• હવે લગભગ બધી જ એડવાઇઝર ટીમો Assistant જેવી AI ટૂલ્સનો દૈનિક ઉપયોગ કરે છે, અને wealth managementમાં 98%થી વધુ અપનાવ હાંસલ કર્યો છે.
• દસ્તાવેજોની પહોંચ 20%થી વધીને 80% થઈ ગઈ છે, જેના કારણે શોધમાં લાગતો સમય નોંધપાત્ર રીતે ઘટ્યો છે અને દસ્તાવેજ પુનઃપ્રાપ્તિ કાર્યક્ષમતા વધી છે.
• ટાસ્ક ઓટોમેશન અને ઝડપી ઇનસાઇટ્સના કારણે એડવાઇઝરો ક્લાયંટ સંબંધો પર વધુ સમય વિતાવે છે.

તેમના મજબૂત eval ફ્રેમવર્કે ભવિષ્યના ઉકેલો અને સેવાઓ માટે ગતિચક્ર પણ શરૂ કર્યું છે. કર્મચારીઓ માટે AI @ Morgan Stanley એક “સુપર એપ” બનતાં, Morgan Stanley વિવિધ વિભાગોમાં અસંખ્ય ઉપયોગ કિસ્સાઓ જોઈ રહ્યું છે અને તેની institutional securities group માટે Assistantની કાર્યક્ષમતાનું સ્કેલિંગ પહેલેથી જ કરી રહ્યું છે.

“અમે એવા પ્લેટફોર્મ બનાવી રહ્યા છીએ જે ઘણા અન્ય ઉપયોગ કિસ્સાઓને સમર્થન આપશે,” Wu કહે છે. “હાલ Debrief ક્લાયંટ સાથે વાત કરતા એડવાઇઝરો માટે છે, પણ CFO સાથે વાત કરતા investment banker માટે અમે તેને ઉપલબ્ધ કેમ ન બનાવી શકીએ?”

“આ મૂળભૂત ફેરફાર છે, જે અમારી સામગ્રીની ગુણવત્તા સુધારે છે અને એવા નવા ઉત્પાદનો અને સેવાઓ ઊભા કરે છે, જેઓની કલ્પના માત્ર સમસ્યાની નજીક રહેલા લોકો જ કરી શકે,” McMillan કહે છે.