Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(იხსნება ახალ ფანჯარაში) OpenAI-სთან თანამშრომლობდა AI გადაწყვეტილებების შესაქმნელად, რომლებიც ფინანსურ მრჩევლებს აძლევს უფრო სწრაფ ინსაითებს, უფრო ინფორმირებულ გადაწყვეტილებებს და ეფექტიან შეჯამების ინსტრუმენტებს კლიენტებთან ურთიერთობის გასაღრმავებლად. მათი წარმატება დაფუძნებული იყო ძლიერ შეფასების ჩარჩოზე, რომელიც უზრუნველყოფს, რომ AI მუშაობდეს სანდოდ, თანმიმდევრულად და იმ მაღალი სტანდარტების შესაბამისად, რასაც მრჩევლები ელიან.

GPT‑4‑ის თავიანთ სამუშაო პროცესებში ჩაშენებით, Morgan Stanley Wealth Management-მა გააუმჯობესა ის, თუ როგორ იღებენ ფინანსური მრჩევლები კომპანიის ცოდნის ბაზაზე წვდომას და როგორ პასუხობენ კლიენტების საჭიროებებს. დღეს მრჩეველთა გუნდების 98%-ზე მეტი აქტიურად იყენებს AI @ Morgan Stanley Assistant-ს — Morgan Stanley-ის შიდა ჩატბოტს ფინანსური მრჩევლების კითხვებზე პასუხის გასაცემად — შიდა ინფორმაციის შეუფერხებელი მოძიებისთვის.

ფინანსურ სერვისებში AI-ის დანერგვა მოითხოვდა რწმენას, რომ ტექნოლოგია მნიშვნელოვან ღირებულებას შექმნიდა და ამავდროულად დააკმაყოფილებდა კომპანიის ხარისხისა და სანდოობის მკაცრ სტანდარტებს. 

Morgan Stanley-მ ამ გამოწვევას უპასუხა შეფასების (eval) ჩარჩოს დანერგვით, რათა ყველა AI გამოყენების შემთხვევა გაშვებამდე შეემოწმებინა. Evals ზომავს, როგორ მუშაობენ მოდელები რეალური სამყაროს გამოყენების შემთხვევებთან მიმართებით, და ყოველ ეტაპზე, ექსპერტების უკუკავშირის დახმარებით, გაუმჯობესებას წარმართავს.

გუნდმა პირველი AI გამოყენების შემთხვევებისთვის სამი კონკრეტული მიზანი დასახა:

• ინფორმაციის უფრო სწრაფი მოძიება, რათა მრჩევლებს დოკუმენტების ძიებაში საათები დაეზოგოთ.
• განმეორებადი ამოცანების ავტომატიზაცია, მაგალითად, კვლევითი ანგარიშების შეჯამება.
• კლიენტების საჭიროებებზე მორგებული გაუმჯობესებული ინსაითები.

იმის შესაფასებლად, თუ როგორ მუშაობდა GPT‑4 მათი ექსპერტების დონესთან შედარებით, Morgan Stanley-მ ჩაატარა summarization evals, რათა გამოეცადა, რამდენად ეფექტურად ახდენდა მოდელი ინტელექტუალური კაპიტალისა და პროცესებზე დაფუძნებული კონტენტის დიდი მოცულობის მოკლე შეჯამებებში შეკუმშვას. მრჩევლები და მოთხოვნების ინჟინრები AI-ის პასუხებს სიზუსტისა და თანმიმდევრულობის მიხედვით აფასებდნენ, რაც გუნდს საშუალებას აძლევდა, დაეხვეწა მოთხოვნები და გაეუმჯობესებინა შედეგების ხარისხი.

eval ჩარჩო სტატიკური არ ყოფილა; ის ვითარდებოდა, როგორც გუნდი სწავლობდა. შემდეგ მათ შემოიღეს translation evals მრავალენოვანი კლიენტებისთვის და მჭიდროდ ითანამშრომლეს OpenAI-სთან მოძიების მეთოდების დასახვეწად, რათა უზრუნველეყოთ, რომ AI-ს სულ უფრო მზარდი დოკუმენტების ბიბლიოთეკის დამუშავება შეძლებოდა. 

„7,000 კითხვაზე პასუხის შესაძლებლობიდან მივედით იქამდე, რომ ახლა შეგვიძლია ეფექტურად ვუპასუხოთ ნებისმიერ კითხვას 100,000 დოკუმენტის კორპუსიდან,“ ამბობს David Wu, Morgan Stanley-ის Firmwide AI Product & Architecture Strategy-ის ხელმძღვანელი.

McMillan აღნიშნავს, რა გავლენა მოახდინა AI @ Morgan Stanley Assistant-ის სწრაფმა და სანდო პასუხებმა მრჩევლების საუბრებზე. „ახლა მრჩევლებს შეუძლიათ კლიენტებთან ის თემებიც განიხილონ, რომლებზეც ადრე არ უსაუბრიათ, რადგან ცოდნასა და კომუნიკაციას შორის ხახუნი ნულამდე შემცირდა.“ 

AI @ Morgan Stanley Assistant-ის წარმატებაზე დაყრდნობით — Morgan Stanley-ის შიდა ჩატბოტისა, რომელიც ფინანსური მრჩევლების კითხვებს პასუხობს — გუნდმა გაუშვა AI @ Morgan Stanley Debrief, შეხვედრების შეჯამების ინსტრუმენტი ფინანსური მრჩევლებისთვის, რომელსაც Whisper და GPT‑4 ამუშავებს. 

კლიენტის თანხმობით, Debrief Zoom-ის ჩანაწერებს გარდაქმნის ქმედით შედეგებად, როგორიცაა კლიენტის ჩანაწერები, რომლებიც ავტომატურად ინტეგრირდება CRM სისტემებში, და შემდგომი კომუნიკაციის მონახაზები, რომლებიც აჯამებს მთავარ ქმედით პუნქტებს და რომელთა დახვეწა და გაგზავნა მრჩევლებს შეუძლიათ.

მრჩევლები AI-ის მიერ გენერირებულ შედეგებს ამოწმებენ და ასწორებენ მათ საბოლოოდ დამტკიცებამდე, რითაც ინარჩუნებენ ბალანსს ავტომატიზაციასა და ადამიანის ზედამხედველობას შორის.

ორივე ინსტრუმენტმა სარგებელი მიიღო Morgan Stanley-ის eval-ებზე დაფუძნებული მიდგომიდან. Debrief-ისთვის გუნდმა შექმნა შეფასების მონაცემთა ნაკრები, რომელიც სხვადასხვა ტიპის შეხვედრებს ასახავდა, და მკაცრად შეამოწმა მოდელის უნარი, დაეფიქსირებინა კრიტიკული ქმედითი პუნქტები შეცდომების შეტანის გარეშე.

ფინანსური სერვისების სფეროს მკაცრი შესაბამისობის სტანდარტების დასაკმაყოფილებლად, Morgan Stanley-მ ხარისხის უზრუნველყოფა საკუთარ eval ჩარჩოში ინტეგრირა. ნიმუშური კითხვების რეგრესიული ნაკრებით ყოველდღიურმა ტესტირებამ შესაძლო სისუსტეები გამოავლინა და სისტემის შესაძლებლობა გააუმჯობესა, რომ შესაბამისი შედეგები მიეწოდებინა.

„ყველა იმ კითხვისა და შედეგის საფუძველზე, რასაც ვიღებდით, OpenAI-სთან ერთად ვსხდებოდით და ვამბობდით: ‘რა შეგვიძლია შევცვალოთ ჩვენს მოძიების მეთოდებში, რათა მივიღოთ ის სიზუსტე, რომელიც Morgan Stanley-ს სჭირდება?’“ — ამბობს Elliott.

OpenAI-ის მონაცემთა ნულოვანი შენარჩუნების პოლიტიკამ ასევე მოაგვარა უსაფრთხოების მნიშვნელოვანი საკითხები და უზრუნველყო, რომ Morgan Stanley-ის საკუთრებითი მონაცემები კონფიდენციალური დარჩენილიყო.

„ერთ-ერთი პირველი კითხვა, რომელსაც ვიღებთ, არის: გამოიყენებს თუ არა OpenAI ჩვენს ინფორმაციას საჯარო ChatGPT‑ის გასაწვრთნელად?“ — ამბობს Wu. „OpenAI-ის გუნდის მზადყოფნა, უზრუნველეყო მონაცემთა ნულოვანი შენარჩუნება, მართლაც ძალიან მნიშვნელოვანი იყო.“

Morgan Stanley-ის ფოკუსმა ხარისხსა და სანდოობაზე გამოიწვია სანდო და დაცული გადაწყვეტილებები, რომელთა გამოყენებაც თანამშრომლებს სურთ:

• დღეს თითქმის ყველა მრჩეველთა გუნდი ყოველდღიურად იყენებს AI ინსტრუმენტებს, როგორიცაა Assistant, და სიმდიდრის მართვაში 98%-ზე მეტ დანერგვას აღწევს.
• დოკუმენტებზე წვდომა 20%-იდან 80%-მდე გაიზარდა, რამაც ძიების დრო მკვეთრად შეამცირა და დოკუმენტების მოძიების ეფექტიანობა გაზარდა.
• ამოცანების ავტომატიზაციისა და უფრო სწრაფი ინსაითების წყალობით, მრჩევლები მეტ დროს უთმობენ კლიენტებთან ურთიერთობებს.

მათმა ძლიერმა eval ჩარჩომ ასევე შექმნა ბიძგი მომავალი გადაწყვეტილებებისა და სერვისებისთვის. რადგან AI @ Morgan Stanley თანამშრომლებისთვის „სუპერ აპად“ იქცევა, Morgan Stanley სხვადასხვა დეპარტამენტში უთვალავ გამოყენების შემთხვევას ხედავს და უკვე ზრდის Assistant-ის ფუნქციონალს ინსტიტუციური ფასიანი ქაღალდების ჯგუფისთვის.

„ვქმნით პლატფორმებს, რომლებიც ბევრ სხვა გამოყენების შემთხვევასაც დაუჭერს მხარს,“ ამბობს Wu. „Debrief ამჟამად განკუთვნილია მრჩევლებისთვის, რომლებიც კლიენტებს ესაუბრებიან, მაგრამ რატომ არ უნდა გავხადოთ ის ხელმისაწვდომი ინვესტიციური ბანკირისთვისაც, რომელიც CFO-ს ესაუბრება?“ 

„ეს ფუნდამენტური ცვლილებაა, რომელიც ერთდროულად აუმჯობესებს ჩვენი კონტენტის ხარისხს და ქმნის ახალ პროდუქტებსა და სერვისებს, რომელთა წარმოდგენაც მხოლოდ იმ ადამიანებს შეუძლიათ, ვინც პრობლემასთან ახლოს არიან,“ ამბობს McMillan.