Morgan Stanley uses AI evals to shape the future of financial services

Morgan Stanley⁠(шинэ цонхонд нээгдэнэ) нь санхүүгийн зөвлөхүүдэд илүү хурдан инсайт, илүү мэдээлэлтэй шийдвэр, харилцагчийн харилцааг гүнзгийрүүлэх үр ашигтай хураангуйлах хэрэгслээр дэмжих AI шийдлүүдийг бүтээхийн тулд OpenAI-тай хамтран ажилласан. Тэдний амжилт нь AI зөвлөхүүдийн хүлээдэг өндөр түвшинд найдвартай, тогтвортой ажиллахыг баталгаажуулдаг хүчирхэг үнэлгээний хүрээнд суурилсан.

GPT‑4‑ийг ажлын урсгалдаа суулгаснаар Morgan Stanley Wealth Management санхүүгийн зөвлөхүүд компанийн мэдлэгийн санд хэрхэн хандаж, харилцагчийн хэрэгцээнд хэрхэн хариу өгдөгийг сайжруулсан. Өнөөдөр зөвлөх багуудын 98%-иас дээш нь дотоод мэдээллийг саадгүй хайж олохын тулд санхүүгийн зөвлөхүүдийн асуултад хариулдаг Morgan Stanley-ийн дотоод чатбот AI @ Morgan Stanley Assistant-ийг идэвхтэй ашиглаж байна.

Санхүүгийн үйлчилгээнд AI нэвтрүүлэхэд энэ технологи нь компанийн чанар, найдвартай байдлын хатуу стандартыг хангахын зэрэгцээ онцгой өндөр үнэ цэн хүргэнэ гэсэн итгэл шаардлагатай байсан.

Morgan Stanley энэ сорилтыг AI-ийн хэрэглээ бүрийг нэвтрүүлэхээс өмнө шалгах үнэлгээний (eval) хүрээ хэрэгжүүлснээр даван туулсан. Evals нь загварууд бодит хэрэглээний тохиолдлуудын эсрэг хэрхэн ажиллаж байгааг хэмжиж, алхам бүрт мэргэжилтний санал хүсэлтээр сайжруулалтыг чиглүүлдэг.

Баг эхний AI хэрэглээний тохиолдлуудад зориулж гурван зорилтот зорилгоос эхэлсэн:

• Зөвлөхүүдийн баримт бичиг хайхад зарцуулах цагийг хэмнэхийн тулд мэдээллийг илүү хурдан татах.
• Судалгааны тайланг нэгтгэн дүгнэх зэрэг давтагддаг ажлуудыг автоматжуулах.
• Харилцагчийн хэрэгцээнд тохирсон сайжруулсан инсайт.

GPT‑4‑ийн гүйцэтгэлийг өөрсдийн мэргэжилтнүүдтэй харьцуулан үнэлэхийн тулд Morgan Stanley асар их хэмжээний оюуны капитал болон процесс төвтэй контентыг товч хураангуй болгон үр дүнтэй шахаж буй эсэхийг шалгах summarization evals-ийг ажиллуулсан. Зөвлөхүүд болон өгөгдөл инженерүүд AI-ийн хариуг үнэн зөв байдал, уялдаа холбоогоор нь үнэлж, багт өгөгдлөө сайжруулж, гаралтын чанарыг ахиулах боломж олгосон.

Үнэлгээний хүрээ нь тогтмол байсангүй; багийн сурсан зүйлстэй хамт хөгжсөн. Дараа нь тэд олон хэлт харилцагчдад зориулан translation evals-ийг нэвтрүүлж, AI улам өргөжиж буй баримт бичгийн сантай ажиллаж чадахыг баталгаажуулахын тулд OpenAI-тай нягт хамтран хайлт татах аргуудыг нарийн тохируулсан.

“Бид 7,000 асуултад хариулж чаддаг байснаас одоо 100,000 баримт бичгийн корпусаас бараг ямар ч асуултад үр дүнтэй хариулж чадах түвшинд хүрсэн” гэж Morgan Stanley-ийн байгууллага даяарх AI бүтээгдэхүүн, архитектурын стратегийн тэргүүн David Wu хэлэв.

McMillan AI @ Morgan Stanley Assistant-аас гарч буй хурдан, найдвартай хариултууд зөвлөхүүдийн ярианд ямар нөлөө үзүүлснийг онцолжээ. “Одоо зөвлөхүүд өмнө нь ярилцаж байгаагүй сэдвээр харилцагчидтай харилцаж чадна. Учир нь мэдлэг ба харилцааны хоорондох үрэлт тэг болсон.”

Санхүүгийн зөвлөхүүдийн асуултад хариулдаг Morgan Stanley-ийн дотоод чатбот болох AI @ Morgan Stanley Assistant-ийн амжилтад тулгуурлан, баг санхүүгийн зөвлөхүүдэд зориулсан уулзалтын хураангуй хэрэгсэл AI @ Morgan Stanley Debrief-ийг Whisper болон GPT‑4‑ийн тусламжтайгаар эхлүүлсэн.

Debrief нь харилцагчийн зөвшөөрөлтэй Zoom бичлэгүүдийг CRM системд автоматаар нэгтгэгддэг харилцагчийн тэмдэглэл, мөн зөвлөхүүд боловсруулж илгээх боломжтой дараагийн харилцааны ноорог зэрэг хэрэгжүүлэхүйц үр дүн болгон хувиргаж, гол үйлдлийн зүйлсийг нэгтгэн дүгнэдэг.

Зөвлөхүүд AI-ээр үүсгэсэн үр дүнг эцэслэхийн өмнө хянаж, засварласнаар автоматжуулалт ба хүний хяналтын тэнцвэрийг хадгалдаг.

Хоёр хэрэгсэл хоёулаа Morgan Stanley-ийн үнэлгээнд тулгуурласан хандлагаас ашиг хүртсэн. Debrief-ийн хувьд баг янз бүрийн уулзалтын төрлийг илэрхийлэх үнэлгээний өгөгдлийн багц боловсруулж, алдаа оруулахгүйгээр чухал үйлдлийн зүйлсийг барьж авах загварын чадварыг нарийн шалгасан.

Санхүүгийн үйлчилгээний салбарын хатуу нийцлийн стандартыг хангахын тулд Morgan Stanley үнэлгээний хүрээндээ чанарын баталгаажуулалтыг нэгтгэсэн. Жишиг асуултуудын регрессийн багцаар өдөр бүр туршсанаар болзошгүй сул талыг илрүүлж, систем нийцсэн хариу гаргах чадварыг сайжруулсан.

“Бидний оруулж буй бүх асуулт, авч буй хариунд үндэслээд OpenAI-тай хамт суугаад, ‘Morgan Stanley-д шаардлагатай нарийвчлалыг дэмжихийн тулд хайлт татах аргуудадаа юуг өөрчилж болох вэ?’ гэж ярилцдаг байсан” гэж Elliott хэлэв.

OpenAI-ийн тэг өгөгдөл хадгалалтын бодлого нь мөн аюулгүй байдлын гол асуудлуудыг шийдэж, Morgan Stanley-ийн өмчийн өгөгдөл нууц хэвээр байхыг баталгаажуулсан.

“Бидэнд хамгийн түрүүнд ирдэг асуултуудын нэг нь: манай мэдээллийг OpenAI олон нийтэд зориулсан ChatGPT‑г сургахад ашиглах уу? гэдэг” гэж Wu хэлэв. “OpenAI-ийн баг тэг өгөгдөл хадгалалтыг баталгаажуулахад бэлэн байсан нь үнэхээр их нөлөөтэй байсан.”

Morgan Stanley-ийн чанар, найдвартай байдалд төвлөрсөн байдал нь ажилтнуудын ашиглахыг хүсдэг, итгэлтэй, аюулгүй шийдлүүдийг бий болгосон:

• Зөвлөх багуудын бараг бүгд нь одоо Assistant зэрэг AI хэрэгслүүдийг өдөр бүр ашиглаж, баялгийн удирдлагын салбарт 98%-иас дээш нэвтрэлтийг хүргэсэн.
• Баримт бичгийн хүртээмж 20%-иас 80% болж өссөнөөр хайлтад зарцуулах хугацаа эрс багасч, баримт татан авах үр ашиг нэмэгдсэн.
• Даалгаврын автоматжуулалт, илүү хурдан инсайтын ачаар зөвлөхүүд харилцагчийн харилцаанд илүү их цаг зарцуулдаг болсон.

Тэдний хүчирхэг үнэлгээний хүрээ нь ирээдүйн шийдэл, үйлчилгээнд зориулсан эргэлтийн хөдөлгүүрийг мөн нээсэн. AI @ Morgan Stanley ажилтнуудад зориулсан “супер апп” болж буй тул Morgan Stanley хэлтэс бүрт тоо томшгүй хэрэглээг төсөөлж, институцийн үнэт цаасны бүлэгтээ Assistant-ийн боломжийг аль хэдийн тэлж байна.

“Бид өөр олон хэрэглээг дэмжих платформуудыг бүтээж байна” гэж Wu хэлэв. “Debrief одоогоор харилцагчтай ярьж буй зөвлөхүүдэд зориулагдсан, гэхдээ яагаад бид үүнийг CFO-той ярьж буй хөрөнгө оруулалтын банкинд ашиглах боломжтой болгож болохгүй гэж?”

“Энэ бол манай контентийн чанарыг сайжруулаад зогсохгүй, асуудалд ойр байгаа хүмүүс л төсөөлж чадах шинэ бүтээгдэхүүн, үйлчилгээг бий болгодог суурь өөрчлөлт юм” гэж McMillan хэлэв.