Ada નવી ગ્રાહક સેવા માપદંડ આપવા GPT‑4 નો ઉપયોગ કરે છે

Ada ગ્રાહક સેવા ખર્ચમાં $100Bના બદલાવ⁠(નવી વિન્ડોમાં ખૂલે છે)ને પ્રેરણા આપી રહી છે, અને આ પરિવર્તનની અગ્રપંક્તિમાં તેમનું AI-નેટિવ ગ્રાહક સેવા ઓટોમેશન પ્લેટફોર્મ છે. 2016માં સ્થાપિત, Ada⁠(નવી વિન્ડોમાં ખૂલે છે)નું મૂલ્યાંકન હવે $1.2B છે અને તેને કુલ $200Mનું ફંડિંગ મળ્યું છે; ગ્રાહકોમાં Verizon, YETI, Canva અને Square સામેલ છે.

Ada માટે AI નવું નથી—સ્થાપના સમયથી જ તેઓ AI-નેટિવ પ્લેટફોર્મ રહ્યા છે. પ્રોડક્ટની પ્રથમ પેઢી કસ્ટમ Natural Language Processing (NLP) મોડલોનો ઉપયોગ કરીને બનાવવામાં આવી હતી, જે ઇન-હાઉસ વિકસાવવામાં અને ટ્રેઇન કરવામાં આવી હતી. પરંતુ તેમણે એક અંતર જોયું: તેમનું પ્લેટફોર્મ જેટલા ગ્રાહક પ્રશ્નો સંભાળી શકતું હતું, તેટલા પ્રશ્નો ખરેખર સંતોષકારક રીતે ઉકેલાતા નહોતા.

ગ્રાહક સેવા માટેનું ઉદ્યોગ-માનક મેટ્રિક, containment rate, ગ્રાહકની કેટલી પૂછપરછ ચેટબોટ દ્વારા સંપૂર્ણ રીતે સંભાળવામાં આવે છે અને ક્યારેય માનવીય એજન્ટ સુધી પહોંચતી નથી તે માપે છે. જો તમે containment rate વધારો, તો સિદ્ધાંત મુજબ ગ્રાહક સેવાના ઓપરેશનલ ખર્ચમાં ઘટાડો થશે. પરંતુ Adaની ટીમને આ મેટ્રિકમાં એક સમસ્યા દેખાઈ.

“Ada સહિત ઘણા સોલ્યુશન્સ સરળતાથી 80–100% containment rates આપી શકતા હતા, પરંતુ જો તમે વાસ્તવમાં તે વાતચીતના ટ્રાન્સક્રિપ્ટ ખોલીને ગ્રાહકોના અનુભવ વાંચો, તો તે ખૂબ નબળા હતા,” Gozzoએ કહ્યું.

વાતચીતો ખરેખર કેટલી સારી રીતે ઉકેલાઈ રહી હતી તેના પર ધ્યાન કેન્દ્રિત કરીને, Adaની ટીમ જાણતી હતી કે તેઓ ગ્રાહક સેવા ઉદ્યોગમાં નવી માપદંડ સ્થાપિત કરી શકે છે.

શરૂઆતમાં GPT‑4 અને તેમના ઐતિહાસિક ડેટાના સંયોજનનો ઉપયોગ કરીને, Adaએ એક નવું મૂલ્યાંકન ફ્રેમવર્ક બનાવ્યું, જે વાતચીતો કેટલી સારી રીતે સ્વચાલિત રીતે ઉકેલાઈ હતી તેનું મૂલ્યાંકન કરી શકે. Adaની સિસ્ટમ દરેક વાતચીતને માનવીય હસ્તક્ષેપ વગર ગ્રાહકોને સંબંધિત, સચોટ અને સુરક્ષિત જવાબો કેટલી સારી રીતે મળે છે તેના આધારે રેટ કરે છે. “અમારી ટેસ્ટિંગમાં, અમારી સિસ્ટમ વાતચીત વાંચતા માનવી સાથે 80–90% સહમતિ સુધી પહોંચી,” Gozzoએ કહ્યું.

નિરાકરણ દરને સમજીને Adaને તેમના પ્રોડક્ટ માટે એક માર્ગદર્શક લક્ષ્ય મળ્યું. મૂલ્યાંકન માટે OpenAIની APIનો ઉપયોગ કરવાની સાથે, તેમણે તેમના AI એજન્ટની નવી પેઢી બનાવવા OpenAI સાથે કામ કરવાનો નિર્ણય કર્યો.

Ada એ અગાઉ OpenAIના મોડલોનો ઉપયોગ કર્યો હતો, મુખ્યત્વે તેમના NLP મોડલો માટે ટ્રેનિંગ ડેટા બનાવવા. જ્યારે નવા ઉપયોગકેસ માટે OpenAIની APIની કસોટી કરવામાં આવી, ત્યારે Adaએ કેટલાક સ્પષ્ટ ફરક નોંધ્યા.

• ઇન્ફરન્સની ગુણવત્તા: Adaએ એક સિન્થેટિક ટેસ્ટ ફ્રેમવર્ક બનાવ્યું છે, જે તેમની સિસ્ટમ સાથે વાત કરતા લાખો અંતિમ ગ્રાહકોનું અનુસરણ કરે છે, જેથી તેઓ સ્કેલેબિલિટી અને ગુણવત્તા પર મોડલોની કસોટી કરી શકે. “અમે દરેક મોટા મોડલનું નિયમિત મૂલ્યાંકન કરીએ છીએ, તે રિલીઝ થયા પછી થોડા જ અઠવાડિયામાં, અને અત્યાર સુધી અમારી મૂલ્યાંકન સેટમાં OpenAIને કોઈ પાછળ મૂકી શક્યું નથી,” Gozzoએ કહ્યું.
• લેટન્સી: Adaના વૉઇસ ઉપયોગકેસ માટે શ્રેષ્ઠ પ્રદર્શન સુનિશ્ચિત કરવા, ઓછી લેટન્સીવાળા મોડલો અત્યંત મહત્વના છે. “રિયલ-ટાઇમ রিজনિંગ માટે અમે GPT‑4o સાથે લેટન્સી અને કુલ ગુણવત્તામાં મોટો ઉછાળો જોયો છે,” Gozzoએ કહ્યું.
• ફાઇન-ટ્યુનિંગ: Ada OpenAIની ફાઇન-ટ્યુનિંગ APIનો ઉપયોગ કરીને આપેલા પ્રતિસાદમાં હેલ્યુસિનેશનના સ્તર વિશે એક વિશ્વાસ સ્કોર આપે છે, અને પછી સિસ્ટમમાં હેલ્યુસિનેશનની સંખ્યા ઓછી કરવા બાકીની ટૂલચેઇનમાં એ સ્કોરનો ઉપયોગ કરે છે. “સમય જતાં ફાઇન-ટ્યુનિંગનો ઉપયોગ કરીને અમારી સિસ્ટમની રિઝનિંગ કરવાની ક્ષમતાને વધુ સુધારવાની શક્યતા વિશે પણ અમે ઉત્સાહિત છીએ, તેમજ આ તકનીકથી નાના અને ઓછી કિંમતના મોડલો અત્યાધુનિક મોડલોના પ્રદર્શનનું અનુસરણ કરી શકે તેવી સંભાવના વિશે પણ,” Gozzoએ કહ્યું.

આજે, Adaનો AI એજન્ટ બહુ-એજન્ટ રૂપરેખાનો ઉપયોગ કરે છે, જેમાં એક કેન્દ્રીય આયોજન એજન્ટ અને સબએજન્ટ્સનો સંગ્રહ છે, અને આ બધું OpenAIની API દ્વારા સંચાલિત છે. “તમે Adaનો ઉપયોગ કરતી કોઈ વ્યવસાયિક સંસ્થા સાથે જ્યારે પણ વાતચીત કરો છો, ત્યારે તમારા પ્રશ્નને OpenAIના મોડલોના અનેક ટર્ન્સમાંથી પસાર કરવામાં આવશે—તેને સમજવા, તેના પર વિચાર કરવા, ટૂલ્સ ચલાવવા અને જવાબ તૈયાર થાય ત્યાં સુધી જ્ઞાન જોડવા માટે,” Gozzoએ સમજાવ્યું.

Adaના પ્રોડક્ટના અગાઉના સંસ્કરણમાં 70% containment rate હતો, પરંતુ resolution rate 30% હતો. Adaએ નવા સિસ્ટમમાં લાવેલા ગ્રાહકોમાં containmentના સમાન પરિણામો છે, પરંતુ સામાન્ય રીતે resolution rate 60% સુધી જોવા મળે છે, અને સર્વોચ્ચ પ્રદર્શન કરનારા ગ્રાહકોમાં તે 80%થી પણ ઉપર છે.

“એક ટેક્નોલોજીમાંથી બીજી ટેક્નોલોજી સુધી, અમે ઉત્તમ અનુભવ સાથે સ્વચાલિત રીતે ઉકેલી શકીએ તેવી વાતચીતોની સંખ્યા બમણી કરી છે,” Gozzoએ કહ્યું. Adaના ગ્રાહકો માટે, આ મેટ્રિકનો ROI પર ખૂબ મોટો અનુગામી પ્રભાવ પડે છે, જેમાં full time equivalent (FTE) બચત, ગ્રાહક સંતોષ, રિટેન્શન અને નવા સાઇનઅપ્સનો સમાવેશ થાય છે.

Adaને ગ્રાહકની પૂછપરછ ઉકેલવાની તેમની ક્ષમતા પર એટલો વિશ્વાસ છે કે તેમણે 100% resolution rateનું લક્ષ્ય રાખ્યું છે, જે થોડા વર્ષો પહેલા કલ્પના જેવી લાગત. “હવે, 100% resolution એ જો નહીં પરંતુ ક્યારેનો પ્રશ્ન છે,” Gozzoએ કહ્યું.

બજાર પણ બદલાયું છે—જ્યારે Ada automated resolution વિશે વાત કરે છે ત્યારે હવે તેમને બહુ શંકાનો સામનો કરવો પડતો નથી. “એન્ટરપ્રાઇઝ હવે વધુ સમજદાર બની રહ્યા છે,” Gozzoએ કહ્યું. “તેઓ ખરેખર AI વ્યૂહરચનાઓ વિશે વિચારી રહ્યા છે અને આવી ટેક્નોલોજીને તેમના ઓપરેશન્સમાં લાવવાનું સમર્થન કરી રહ્યા છે.” ગ્રાહકો Adaના LLM-આધારિત AI Agentsને માનવીય એજન્ટની જેમ જ onboard, measure અને coach કરી શકે છે. આગામી 12 મહિનાઓ માટે Adaના લક્ષ્યોમાં તેમના પ્રોડક્ટની પારદર્શિતા અને ગ્રાહકોને આપતા નિયંત્રણ સાધનોને નોંધપાત્ર રીતે વધારવાનું સામેલ છે.

સંભાવનાની આ લાગણી પરસ્પર છે. “અમારા સાથે કામ કરતા અન્ય લોકોની સરખામણીએ OpenAIમાં એક વસ્તુ ખાસ દેખાય છે, અને તે છે ખૂબ જ ઊંડો ઉત્સાહ અને જિજ્ઞાસા,” Gozzoએ કહ્યું. “એવું લાગે છે કે ટીમમાં દરેક વ્યક્તિ ખરેખર આ બાબતે ઉત્સાહી છે. વ્યવસાયિક સંબંધથી આગળ વધીને, વાત એ છે કે અમે સાથે મળીને કંઈક બનાવી રહ્યા છીએ, અને તે ખરેખર તાજગીભર્યું છે.”