ટકાઉ AI લાભ બનાવવા માટે Intercomના ત્રણ પાઠ

જ્યારે 2022માં ChatGPT લોન્ચ થયું, ત્યારે Intercom⁠(નવી વિન્ડોમાં ખૂલે છે)એ ફક્ત હેડલાઇન્સ જ જોયા નહોતાં—તેઓ તરત સક્રિય થયા. GPT‑3.5 રિલીઝ થયાના થોડા જ કલાકોમાં, આ ગ્રાહક સેવા સોફ્ટવેર કંપનીએ પ્રયોગો શરૂ કર્યા, અને માત્ર ચાર મહિનામાં Fin લોન્ચ કર્યું, તેમનો AI એજન્ટ, જે હવે દર મહિને લાખો ગ્રાહક પ્રશ્નો ઉકેલે છે.

Intercom મોડલ્સને વહેલા અને વારંવાર તપાસે છે, અને પોતાના કામમાંથી ઊંડું શીખે છે.

ટીમે વહેલી જ જનરેટિવ મોડેલ્સ સાથે પ્રયોગો શરૂ કર્યા, અને તેમના પ્રાયોગિક અનુભવથી તેઓ મોડલની મર્યાદાઓ સમજી શક્યા અને તકો ઓળખી શક્યા. જ્યારે 2023ની શરૂઆતમાં GPT‑4 ઉપલબ્ધ થયું, ત્યારે તેઓ તૈયાર હતા. ચાર મહિનામાં તેમણે Fin લોન્ચ કર્યું અને ત્યારથી તેમની ગતિ ધીમી પડી નથી.

“અમે GPT‑3.5નો ઉપયોગ કરીને જાદૂની ઝલક સાથે પ્રવાહી સંવાદો કરી શકતા હતા, પરંતુ અમારા ગ્રાહકો માટે વિશ્વાસપૂર્વક તેનો ઉપયોગ કરવા જેટલું તે હજી વિશ્વસનીય નહોતું,” Engineeringના SVP Jordan Neill કહે છે. “કારણ કે અમે પહેલેથી આ કામ કર્યું હતું, જ્યારે GPT‑4 આવ્યું, ત્યારે અમને ખબર હતી કે તે તૈયાર છે, અને અમે Fin મોકલી દીધું.”

આ જ પારંગતતાએ Intercomને Fin Tasks ડિઝાઇન કરવામાં મદદ કરી, જે રિફંડ અને ટેકનિકલ સપોર્ટ જેવા જટિલ વર્કફ્લોને ઓટોમેટ કરે છે. જ્યારે ટીમે શરૂઆતમાં রিজনিং মডেল આધારિત સ્ટેકની યોજના બનાવી હતી, તેમના મૂલ્યાંકનોએ બતાવ્યું કે GPT‑4.1 પોતે જ આ કામ ઊંચી વિશ્વસનીયતા અને ઓછી લેટન્સી સાથે કરી શકે છે.

આજે, GPT‑4.1 Intercomના વધતા AI ઉપયોગના હિસ્સાને શક્તિ આપે છે, જેમાં Fin Tasksની અંદરની મહત્વપૂર્ણ લોજિક પણ સામેલ છે. ટીમે એ પણ શોધ્યું કે non-reasoning પ્રશ્નોમાં ચેન-ઓફ-થોટ પ્રોમ્પ્ટિંગ ઉમેરવાથી પ્રદર્શનનું અંતર ઘટ્યું.

Intercomનો સાર: તમે તમારા મોડલ્સને જેટલા વધુ સારી રીતે જાણો, કળાની અદ્યતન સ્થિતિ વિકસે તેમ તમે એટલા ઝડપથી અનુકૂળ થઈ શકો.

ઝડપથી આગળ વધવા માટે, શું કામ કરે છે—અને શા માટે—તે માપવું જરૂરી છે.

Intercom નવી મોડલ્સ, મોડેલિટીઝ અને આર્કિટેક્ચર્સ ઝડપથી અપનાવી શકે છે, કારણ કે તેમની પાસે કડક મૂલ્યાંકન પ્રક્રિયા છે. દરેક નવું OpenAI મોડલ—ચાહે તે Realtime API દ્વારા સંચાલિત Fin Voice માટે હોય કે GPT‑4.1 દ્વારા સંચાલિત Fin Tasks માટે—ડિપ્લોયમેન્ટ પહેલાં સૂચનાઓનું પાલન, ટૂલ કૉલની ચોકસાઈ અને સમગ્ર સુસંગતતા માપવા માટે ગોઠવાયેલા ઑફલાઇન ટેસ્ટ્સ અને લાઇવ A/B ટ્રાયલ્સમાંથી પસાર થાય છે.

ઉદાહરણ તરીકે, ટીમ વાસ્તવિક સપોર્ટ ઇન્ટરૅક્શનના ટ્રાન્સક્રિપ્ટ્સ સામે મોડલ્સનું બેન્ચમાર્કિંગ કરે છે, અને મૂલવે છે કે તેઓ રિફંડ જેવી બહુ-પગથિયાવાળી સૂચનાઓને કેટલા સારી રીતે હેન્ડલ કરે છે, Finની બ્રાન્ડ વૉઇસ જાળવે છે અને function calls વિશ્વસનીય રીતે ચલાવે છે. આ પરિણામો લાઇવ A/B ટેસ્ટ્સને માર્ગદર્શન આપે છે, જે GPT‑4 અને GPT‑4.1 જેવા મોડલ્સમાં resolution rates અને customer satisfaction ની તુલના કરે છે.

આ અભિગમે Intercomને થોડા જ દિવસોમાં GPT‑4માંથી GPT‑4.1 તરફ સ્થળાંતર કરવામાં મદદ કરી. સૂચના સંભાળવા અને function executionમાં સુધારા નિશ્ચિત કર્યા પછી, તેમણે Fin Tasksમાં GPT‑4.1 રોલઆઉટ કર્યું અને તરત જ પ્રદર્શન અને વપરાશકર્તા સંતોષ બંનેમાં લાભ જોયા.

“જ્યારે GPT‑4.1 આવ્યું, ત્યારે 48 કલાકમાં અમારા પાસે eval પરિણામો અને તરત પછી rollout યોજના તૈયાર હતી,” Intercomના Principal Machine Learning Scientist Pedro Tabacof કહે છે. “અમને તરત જ સમજાયું કે GPT‑4.1 અમારા ગ્રાહકોની જરૂરિયાતો માટે બુદ્ધિમત્તા અને લેટન્સીનું સારું સંતુલન ધરાવે છે.”

Fin Voice માટે, આ જ મૂલ્યાંકન પ્રક્રિયાએ Intercomને નવા voice model snapshotsને માન્ય કરવા અને લેટન્સી, function execution અને સ્ક્રિપ્ટ પાલનમાં સુધારાઓ ચોક્કસ રીતે ઓળખવામાં મદદ કરી: માનવીય ગુણવત્તાવાળા ફોન સપોર્ટ માટે આ બધું આવશ્યક છે.

Intercomએ અવાજ ઇન્ટરૅક્શન્સમાં લાવતી વધારાની પરિમાણને સમાવવા માટે તેમના evals વિસ્તૃત કર્યા. તેઓ ઉચ્ચ ગુણવત્તાવાળા ગ્રાહક અનુભવ સુનિશ્ચિત કરવા માટે Fin Voiceને personality, tone, interruption handling અને background noise જેવા પરિબળો પર પદ્ધતિસર મૂલવે છે.

Intercomએ પહેલા જ દિવસથી પરિવર્તન માટે બાંધકામ કર્યું, એવી આર્કિટેક્ચર ડિઝાઇન કરી જે તેના આધારિત મોડલ્સ સાથે વિકસવા માટે પૂરતી લવચીક હોય.

Finની સિસ્ટમ ડિઝાઇન મુજબ મોડ્યુલર છે, અને chat, email અને voice જેવી અનેક મોડેલિટીઝને સપોર્ટ કરે છે, જ્યાં દરેકમાં લેટન્સી અને જટિલતા માટે અલગ tradeoffs છે. આ આર્કિટેક્ચર Intercomને કામ માટે શ્રેષ્ઠ મોડલ તરફ પ્રશ્નો રૂટ કરવાની અને મૂળ સિસ્ટમને ફરીથી એન્જિનિયર કર્યા વિના મોડલ્સ બદલી શકવાની મંજૂરી આપે છે.

આ લવચીકતા ઇરાદાપૂર્વકની છે અને સતત વિકસતી રહી છે. Finની આર્કિટેક્ચર હવે તેની ત્રીજી મુખ્ય આવૃત્તિ પર છે, અને આગળની પહેલેથી જ વિકાસમાં છે. જેમ મોડલ્સ સુધરે છે, તેમ ટીમ નવી ક્ષમતાઓ અનલૉક કરવા જરૂરી હોય ત્યાં જટિલતા ઉમેરે છે અને શક્ય હોય ત્યાં સરળ બનાવે છે.

આ અનુકૂલનક્ષમતા Fin Tasks સાથે અત્યંત મહત્વપૂર્ણ સાબિત થઈ. શરૂઆતમાં, ટીમે માન્યું હતું કે Fin Tasksને સપોર્ટ કરવા માટે તેમને reasoning આધારિત મોડલ્સની જરૂર પડશે—જે Finને જટિલ ગ્રાહક પ્રશ્નો ઉકેલવા અને રિફંડ જારી કરવું, એકાઉન્ટમાં ફેરફાર કરવો અથવા ટેકનિકલ ટ્રબલશૂટિંગ જેવી બહુ-પગથિયાવાળી પ્રક્રિયાઓ અમલમાં મૂકવામાં સક્ષમ બનાવે છે.

પરંતુ પરીક્ષણમાં, GPT‑4.1ની instruction-following ક્ષમતાઓ અપેક્ષા કરતાં વધુ સારી નીવડી અને ઓછી લેટન્સી તથા ખર્ચે સમાન વિશ્વસનીયતા આપી.

“ખરેખર કહું તો, મને લાગતું નથી કે લોકો GPT‑4.1 વિશે પૂરતી વાત કરે છે,” Intercomના Principal Machine Learning Engineer Pratik Bothra કહે છે. “લેટન્સી અને ખર્ચની પ્રોફાઇલ જોઈને અમે ખરેખર આશ્ચર્યચકિત થઈ ગયા. તે અમને અમારી આર્કિટેક્ચરને પિવટ કરવાની અને ઘણી જટિલતા દૂર કરવાની મંજૂરી આપે છે.”

ટીમ હજી તો શરૂઆત જ કરી રહી છે. અદ્યતન મોડલ્સથી સંચાલિત અને મોડ્યુલર, model-agnostic આર્કિટેક્ચર પર બનેલું Intercom હવે ગ્રાહક સપોર્ટથી આગળ વધી સમગ્ર બિઝનેસમાં વર્કફ્લોઝને શક્તિ આપી રહ્યું છે, જે વધુ ઝડપી resolutions અને વધુ સારા ગ્રાહક અનુભવો આપે છે:

• સપોર્ટ ટીમો: Fin AI એજન્ટ સાથે chat, email, voice અને વધુમાં આવતા મોટાભાગના પ્રશ્નો ઉકેલવા
• ઓપ્સ ટીમો: Fin Tasks સાથે રિફંડ, એકાઉન્ટ ફેરફારો અને subscription updates જેવા જટિલ વર્કફ્લોઝ ઓટોમેટ કરવા
• પ્રોડક્ટ ટીમો: Intercomના MCP Serverનો ઉપયોગ કરીને, ChatGPT જેવા AI tools ગ્રાહક વાતચીત, tickets અને user data ઍક્સેસ કરી શકે છે - જે બિઝનેસની અલગ-અલગ ટીમોને bugs ઓળખવામાં, roadmaps ઘડવામાં, messaging સુધારવામાં અને QBRs માટે તૈયારી કરવામાં મદદ કરે છે.

Intercomએ મૂલ્યાંકનમાં કડક રહી, પ્રદર્શન પર આધારિત રહી અને ડિઝાઇનમાં લવચીક રહી એક સ્કેલેબલ AI પ્લેટફોર્મ બનાવ્યું—સપોર્ટને નવી વ્યાખ્યા આપી અને AI સાથે બાંધકામ કરતી કોઈપણ કંપની માટે શીખ આપવા જેવી બાબતો રજૂ કરી.