एक टिकाऊ AI सुविधा बनाने के लिए Intercom के तीन सबक

जब 2022 में GPT‑4 लॉन्च हुआ, तो Intercom⁠(एक नई विंडो में खुलेगा) सिर्फ़ सुर्खियां नहीं देखता रहा—वे बनाने के लिए तैयार थे. कुछ ही घंटों में कस्टमर सर्विस सॉफ़्टवेयर कंपनी ने एक्सपेरिमेंट करना शुरू कर दिया, और सिर्फ़ चार महीने बाद अपने AI एजेंट, Fin को लॉन्च कर दिया जो अब हर महीने लाखों कस्टमर्स की क्वेरीज़ के समाधान देता है.

वो शुरूआती मोमेंटम कोई अचानक घटना नहीं थी. जैसे-जैसे LLMs आगे बढ़े, Intercom ने पहचान लिया कि AI कस्टमर अनुभव को नया आकार देगा. लीडरशिप ने जल्द कार्रवाई करते हुए, एक क्रॉस-फ़ंक्शनल टास्क फ़ोर्स का गठन किया, नॉन-AI प्रोजेक्ट्स को कैंसल किया, और AI के इर्द-गिर्द बिज़नेस को रीप्लेटफ़ॉर्म करने के लिए 100 मिलियन डॉलर की प्रतिबद्धता जताई.

इस फ़ैसले से पूरी कंपनी-भर में बदलाव हुए: प्रोडक्ट टीमें दोबारा ऑर्गनाइज़ की गईं, एक नई AI-फ़र्स्ट हेल्पडेस्क स्ट्रैटेजी, व Fin को बड़ी संख्या में और कस्टमर्स की बेहद मुश्किल क्वेरीज़ को हैंडल करने में मदद करने के लिए एक प्लेटफ़ॉर्म बनाया गया.

नीचे Intercom के सफ़र से तीन सबक दिए गए हैं, जिन्हें कोई भी टीम—चाहे आप कहीं से भी शुरुआत कर रहे हों—तुरंत काम में ला सकती है.

Intercom मॉडल्स को जल्दी, बार-बार, टेस्ट करता है, और उनके काम से गहराई से सीखता है.

टीम ने जनरेटिव मॉडल्स के साथ एक्सपेरिमेंट करना शुरू कर दिया, और उनके प्रैक्टिकल अनुभव से उन्हें मॉडल की सीमाओं को समझने और अवसरों को पहचानने में मदद मिली. जब 2023 की शुरुआत में GPT‑4 उपलब्ध हुआ, तो वे तैयार थे. चार महीने के अंदर ही उन्होंने Fin को लॉन्च कर दिया और तब से उनकी रफ़्तार कम नहीं हुई है.

इंजीनियरिंग के SVP Jordan Neill कहते हैं, "हम जादू की झलकियों के साथ आसान बातचीत करने के लिए GPT‑3.5 का फ़ायदा उठा पा रहे थे, लेकिन वो अब भी हमारे कस्टमर्स के लिए भरोसेमंद नहीं था." "चूंकि हमने पूरा काम किया था, इसलिए जब GPT‑4 आया, तो हमें पता था कि वो तैयार है, और हमने Fin को भेज दिया."

इसी फ़्लुएंसी ने Intercom को Fin Tasks डिज़ाइन करने में मदद की, एक ऐसा सिस्टम जो रिफ़ंड्स और टेक्निकल सपोर्ट जैसे बेहद मुश्किल वर्कफ़्लो को ऑटोमेट करता है. हालांकि टीम ने शुरू में एक रिट्रीवल-बेस्ड स्टैक का प्लान किया था, लेकिन उनके इवैल्यूएशन्स से पता चला कि GPT‑4.1 खुद ही ये काम हैंडल कर सकता है—ज़्यादा भरोसे और कम लेटेंसी के साथ.

आज, Intercom के AI के इस्तेमाल का एक बढ़ता हिस्सा GPT‑4.1 की मदद से काम करता है, जिसमें Fin Tasks के अंदर मौजूद अहम लॉजिक भी शामिल है. टीम ने ये भी पाया कि नॉन-रीज़निंग क्वेरीज़ में चेन-ऑफ़-थॉट को जोड़ने से पूरी तरह से डेवलप हुई RAG पाइपलाइन्स की ज़रुरत के बिना ही परफ़ॉर्मेंस गैप्स को बंद किया जा सकता है.

Intercom का टेकअवे: आप अपने मॉडल्स को जितना बेहतर जानेंगे, उतनी ही तेज़ी से आप उभरती बेहतरीन तकनीक के साथ एडैप्ट कर सकते हैं.

तेज़ी से आगे बढ़ने के लिए, आपको ये मापना होगा कि क्या काम करता है—और क्यों.

Intercom की नए मॉडल्स, तौर-तरीकों, और आर्किटेक्चर को जल्दी से अपनाने की क्षमता उनके बेहद सख्त इवैल्यूएशन प्रोसेस में निहित है. हरेक नया OpenAI मॉडल—चाहे वो Fin Voice के लिए इस्तेमाल किया जाता हो, जो रियलटाइम API की मदद से काम करता है, या Fin Tasks के लिए, जो GPT‑4.1 की मदद से काम करता है—डिप्लॉयमेंट से पहले इंस्ट्रक्शन का फ़ॉलो किया जाना, टूल कॉल की एक्यूरेसी और कुल कोहरेंस का असेसमेंट करने के लिए स्ट्रक्चर्ड ऑफ़लाइन टेस्ट और लाइव A/B ट्रायल्स के ज़रिये गुज़रता है.

जैसे कि, टीम एक्चुअल सपोर्ट इंटरैक्शन्स की ट्रांसक्रिप्ट्स के आधार पर मॉडल्स का इवैल्यूएशन करती है, और ये इवैल्यूएट करती है कि वे रिफ़ंड्स जैसे मल्टी-स्टेप इंस्ट्रक्शन्स को कितनी अच्छी तरह से हैंडल करते हैं, Fin की ब्रांड वॉइस को बरकरार रखते हैं, और फ़ंक्शन कॉल्स को भरोसेमंद तरीके से एक्सीक्यूट करते हैं. ये रिज़ल्ट्स लाइव A/B टेस्ट को सूचित करते हैं जो GPT‑4 और GPT‑4.1 जैसे मॉडल्स में रिसॉल्युशन रेट्स और ग्राहक की संतुष्टि की तुलना करते हैं.

इस नज़रिये की मदद से Intercom कुछ ही दिनों में GPT‑4 से GPT‑4.1 में माइग्रेट हो पाया. इंस्ट्रक्शन हैंडलिंग और फ़ंक्शन एक्सीक्यूशन में सुधार कन्फ़र्म करने के बाद, उन्होंने Fin Tasks में GPT‑4.1 को लागू किया और परफ़ॉर्मेंस व यूज़र की संतुष्टि दोनों में तुरंत लाभ देखा.

Intercom में इंजीनियरिंग के SVP, Jordan Neill कहते हैं, "जब GPT‑4.1 रिलीज़ हुआ, तो हमें 48 घंटों के अंदर इवैल्यूएशन रिज़ल्ट्स मिल गए और उसके तुरंत बाद एक रोलआउट प्लैन तैयार हो गया." "हमने तुरंत देखा कि GPT‑4.1 में हमारे कस्टमर्स की ज़रूरतों के लिए इंटेलिजेंसता और लेटेंसी का अच्छा मिक्स था." 

Fin Voice के लिए, इसी इवैल्यूएशन प्रोसेस ने Intercom को नए वॉइस मॉडल स्नैपशॉट्स को वैलिडेट करने और लेटेंसी, फ़ंक्शन एक्सीक्यूशन, और स्क्रिप्ट अनुपालन में सुधार को पिनपॉइंट करने में मदद की: ये सभी ह्यूमन-क्वालिटी वाले फ़ोन सपोर्ट डिलीवर करने के लिए ज़रूरी हैं. 

Intercom ने इंटरैक्शन्स में वॉइस द्वारा लाए गए एक्स्ट्रा डायमेंशन को कैप्चर करने के लिए अपने इवैल्यूएशन्स को एक्स्पैंड किया. वे हाई-क्वालिटी वाले ग्राहक अनुभव पक्का करने के लिए पर्सनैलिटी, लहज़ा, रुकावटों को हैंडल करना और बैकग्राउंड के शोर जैसे फ़ैक्टर्स के लिए Fin Voice का सिस्टमैटिक तरीके से असेसमेंट करते हैं.

Intercom को पहले दिन से ही बदलाव के लिए तैयार किया गया है, और इसका आर्किटेक्चर इतनी फ़्लेक्सिबल है कि ये उन मॉडल्स के साथ-साथ डेवलप हो सके जिन पर ये निर्भर करता है.

Fin का सिस्टम, डिज़ाइन के हिसाब से मॉड्यूलर है, जो चैट, ईमेल और वॉइस जैसे कई तौर-तरीकों को सपोर्ट करता है, जिनमें लेटेंसी और कॉम्प्लेक्सिटी के लिए अलग-अलग समझौतों के तालमेल होते हैं. ये आर्किटेक्चर Intercom को काम के लिए सवालों को बेस्ट मॉडल को रूट करने व अंतर्निहित सिस्टम को रीइंजीनियर किए बिना मॉडल्स को स्वैप करने में मदद करता है.

ये फ़्लेक्सिबिलिटी पहले से सोची-समझी हुई है, और लगातार उभरती जा रही है. Fin का आर्किटेक्चर अब अपने तीसरे अहम इटरेशन पर है, और अगला वाला भी पहले से ही डेवलपमेंट में है. जैसे-जैसे मॉडल्स में सुधार होता है, टीम नई कैपेबिलिटीज़ को अनलॉक करने के लिए जहां ज़रूरी हो वहां कॉम्प्लेक्सिटी जोड़ देती है और जहां मुमकिन हो वहां सिंपल कर देती है.

ये एडैप्टेबिलिटी Fin Tasks के साथ क्रिटिकल साबित हुई. शुरू में, टीम का मानना था कि उन्हें Fin Tasks को सपोर्ट करने के लिए एक कस्टम रिट्रीवल-बेस्ड आर्किटेक्चर की ज़रुरत पड़ेगी—जो Fin को कस्टमर की कॉम्प्लेक्स की=क्वेरीज़ और एक्सीक्यूटिव मल्टी-स्टेप प्रोसेसेस जैसे रिफ़ंड्स जारी करने, अकाउंट में बदलाव करने या टेक्निकल ट्रबलशूटिंग को हल करने में मदद करता है. 

लेकिन टेस्टिंग में, GPT‑4.1 की इंस्ट्रक्शन-फ़ॉलोविंग कैपेबिलिटीज़ ने अपेक्षाओं से बेहतर परफ़ॉर्म किया और कम लेटेंसी व खर्चे पर वही भरोसा दिया.

Intercom के प्रिंसिपल मशीन लर्निंग इंजीनियर, Pratik Bothra कहते हैं, "सच कहूं, तो मुझे नहीं लगता कि लोग GPT‑4.1 के बारे में बहुत ज़्यादा बात करते हैं." "हम लेटेंसी और कॉस्ट प्रोफ़ाइल से वाकई में हैरान रह गए थे. इससे हमें अपने आर्किटेक्चर को बदलने और बहुत सारी कॉम्प्लेक्सिटी को दूर करने में मदद मिलती है.”

टीम अभी बस शुरुआत ही करने जा रही है. एडवांस्ड मॉडल्स की मदद से काम करने वाला और एक मॉड्यूलर, मॉडल-एग्नोस्टिक आर्किटेक्चर पर बनाया गया, Intercom कस्टमर सपोर्ट से आगे बढ़कर पूरे बिज़नस में वर्कफ़्लो को मज़बूत बना रहा है, जिससे तेज़ सॉल्यूशन्स और बेहतर ग्राहक अनुभव प्राप्त हो रहे हैं:

• सपोर्ट टीमें: Fin AI एजेंट के साथ चैट, ईमेल, वॉइस, और अन्य ज़रियों से आने वाली ज़्यादातर क्वेरीज़ के समाधान
• Ops टीमें: Fin Tasks के साथ रिफ़ंड, अकाउंट में बदलाव, और सब्सक्रिप्शन अपडेट्स जैसे कॉम्प्लेक्स वर्कफ़्लो को ऑटोमेट करना
• प्रोडक्ट टीमें: Intercom के MCP सर्वर का इस्तेमाल करते हुए, ChatGPT जैसे AI टूल्स कस्टमर की बातचीतों, टिकट और यूज़र डेटा को एक्सेस कर सकते हैं - जिससे बिज़नेस में टीमों को बग्स का पता लगाने, रोडमैप को आकार देने, मेसेजों को सुधारने, और QBRs के लिए तैयार होने में मदद मिलती है. 

Intercom ने इवैल्यूएशन पर सख्ती बरतते हुए, परफ़ॉर्मेंस पर आधारित रहते हुए, व डिज़ाइन में फ्लेक्सिबिलिटी बनाए रखते हुए एक स्केलेबल AI प्लेटफ़ॉर्म बनाया—जो AI के साथ बनाने वाली किसी भी कंपनी के लिए सपोर्ट को रीडिफ़ाइन करता है और सबक पेश करता है.