Intercom 建立可持續 AI 優勢的三大經驗

當 GPT‑4 於 2022 年推出時，Intercom⁠（在新視窗中開啟） 並不光是在看戲，而是即時作好準備運用這項產品建設未來。在數小時之內，這家客戶服務軟件公司便開始進行實驗，並在短短四個月之後推出 Fin；這款 AI 智能代理現在每月解決數百萬位客戶的查詢。

然而，這種初心並非出於偶然。隨著大型語言模型躍進，Intercom 意識到 AI 將重塑客戶體驗。它們的管理層迅速採取行動，成立跨職能工作小組、取消非 AI 項目，並承諾投入 1 億美元重新構建以 AI 作為基礎的業務平台。

這項決定引發公司全面變革：產品團隊獲重組、新的 AI 服務台策略得到採納，還促成了一個專門平台，指在協助 Fin 處理大量複雜的客戶查詢。

以下的三大經驗源自 Intercom 的實際歷程；不論發展階段，任何團隊都可於自身的工作中活用這些實際例子。

Intercom 從早期開始已經常測試模型，並從工作中深入學習。

該團隊很早便開始嘗試使用生成式模型，這些實踐經驗大大幫助他們找出模型的限制並尋求機會。當 GPT‑4 在 2023 年初推出時，他們已經準備就緒。在不足四個月內，他們便成功推出 Fin，但卻並未因此放慢腳步。

工程部資深副總裁 Jordan Neill 表示：「我們成功利用 GPT‑3.5 進行流暢的對話，瞥見神奇的一面，但它還是不夠可靠，不足以讓我們的客戶信賴。全賴這次經驗，當 GPT‑4 推出時，我們便知道它已經準備就緒，於是我們也順水推舟推出 Fin 。」

運用同樣的經驗，Intercom 成功設計出 Fin Tasks，並利用此系統將退款和技術支援等複雜工作流程自動化 。雖然研究團隊最初打算使用以檢索為基礎的架構，但他們的評估顯示 GPT‑4.1 可以自行處理工作，而且可靠性高、延遲較短。

目前，Intercom 在 AI 應用方面使用 GPT‑4.1 的比重越來越多，其中包括 Fin Tasks 內的關鍵邏輯。該團隊亦發現，在非推理查詢中加入思考鏈提示，即可消除表現差異，而不需要完整的 RAG 管道。

Intercom 的心得：對你的模型了解越深，就能越快適應技術發展。

如要加快行動速度，就必須衡量哪些方法最為有效，以及相關的原因。

Intercom 能夠快速採納新模型、新模式及新架構的原因，與它們嚴格的評估流程密不可分。無論是用於 Fin Voice（以 Realtime API 作為核心） 還是 Fin Tasks （以 GPT‑4.1 作為核心），每個新的 OpenAI 模型在部署前都會經過結構化離線測試和即時 A/B 試驗，藉此評估模型的提示遵循能力、工具呼叫準確程度和整體一致性。

舉例而言，該團隊會使用實際支援互動的對話記錄對模型進行基準測試，藉此評估模型在處理退款等多步驟指令、維持 Fin 的品牌語調，以及執行功能呼叫方面的表現。這些結果可為即時 A/B 測試提供資訊，方便比較 GPT‑4 和 GPT‑4.1 等模型的問題解決率和客戶滿意度。

此做法成功協助 Intercom 在短短幾天內從 GPT‑4 遷移到 GPT‑4.1。確認指令處理和函數執行方面的改進後，他們隨即在 Fin Tasks 中推出 GPT‑4.1，並立即看到相關的表現和用戶滿意度均有所提升。

Intercom 工程部資深副總裁 Jordan Neill 表示：「GPT‑4.1 推出後，我們在 48 小時內就得到評估結果，並隨即制定推出計劃。當時，我們一眼看出 GPT‑4.1 在智力與延遲方面的表現優異，能夠滿足客戶的需求。」 

對 Fin Voice 而言，同樣的評估流程亦幫助到 Intercom 驗證新的語音模型快照，以及找出該模型在延遲、功能執行和指令碼遵循方面的改進：這一切對於提供人性化的電話支援都必不可少。 

透過擴展評估內容，Intercom 成功令語音互動更上一層樓。他們運用條理分明的評估程序，審核 Fin Voice 的個性、語氣、停頓處理和背景噪音等因素，藉此確保優質的客戶體驗。

Intercom 從一開始就為變革作好準備；它們系統的架構靈活有彈性，能夠與所需的模型同步演進。

Fin 的系統採用模組化設計，支援聊天、電郵和語音等多種模式，每種模式在延遲和複雜程式方面各自有不同的取捨。這種架構讓 Intercom 可將查詢導向至最擅長相應工作的模型，以及在不重新設計底層系統的情況下更換模型。

這種彈性設計經過慎重考慮，並且能夠不斷演進。如今，Fin 的架構已經歷兩次重大迭代，而下一代系統亦已在開發中。隨著模型的改進，Intercom 團隊將在有需要的地方增加複雜細節以解鎖全新功能，並在可行的地方加以簡化。

這種適應能力的重要性已在 Fin Tasks 中得到證實。最初，該團隊認為需要一個以檢索為基礎的自訂架構來運行 Fin Tasks，讓 Fin 能夠解決複雜的客戶查詢，並執行多步驟流程，例如發放退款、進行帳戶變更或技術疑難排解。 

然而，在測試期間，GPT‑4.1 的指令追蹤能力超乎預期，且能夠以更低的延遲和成本提供相同的可靠表現。

Intercom 的機器學習首席工程師 Pratik Bothra 表示：「老實說，我認為大家對 GPT‑4.1 的討論並不足夠。對於它在延遲和成本方面的表現，我們感到非常驚訝。它容許我們按需要調整架構，去除許多複雜細節。」

雖然 Intercom 團隊才剛剛起步，但受惠於先進的模型、模組化且不受模型限制的架構，Intercom 已開始拓展客戶支援以外的領域，為企業的整體工作流程提供支援，同時提供更快的解決方案和更優質的客戶體驗：

• 支援團隊：運用 Fin AI 智能代理解決聊天、電郵、語音等大部分傳入查詢
• 營運團隊：利用 Fin Tasks 自動執行退款、帳戶變更和訂閱更新等複雜的工作流程
• 產品團隊：透過 Intercom 的 MCP 伺服器，ChatGPT 等 AI 工具便可存取客戶對話、工單和用戶資料，協助企業的各個團隊找出錯誤、擬定發展路線圖、完善訊息傳遞，並為季度業務評估 (QBR) 做好準備。 

透過嚴謹的評估、對表現的堅持及靈活的設計，Intercom 成功建立出可擴展的 AI 平台，改寫客戶支援的定義，並為所有運用 AI 建構項目的公司提供寶貴經驗。