Tiga pelajaran Intercom untuk membuat keunggulan AI yang berkelanjutan

Ketika GPT‑4 diluncurkan pada tahun 2022, Intercom⁠(terbuka di jendela baru) tidak hanya memperhatikan berita utama—tetapi siap untuk membangun. Dalam hitungan jam, perusahaan perangkat lunak layanan pelanggan ini mulai bereksperimen, dan hanya dalam waktu empat bulan kemudian meluncurkan Fin, Agen AI mereka yang sekarang menyelesaikan jutaan pertanyaan pelanggan setiap bulan.

Momentum awal tersebut bukan kebetulan. Seiring pesatnya perkembangan LLM, Intercom menyadari bahwa AI akan membentuk ulang pengalaman pelanggan. Pimpinan bertindak cepat, membentuk satuan tugas lintas fungsi, membatalkan proyek non-AI, dan berkomitmen sebesar $100 juta untuk mengubah platform bisnis di seputar AI.

Keputusan tersebut memicu perubahan di seluruh perusahaan: reorganisasi tim produk, strategi layanan dukungan (helpdesk) baru yang mengutamakan AI, serta platform yang dibangun untuk mendukung Fin dalam menangani pertanyaan pelanggan yang rumit dan bervolume tinggi.

Di bawah adalah tiga pelajaran dari perjalanan Intercom yang dapat diterapkan oleh tim mana pun—dari mana pun Anda memulai—saat ini.

Intercom menguji model sejak dini, sering kali, dan belajar secara mendalam dari upaya tersebut.

Tim mulai bereksperimen dengan model generatif sejak dini, dan pengalaman langsung darinya membantu mereka memetakan keterbatasan model dan menemukan peluang. Ketika GPT‑4 tersedia pada awal tahun 2023, mereka sudah siap. Dalam waktu empat bulan, mereka meluncurkan Fin—dan tidak pernah melambat sejak itu.

“Kami mampu memanfaatkan GPT‑3.5 untuk melakukan percakapan yang lancar dengan sedikit keajaiban, tetapi belum cukup andal untuk dipercayakan dengan pelanggan kami”, ujar Jordan Neill, SVP Rekayasa. “Karena kami telah menyelesaikan pekerjaannya, ketika GPT‑4 tiba, kami tahu itu sudah siap, dan kami meluncurkan Fin.”

Kefasihan yang sama membantu Intercom merancang Fin Task, yakni sistem yang mengautomasi alur kerja rumit seperti pengembalian dana dan dukungan teknis. Meskipun tim awalnya merencanakan arsitektur tumpukan berbasis pengambilan (retrieval-based stack), evaluasi mereka menunjukkan GPT‑4.1 dapat menangani pekerjaan secara mandiri—dengan keandalan yang tinggi dan latensi yang lebih rendah.

Saat ini, GPT‑4.1 mendukung makin banyaknya penggunaan AI di Intercom, termasuk logika utama dalam Fin Tasks. Tim juga menemukan bahwa menambahkan prompt rantai pemikiran (chain-of-thought prompting) pada kueri tanpa penalaran (non-reasoning queries) menutup kesenjangan kinerja tanpa membutuhkan alur kerja RAG yang lengkap.

Inti dari Intercom: makin baik Anda mengenal model Anda, makin cepat Anda dapat menyesuaikan seiring perkembangan teknologi.

Untuk bergerak cepat, Anda harus mengukur hal yang berhasil—dan alasannya.

Kemampuan Intercom untuk menggunakan model, modalitas, dan arsitektur baru secara cepat berakar pada proses evaluasi yang ketat. Setiap model OpenAI yang baru—baik yang digunakan untuk Fin Voice, yang didukung oleh Realtime API, maupun untuk Fin Tasks, yang didukung oleh GPT‑4.1—dioperasikan melalui pengujian offline terstruktur dan uji coba A/B langsung untuk menilai kepatuhan terhadap instruksi, keakuratan panggilan alat bantu, dan koherensi keseluruhan sebelum penyebaran.

Misalnya, tim melakukan tolok ukur model terhadap transkrip interaksi dukungan aktual, mengevaluasi seberapa baik model menangani instruksi multi-langkah seperti pengembalian dana, mempertahankan suara kepribadian merek Fin, dan menjalankan pemanggilan fungsi secara andal. Hasil-hasil tersebut memberi pengujian A/B langsung yang membandingkan tingkat resolusi dan kepuasan pelanggan di seluruh model seperti GPT‑4 dan GPT‑4.1.

Pendekatan ini membantu Intercom bermigrasi dari GPT‑4 ke GPT‑4.1 hanya dalam waktu beberapa hari. Setelah mengonfirmasi perbaikan dalam penanganan instruksi dan pelaksanaan fungsi, mereka meluncurkan GPT‑4.1 di seluruh Fin Tasks serta melihat perbaikan langsung dalam kinerja dan kepuasan pengguna.

“Ketika GPT‑4.1 diluncurkan, kami mendapatkan hasil evaluasi dalam waktu 48 jam dan memiliki rencana peluncuran segera setelahnya”, ujar Jordan Neill, SVP Rekayasa di Intercom. “Kami segera menyadari bahwa GPT‑4.1 memiliki bauran kecerdasan dan latensi yang baik untuk memenuhi kebutuhan pelanggan kami.” 

Untuk Fin Voice, proses evaluasi yang sama membantu Intercom memvalidasi cuplikan model suara baru dan menunjukkan dengan tepat perbaikan dalam latensi, pelaksanaan fungsi, dan kepatuhan skrip: semuanya penting untuk memberikan dukungan telepon berkualitas manusia. 

Intercom memperluas evaluasi mereka untuk menangkap dimensi ekstra yang dihadirkan oleh suara dalam interaksi. Mereka secara sistematis menilai Fin Voice berdasarkan faktor-faktor seperti kepribadian, nada, penanganan gangguan, dan derau latar belakang agar memastikan pengalaman pelanggan berkualitas tinggi.

Intercom membangun untuk perubahan sejak hari pertama, dengan merancang arsitektur yang cukup fleksibel untuk berkembang seiring model yang menjadi tumpuannya.

Sistem Fin dirancang secara modular, sehingga mendukung berbagai modalitas seperti obrolan, email, dan suara, yang masing-masing memiliki konsekuensi berbeda dalam hal latensi dan kerumitan. Arsitektur ini memungkinkan Intercom untuk mengarahkan kueri kepada model terbaik untuk pekerjaan tersebut dan menukar model tanpa merekayasa ulang sistem yang mendasarinya.

Fleksibilitas ini disengaja dan terus berkembang. Saat ini, arsitektur Fin telah mencapai iterasi besar ketiga, dan iterasi berikutnya sedang dalam pengembangan. Seiring perbaikan model, tim menambahkan kompleksitas apabila diperlukan untuk membuka kemampuan baru dan menyederhanakan apabila memungkinkan.

Kemampuan penyesuaian ini terbukti penting dengan Fin Tasks. Awalnya, tim berasumsi mereka membutuhkan arsitektur berbasis pengambilan data kustom untuk mendukung Fin Tasks—yang memungkinkan Fin dapat menyelesaikan kueri pelanggan yang rumit dan proses eksekutif multi-langkah seperti menerbitkan pengembalian dana, melakukan perubahan akun, atau pemecahan masalah teknis. 

Namun dalam pengujian, kemampuan GPT‑4.1 dalam mengikuti instruksi melampaui harapan sehingga menghadirkan keandalan yang sama dengan latensi dan biaya yang lebih rendah.

“Sejujurnya, menurut saya, orang-orang kurang membicarakan GPT‑4.1”, ujar Pratik Bothra, Kepala Teknisi Pembelajaran Mesin di Intercom. “Kami benar-benar dikejutkan oleh latensi dan profil biayanya. Ini membuat kami dapat mengubah arsitektur dan menghilangkan banyak kompleksitas.”

Tim baru saja memulai. Didukung oleh model lanjutan dan dibangun berdasarkan arsitektur modular yang tidak bergantung pada model, Intercom berkembang melampaui dukungan pelanggan untuk mendukung alur kerja di seluruh bisnis, sehingga menghadirkan penyelesaian yang lebih cepat dan pengalaman pelanggan yang lebih baik:

• Tim dukungan: Menyelesaikan sebagian besar kueri yang masuk melalui obrolan, email, suara, dan lainnya dengan Fin AI Agent
• Tim operasi: Mengautomasi alur kerja yang rumit seperti pengembalian dana, perubahan akun, dan pembaruan langganan dengan Fin Tasks
• Tim produk: Menggunakan Server MCP Intercom, alat bantu AI seperti ChatGPT dapat mengakses percakapan pelanggan, tiket, dan data pengguna - membantu tim di seluruh bisnis menemukan bug, membentuk peta jalan, menyempurnakan pesan, dan mempersiapkan QBR. 

Intercom membangun platform AI yang dapat diskalakan dengan tetap teliti dalam evaluasi, berlandaskan pada kinerja, dan fleksibel dalam desain—mendefinisikan ulang dukungan dan menawarkan pelajaran bagi perusahaan yang membangun dengan AI.