Intercom’un yapay zeka alanında sürdürülebilir avantaj yaratmasını sağlayan üç ders

2022’de GPT‑4’ü piyasaya sürdüğümüzde Intercom⁠(yeni bir pencerede açılır) sadece gündemi takip etmekle kalmadı; bir şeyler geliştirmek için işe koyuldu. Müşteri hizmetleri için yazılım geliştiren şirket, birkaç saat içinde denemelere başladı. Sadece dört ay sonra, hâlihazırda her ay milyonlarca müşterinin sorunlarını çözen yapay zeka ajanı Fin’i kullanıma sundu.

Erken yakalanan bu momentum bir tesadüf değildi. LLM’ler büyük aşama kaydederken Intercom, yapay zekanın müşteri deneyimini yeniden şekillendireceğinin farkına vardı. Hızla harekete geçen yönetim kadrosu, farklı alanlardan uzmanları bir araya getirerek işlevler arası bir ekip kurdu, yapay zeka dışındaki projeleri iptal etti ve iş modelini yapay zeka etrafında yeniden yapılandırmak için 100 milyon dolarlık bir bütçe ayırdı.

Bu kararın ardından şirket genelinde birçok değişiklik yaşanırken ürün ekipleri yeniden yapılandırıldı, yapay zekaya öncelik veren bir yardım merkezi stratejisi geliştirildi ve Fin’in çok sayıda, karmaşık müşteri sorularını yanıtlamasına destek olacak bir platform oluşturuldu.

Intercom’un bu yolculuğundan çıkarılan üç dersi aşağıda bulabilirsiniz. Hangi aşamada olursanız olun, her ekip bu dersleri uygulamaya hemen başlayabilir.

Modelleri erken aşamada ve sıklıkla test eden Intercom, bu çalışmalardan önemli dersler çıkarıyor.

Üretken modelleri erkenden denemeye başlayan ekibin bu pratik deneyimi hem model sınırlamalarını belirlemelerini hem de fırsatların farkına varmalarını kolaylaştırdı. 2023’ün başlarında GPT‑4 kullanıma sunulduğunda, şirket harekete geçmeye hazırdı. Dört ay içinde Fin’i piyasaya sürdüler ve o zamandan beri hız kesmeden devam ediyorlar.

“GPT‑3.5 sayesinde zaman zaman âdeta sihirli bir deneyim yaşatan, akıcı sohbetler gerçekleştirmeyi başarsak da bu henüz müşterilerimize gönül rahatlığıyla sunabileceğimiz kadar güvenilir değildi,” diyen Mühendislikten Sorumlu Kıdemli Başkan Yardımcısı Jordan Neill şunları ekliyor: “Gerekli çalışmaları yaptığımız için, GPT‑4 çıktığında hazır olduğumuzu biliyorduk ve Fin’i piyasaya sürdük.”

Aynı akıcılık, Intercom’un geri ödemeler ve teknik destek gibi karmaşık iş akışlarını otomatikleştiren Fin Tasks adlı sistemi tasarlamasına da yardımcı oldu. Ekip başlangıçta bilgiyle desteklenmiş bir altyapı planlamış olsa da, yaptıkları değerlendirmeler GPT‑4.1’in yüksek güvenilirlik ve daha düşük gecikme süresiyle işi tek başına tamamlayabildiğini gösterdi.

Günümüzde Intercom, Fin Tasks’in temel mantığı da dâhil olmak üzere, yapay zeka kullanımlarında GPT‑4.1’den giderek daha fazla faydalanıyor. Ekip aynı zamanda, akıl yürütme gerektirmeyen sorulara düşünce zinciri istemleri ekleyerek, gelişmiş RAG (bilgiyle desteklenen metin üretimi) akışlarına ihtiyaç duymadan performans farklılıklarını giderdiklerini fark etti.

Intercom’un çıkardığı ders şuydu: Modellerinizi ne kadar iyi tanırsanız en yeni teknolojik gelişmelere o kadar hızlı uyum sağlarsınız.

Hızlı hareket etmek için hem neyin işe yaradığını hem de bunun nedenini ölçmeniz gerekir.

Intercom’un yeni modelleri, farklı modları ve mimarileri hızla benimseme yeteneği, titizlikle gerçekleştirilen değerlendirme süreçlerine dayanır. Realtime API destekli Fin Voice veya GPT‑4.1 destekli Fin Tasks gibi çözümler için geliştirilen her yeni OpenAI modeli; yapılandırılmış çevrimdışı testler ve gerçek kullanıcılarla yapılan A/B testleri uygulanarak talimatlara uyma, doğru aracı çağırma ve genel tutarlılık açısından değerlendirilir.

Örneğin ekip, modellerin performansını gerçek kullanıcıların destek etkileşimlerinin deşifreleriyle kıyaslıyor. Böylece geri ödemeler gibi çok adımlı talimatlara uymayı, Fin’in marka iletişim tonunu korumayı ve işlev çağrılarını güvenilir bir şekilde yerine getirmeyi ne ölçüde başardıklarını değerlendiriyor. Bu sonuçlar, GPT‑4 ve GPT‑4.1 gibi modeller arasında çözüm oranlarını ve müşteri memnuniyetini kıyaslayan, gerçek kullanıcılarla yapılan A/B testleri için veri sağlıyor.

Bu yaklaşım, Intercom’un sadece birkaç gün içinde GPT‑4’ten GPT‑4.1’e geçmesini sağladı. Talimatlara uyma ve işlev yürütme alanlarındaki gelişmeleri doğruladıktan sonra, GPT‑4.1’i Fin Tasks genelinde kullanmaya başlayan ekip hem performansın hem de kullanıcı memnuniyetinin anında arttığını gözlemledi.

Intercom’un Mühendislikten Sorumlu Kıdemli Başkan Yardımcısı Jordan Neill, “GPT‑4.1 çıktığında, 48 saat içinde test sonuçlarını aldık ve hemen ardından nasıl kullanıma sunacağımızı planladık,” diyor ve ekliyor: “GPT‑4.1’in hem zeka hem de gecikme süresi açısından müşterilerimizin ihtiyaçlarına doğru cevap verdiğini anında gördük.” 

Aynı değerlendirme süreci, Intercom’un Fin Voice için yeni ses modelinin anlık görüntülerini doğrulamasını sağladı. Ayrıca insan kalitesinde telefon desteği sunabilmek açısından büyük önem taşıyan gecikme süresi, işlev yürütme ve senaryoya uyum gibi kıstaslardaki gelişmeleri tespit etmelerine yardımcı oldu. 

Intercom, ses modunun etkileşimlere nasıl farklı bir boyut kattığını görmek için değerlendirmelerinin kapsamını genişletti. Kullanıcı deneyimlerinde yüksek kaliteyi yakaladıklarından emin olmak için, Fin Voice’u kişilik, ton, kesintileri ele alma ve arka plan gürültüsü gibi etmenler açısından düzenli olarak değerlendiriyorlar.

Kendisine güç veren modelle birlikte evrilebilecek kadar esnek bir mimari tasarlayan Intercom, daha ilk günden değişim odaklı bir yaklaşımı benimsedi.

Fin’in modüler bir yapıda tasarlanan sistemi, gecikme süresi ve karmaşıklık açısından farklı performanslar sunan sohbet, e-posta ve ses gibi farklı modları destekliyor. Bu mimari sayesinde Intercom, gelen sorguları o iş için en uygun modele yönlendirebiliyor ve tüm altyapıyı baştan yapılandırmaya gerek duymadan model değiştirebiliyor.

Bilinçli olarak sağlanan bu esneklik sürekli gelişiyor. Fin’in mimarisi şu anda üçüncü büyük sürümüyle kullanılıyor; bir sonraki yinelemesi ise şimdiden geliştirilme aşamasında. Modeller geliştikçe ekip, yeni yetenekleri açığa çıkarmak için gerektiğinde karmaşıklıklar ekliyor ve mümkün olduğunda sadeleştirmeler yapıyor.

Bu esneklik, Fin Tasks açısından önemini kanıtlamış durumda. Başlangıçta ekip, Fin’in karmaşık müşteri sorularını yanıtlamasını ve geri ödemeler, hesap değişiklikleri veya sorun giderme gibi çok adımlı süreçleri yürütmesini sağlayan Fin Tasks’i desteklemek için bilgi temelli özel bir mimariye ihtiyaç duyacaklarını varsaymıştı. 

Ancak yapılan testlerde, GPT‑4.1’in talimatlara uyma yetenekleri beklentilerin üstüne çıktı ve daha düşük gecikme süresi ve maliyetle aynı güvenilir sonuçlar elde edildi.

Intercom’da Makine Öğrenmesinden Sorumlu Baş Mühendis olan Pratik Bothra “Açıkçası GPT‑4.1 hakkında yeterince konuşulmadığını düşünüyorum,” diyerek şöyle devam ediyor: “Gecikme süresi ve maliyet profili bizi gerçekten şaşırttı. Mimarimizde değişiklikler yapmamızı ve birçok karmaşık unsurdan kurtulmamızı sağlıyor.”

Ekip daha yolun başında. Gelişmiş modellerden güç alan ve her modele uygun, çok modlu mimariye sahip olan Intercom, müşteri hizmetlerinin ötesine geçerek farklı işletmelerdeki iş akışlarını destekliyor; böylece daha hızlı çözümler ve daha iyi müşteri deneyimleri sunuyor:

• Destek ekipleri: Gelen sorguların çoğu Fin yapay zeka aracısı yardımıyla sohbet, e-posta ve ses gibi farklı formatlarda çözülüyor
• Operasyon ekipleri: Geri ödemeler, hesap değişiklikleri ve abonelik güncellemeleri gibi karmaşık iş akışları Fin Tasks ile otomatikleştiriliyor
• Ürün ekipleri: ChatGPT gibi yapay zeka araçları, Intercom’un MCP Sunucusunu kullanarak müşteri konuşmalarına, destek taleplerine ve kullanıcı verilerine erişebiliyor. Böylece işletme genelinde ekiplerin hata tespit etmelerine, yol haritalarını biçimlendirmelerine, iletişim tonunu geliştirmelerine ve üç aylık raporlar için hazırlanmalarına yardımcı oluyor. 

Intercom; titizlikle yapılan değerlendirmeler, performans odaklı yaklaşım ve esnek tasarım sayesinde ölçeklenebilir bir yapay zeka platformu geliştirerek destek kavramını yeniden tanımlıyor ve yapay zeka ile üretim yapan her şirketin işine yarayacak dersler sunuyor.