Trzy wnioski firmy Intercom ze stworzenia trwałej przewagi dzięki AI

Gdy w 2022 r. wydano model GPT‑4, firma Intercom⁠(otwiera nowe okno) – producent oprogramowania do obsługi klienta – nie ograniczyła się do czytania nagłówków. Była gotowa do działania. W ciągu kilku godzin rozpoczęła eksperymentowanie z AI. Zaledwie cztery miesiące później udostępniła Fin, agenta AI, który każdego miesiąca odpowiada na miliony pytań klientów.

Wczesna inicjatywa nie była przypadkiem. Szybki rozwój modeli LLM przekonał firmę Intercom, że AI zmieni sposób obsługi klienta. Kierownictwo działało szybko. Powołało zespół zadaniowy składający się z pracowników o różnych umiejętnościach i z różnych działów, anulowało projekty niezwiązane z AI i przeznaczyło 100 milionów dolarów na przekształcenie działalności pod kątem AI.

Ta decyzja zapoczątkowała zmiany w całej firmie: reorganizację zespołów ds. produktów, powstanie nowej strategii pomocy technicznej opartej głównie na AI oraz stworzenie platformy umożliwiającej agentowi Fin obsługę dużej liczby złożonych pytań klientów.

Poniżej znajdują się trzy wnioski z doświadczeń firmy Intercom, które każdy zespół – bez względu na postęp jego prac – może od razu zastosować.

Firma Intercom intensywnie testuje modele na wczesnym etapie i dokłada starań, by nauczyć się jak najwięcej z ich działania.

Zespół zaczął wcześnie eksperymentować z modelami generatywnymi. Zdobyte w ten sposób praktyczne doświadczenie pomogło mu odkryć ograniczenia modeli i dostrzec związane z nimi możliwości. Dlatego gdy na początku 2023 r. publicznie udostępniono model GPT‑4, zespół był na to gotowy. W ciągu czterech miesięcy udostępnił agenta Fin. Od tego czasu nie zwalnia tempa.

„Model GPT‑3.5 pozwalał na prowadzenie płynnych konwersacji z przebłyskami magii. Nie był on jednak wystarczająco niezawodny, aby można go było oddać w ręce naszych klientów” – powiedział Jordan Neill, starszy wiceprezes ds. rozwiązań inżynieryjnych. – „Odrobiliśmy pracę domową, dlatego kiedy wydano model GPT‑4, wiedzieliśmy, że spełnia on nasze wymagania pod kątem udostępnienia agenta Fin”.

Zdobyta wcześniej biegłość pomogła także firmie Intercom zaprojektować Fin Tasks, system automatyzujący złożone przepływy pracy, takie jak zwroty środków i wsparcie techniczne. Chociaż zespół początkowo planował użycie stosu opartego na wyszukiwaniu i pobieraniu, przeprowadzone oceny wykazały, że model GPT‑4.1 jest w stanie poradzić sobie samodzielnie z zachowaniem wysokiej niezawodności i przy niższych opóźnieniach.

Obecnie firma Intercom korzysta z modelu GPT‑4.1 w coraz szerszym wachlarzu zastosowań AI, w tym w kluczowych procesach logicznych systemu Fin Tasks. Zespół odkrył również, że dodanie poleceń z łańcuchem myśli do zapytań bez rozumowania zredukowało różnice w działaniu bez konieczności stosowania pełnych procesów RAG.

Wniosek firmy Intercom: im większa znajomość używanych modeli, tym szybsza umiejętność dostosowania się do najnowszych i najlepszych rozwiązań technologicznych.

Szybkie działanie wymaga oceny tego, co działa i dlaczego.

Zdolność firmy Intercom do szybkiego wdrażania nowych modeli, modalności i architektur wynika z procesu przeprowadzania rygorystycznych ocen. Każdy nowy model OpenAI – niezależnie od tego, czy obsługuje agenta Fin Voice, jest udostępniany przez interfejs Realtime API, czy stosowany w systemie Fin Tasks (model GPT‑4.1) – jest przed wdrożeniem poddawany ustrukturyzowanym testom offline oraz testom A/B w czasie rzeczywistym pod kątem wykonywania instrukcji, dokładności wywoływania narzędzi oraz ogólnej spójności działania.

Zespół przeprowadza na przykład testy porównawcze modeli na podstawie zapisu rzeczywistych interakcji ze wsparciem, oceniając, jak dobrze modele radzą sobie w przypadku wieloetapowych instrukcji, takich jak zwroty środków, czy zachowują styl komunikacji marki Fin oraz na ile niezawodnie wykonują wywołania funkcji. Rezultaty tych testów są używane w testach A/B w czasie rzeczywistym, które porównują wskaźniki rozwiązań i zadowolenie klientów w przypadku różnych modeli, takich jak GPT‑4 i GPT‑4.1.

To podejście pozwoliło firmie Intercom przejść z modelu GPT‑4 na GPT‑4.1 w ciągu zaledwie kilku dni. Po potwierdzeniu lepszej obsługi instrukcji i lepszego wykonywania funkcji model GPT‑4.1 wdrożono w całym systemie Fin Tasks. Przełożyło się to na natychmiastową poprawę działania i zadowolenia użytkowników.

„Po wydaniu modelu GPT‑4.1 w ciągu 48 godzin otrzymaliśmy wyniki ocen, a zaraz potem stworzyliśmy plan wdrożenia” – powiedział Jordan Neill, starszy wiceprezes ds. rozwiązań inżynieryjnych w firmie Intercom. – „Od razu zauważyliśmy, że model GPT‑4.1 stanowi dobre połączenie inteligencji i niższych opóźnień, które odpowiada potrzebom naszych klientów”. 

W przypadku agenta Fin Voice ta sama procedura oceniania pomogła firmie Intercom zweryfikować nowe migawki modeli głosowych i wskazać elementy wymagające poprawy w obszarach opóźnień, wykonywania funkcji i zgodności z planami rozmów, czyli obszarach niezbędnych do zagwarantowania wsparcia przez telefon na poziomie człowieka. 

Firma Intercom rozszerzyła zakres ocen, aby uwzględnić dodatkowy wymiar, jaki głos wnosi do interakcji. Firma przeprowadza systematyczne oceny agenta Fin Voice pod kątem takich czynników, jak osobowość, ton, radzenie sobie z przerwami w rozmowie i hałas w tle, aby zapewnić wysoką jakość obsługi klienta.

Firma Intercom, od samego początku otwarta na zmiany w swojej strategii, zbudowała na tyle elastyczną architekturę, że obecnie ewoluuje ona wraz z używanymi modelami.

System Fin ma budowę modułową i obsługuje wiele modalności, takich jak czat, poczta e-mail i głos. Każda z nich wiąże się z innymi kompromisami dotyczącymi opóźnień i złożoności. Taka architektura pozwala firmie Intercom kierować pytania do najlepszego modelu dla danego zadania i wymieniać modele bez konieczności budowania od nowa systemu bazowego.

Dostępna elastyczność jest celowa i stale ewoluuje. Architektura agenta Fin ma obecnie trzecią główną wersję, a kolejna jest już w trakcie opracowywania. Wraz z rozwojem modeli zespół dodaje złożoność tam, gdzie jest to konieczne do uzyskania nowych zdolności, i zmniejsza ją tam, gdzie to możliwe.

Możliwość dostosowania okazała się kluczowa w przypadku systemu Fin Tasks. Początkowo zespół założył, że obsługa Fin Tasks będzie wymagała niestandardowej architektury opartej na wyszukiwaniu i pobieraniu. Miała ona umożliwić agentowi Fin odpowiadanie na złożone pytania klientów i wykonywanie wieloetapowych procesów, takich jak zwroty środków, wprowadzanie zmian na kontach czy rozwiązywanie problemów technicznych. 

Jednak podczas testów okazało się, że zdolność modelu GPT‑4.1 w zakresie wykonywania instrukcji przewyższa oczekiwania, zapewniając taką samą niezawodność przy niższym opóźnieniu i niższych kosztach.

„Uważam, że za mało mówi się o modelu GPT‑4.1” – powiedział Pratik Bothra, główny inżynier ds. uczenia maszynowego w firmie Intercom. – „Naprawdę zaskoczyły nas opóźnienia i profil kosztów. Pozwoliło nam to dostosować architekturę i ograniczyć złożoność”.

To dopiero początek realizacji planów firmy. Firma Intercom, korzystająca z zaawansowanych modeli i modułowej architektury niezależnej od modelu, wychodzi poza wsparcie klienta, aby usprawnić przepływy pracy w całej działalności, zapewniając szybsze odpowiedzi i lepszą obsługę klienta:

• Zespoły ds. wsparcia: Odpowiadanie na większość pytań na czacie, w wiadomościach e-mail, telefonicznie i przez inne kanały z zastosowaniem agenta AI Fin
• Zespoły ds. operacyjnych: Automatyzacja złożonych przepływów pracy, takich jak zwrot środków, wprowadzanie zmian na kontach i aktualizacje subskrypcji z zastosowaniem systemu Fin Tasks
• Zespoły ds. produktu: Serwer MCP firmy Intercom pozwala narzędziom AI, takim jak ChatGPT, uzyskiwać dostęp do rozmów z klientami, zgłoszeń i danych użytkowników, pomagając zespołom w całej firmie w wykrywaniu błędów, opracowywaniu planów działania, dopracowywaniu wiadomości i przygotowywaniu się do kwartalnych przeglądów biznesowych. 

Firma Intercom stworzyła skalowalną platformę AI, przeprowadzając rygorystyczne oceny oraz koncentrując się na wydajnym działaniu i elastycznej konstrukcji. Na nowo zdefiniowała wsparcie i wyciągnęła wnioski, z których mogą skorzystać wszystkie firmy tworzące rozwiązania przy użyciu AI.