지속 가능한 AI 우위를 확보하기 위한 Intercom의 세 가지 교훈

2022년 GPT‑4가 출시됐을 때 Intercom⁠(새 창에서 열기)은 지켜보고만 있지 않았습니다. 구축을 준비했죠. 고객 서비스 소프트웨어 회사인 Intercom은 몇 시간 내로 실험을 시작했고, 단 4개월 후에 AI 에이전트인 Fin을 출시했습니다. Fin은 현재 매월 수백만 건의 고객 질문을 해결하고 있습니다.

이러한 초기 추진력은 우연이 아니었습니다. LLM이 급진적으로 발전하면서 Intercom은 AI가 고객 경험을 재편할 것임을 알아차렸습니다. 일은 빠르게 추진되었습니다. 다기능 TF 팀을 구성하고, AI와 관련되지 않은 프로젝트를 취소하고, 1억 달러를 들여 비즈니스를 AI 중심으로 재구축했습니다.

이러한 결정은 제품 팀을 개편하고, AI 우선 헬프데스크 전략을 새롭게 도출하고, 대량의 복잡한 고객 질문을 처리하는 Fin을 지원하도록 플랫폼을 구축하는 등 전사적인 변화를 가져왔습니다.

다음은 Intercom의 여정에서 얻은 세 가지 교훈으로, 어떤 팀이든, 어느 지점에서 시작하든 지금 바로 적용할 수 있습니다.

Intercom은 초기에 여러 번 모델을 테스트하고 그로부터 심층 지식을 구축했습니다.

팀은 초기에 생성형 모델로 실험하기 시작했고, 팀의 실습 경험은 모델의 한계를 매핑하고 기회를 포착하는 데 도움이 되었습니다. 2023년 초 GPT‑4가 출시되었을 때, Intercom은 준비가 되어 있었습니다. 4개월 내에 Intercom은 Fin을 출시했고 이후로 속도를 늦춘 적이 없습니다.

엔지니어링 부문 SVP Jordan Neill은 말합니다. “GPT‑3.5를 활용하여 원활한 대화를 나눌 수 있는 마법 같은 순간을 경험했지만, 고객의 신뢰를 얻기에는 안정성 측면에서 부족함이 있었습니다. GPT‑4가 출시되었을 때는 모든 것이 완성되었고, 준비가 되었다는 걸 알았기 때문에 바로 Fin을 출시했습니다.”

이러한 원활한 흐름은 Fin Tasks를 설계하는 과정에도 작용했습니다. Fin Tasks는 환불, 기술적 지원 같은 복잡한 워크플로를 자동화하는 시스템입니다. 팀은 처음에 검색 기반 스택을 계획했지만 평가를 통해 GPT‑4.1이 높은 안정성과 낮은 레이턴시를 갖추고 자체적으로 작업을 처리할 수 있음을 발견했습니다.

현재 GPT‑4.1은 Fin Tasks 내부 주요 로직을 포함하여 증가하고 있는 Intercom의 AI 사용에서 큰 비중을 차지하고 있습니다. 또한 팀은 비추론 쿼리에 생각의 흐름 프롬프트를 추가하면 본격적인 RAG 파이프라인 없이도 성능 격차가 줄어든다는 점을 발견했습니다.

Intercom의 결론은 모델에 대해 잘 알수록 발전하는 첨단 기술에 더 빠르게 적응할 수 있다는 점입니다.

빠르게 움직이려면 무엇이 효과적인지, 왜 그런지 측정해야 합니다.

새로운 모델, 모달리티, 아키텍처를 빠르게 도입하는 Intercom의 역량은 엄격한 평가 과정에 기인합니다. 모든 신규 OpenAI 모델은 Fin Voice에 사용되든(Realtime API로 구동됨) 아니면 Fin Tasks에 사용되든(GPT‑4.1로 구동됨) 상관없이, 배포하기 전에 구조화된 오프라인 테스트와 라이브 A/B 시험을 거쳐 지침 준수, 도구 호출 정확도, 전반적인 일관성을 평가했습니다.

예를 들어 팀은 지원 인력이 실제로 진행한 고객 상호 작용의 텍스트 기록에 대해 모델을 벤치마크하여 예컨대 환불 같이 여러 단계로 이루어진 지침을 얼마나 잘 처리하는지, Fin의 브랜드 보이스를 얼마나 잘 유지하는지, 얼마나 안정적으로 기능을 호출하는지 등을 평가했습니다. 이러한 결과는 GPT‑4 및 GPT‑4.1 등의 모델 전반에서 해결률과 고객 만족도를 비교하는 라이브 A/B 테스트에 정보를 제공합니다.

이 접근 방식은 Intercom이 며칠 만에 GPT‑4에서 GPT‑4.1로 마이그레이션하는 데 도움이 되었습니다. 지침 처리 및 기능 실행의 개선을 확인한 후 Intercom은 GPT‑4.1을 Fin Tasks에 적용했고 성능과 사용자 만족도에서 모두, 즉시 향상을 확인했습니다.

Intercom 엔지니어링 부문 SVP Jordan Neill이 말합니다. “GPT‑4.1이 출시됐을 때 48시간 이내에 평가 결과를 얻었고 곧바로 적용 계획을 세웠습니다. GPT‑4.1이 우리 고객의 니즈에 맞는 인텔리전스와 레이턴시가 효율적으로 조합되었음을 바로 확인할 수 있었습니다.” 

Fin Voice의 경우, Jordan이 언급한 평가 프로세스를 통해 Intercom은 새로운 음성 모델 스냅샷을 검증하고 레이턴시, 기능 실행, 스크립트 준수 등의 개선을 정확히 찾아냈습니다. 레이턴시, 기능 실행, 스크립트 준수는 모두 인간 수준의 전화 지원을 제공하는 데 핵심적인 요소입니다. 

Intercom은 평가를 확장하여 음성이 고객 상호 작용에 미치는 추가적인 요소를 측정했습니다. 고품질의 고객 경험을 제공하기 위해 성격, 어조, 중단 대응, 배경 소음 등의 요인을 기준으로 Fin Voice를 체계적으로 평가합니다.

Intercom은 처음부터 변화에 최적화하여여 구축했습니다. 즉, 기반 모델과 함께 진화할 수 있을 정도로 유연한 아키텍처를 설계했습니다.

Fin의 시스템은 모듈식으로 설계되어 레이턴시와 복잡성을 서로 다르게 조합한 멀티 모달리티(채팅, 이메일, 음성 등)를 지원합니다. 이러한 아키텍처 덕분에 Intercom은 작업에 가장 적합한 모델에 쿼리를 라우팅하며 기본 시스템을 재설계하지 않고도 모델을 교체할 수 있습니다.

의도된 이러한 유연성은 꾸준히 향상하고 있습니다. Fin의 아키텍처는 현재 세 번째 주요 개선 버전으로 구동 중이며, 다음 버전이 이미 개발 중입니다. 모델이 발전함에 따라, 팀은 새로운 기능이 필요한 지점에 복잡성을 더하고 가능한 지점을 단순화합니다.

이러한 적응성은 Fin Tasks에 매우 중요한 것으로 입증되었습니다. 처음에 팀은 맞춤형 검색 기반 아키텍처로 Fin Tasks를 지원하여 Fin에서 복잡한 고객 질문을 해결하고 환불 진행, 계정 변경, 기술적 문제 해결과 같이 여러 단계로 된 절차를 수행하도록 지원해야 할 것으로 추측했습니다. 

하지만 테스트에서 GPT‑4.1의 지침 준수 기능은 낮은 레이턴시와 비용에서도 동일한 신뢰성을 제공해 예상보다 뛰어난 결과를 보여주었습니다.

Intercom 머신 러닝 수석 엔지니어 Pratik Bothra의 말입니다. “솔직히, GPT‑4.1에 대한 사람들의 인식이 부족하다고 생각합니다. 저희는 레이턴시 및 비용 프로필을 보고 정말 놀랐습니다. 덕분에 아키텍처를 전환하고 복잡성을 크게 줄였습니다.”

Intercom 팀의 행보는 이제 시작일 뿐입니다. 고급 모델로 구동하고, 모듈식의 모델 중립적(model-agnostic) 아키텍처를 기반으로 구축한 Intercom은 고객 지원을 넘어 비즈니스 전반에서 워크플로를 강화하도록 확장하여 더 빠른 해결과 더 나은 고객 경험을 제공하고 있습니다.

• 지원 팀: Fin AI 에이전트를 통해 채팅, 이메일, 음성 등에서 인바운드 질문의 대부분을 해결합니다.
• 운영 팀: Fin Tasks를 통해 환불, 계정 변경, 구독 업데이트 등의 복잡한 워크플로를 자동화합니다.
• 제품 팀: ChatGPT 같은 AI 도구는 Intercom의 MCP 서버를 이용해 고객 대화, 티켓, 사용자 데이터에 액세스합니다. 이를 통해 비즈니스 전반의 팀들은 버그를 발견하고 로드맵을 구성하고 메시지를 개선하며 QBR을 준비할 수 있습니다. 

Intercom은 엄격한 평가, 성능 중심, 유연한 설계를 통해 확장 가능한 AI 플랫폼을 구축함으로써 고객 지원을 새롭게 정의했으며 AI를 기반으로 사업을 구축하는 모든 기업에게 교훈을 제시합니다.