OpenAI 모델을 활용해 월 1억 건의 통화를 처리하는 Retell

Retell AI⁠(새 창에서 열기)는 컨택 센터 운영을 위한 음성 AI 플랫폼입니다. 기업이 질문에 답하고, 작업을 수행하며, 필요할 때 전화를 건 고객을 사람 상담원에게 연결해 주는 에이전트를 구축하도록 돕습니다. 현재 4,000개 이상의 기업이 이 플랫폼을 이용하고 있으며, 월간 통화량은 2026년 초 3,000만 건에서 9월에는 1억 건 이상으로 증가했습니다.

복잡한 워크플로를 운영하는 대기업 고객사가 늘어남에 따라, Retell은 OpenAI 모델을 활용해 높은 통화 품질과 안정성을 유지하고 있습니다. 현재 Retell에서 이루어지는 통화의 80%는 OpenAI 모델이 응답을 생성하며, 고객사들은 80%가 넘는 요청 해결률을 달성하고 있습니다. Retell이 OpenAI 모델 전반에서 사용한 토큰도 1조 개를 넘어, 그 활용 규모를 보여 줍니다.

Retell 엔지니어들은 낯선 코드 분석부터 기능 개발, 문제 디버깅까지 개발 전 과정에서 Codex를 사용하며, 프런트엔드 인터페이스 테스트에는 GPT‑6 Astra를 활용합니다.

기업용 음성 에이전트는 대화가 달라지더라도 회사 정책을 따르고 주어진 역할의 범위를 벗어나지 않아야 합니다. Retell은 실제 운영 상황에서 가져온 고난도 다중 턴 대화로 수십 개의 모델을 비교하기 위해 vCX 벤치마크를 개발했습니다.

이 벤치마크는 모델이 지침을 얼마나 잘 따르는지, 주어진 정보에 충실한지, 올바른 도구를 호출하는지, 자연스러운 대화체를 사용하는지 평가합니다. Retell의 2026년 10월 13일 벤치마크에서 GPT‑6 Astra는 지침 준수 항목에서 89.7%로 1위를 차지했습니다.

Retell은 GPT‑6 Astra 모델 출시 전에 실시한 평가 결과도 공개했습니다. 이 평가에서 추론을 활성화한 GPT‑5.5는 환각 없는 응답 비율(88.0%)과 도구 호출 정확도(88.3%) 모두에서 모델 중 가장 높은 성능을 보였으며, 두 지표 모두 Gemini‑3.1‑Pro와 Claude‑4.6을 앞섰습니다. 추론을 비활성화한 상태에서도 환각 없는 응답 비율이 가장 높았습니다.

Retell에 따르면 OpenAI 모델을 선택한 신규 고객들은 이후에도 계속 해당 모델을 사용합니다. 고객은 Realtime API를 통해 OpenAI Realtime 모델을 이용할 수 있고, OpenAI의 텍스트 음성 변환 기능을 음성 엔진으로 사용할 수도 있습니다. Retell은 새로운 OpenAI 모델을 출시 당일부터 제공하며, 모델이 개선될 때마다 벤치마크를 다시 실행합니다.

컨택 센터 팀은 Retell을 사용해 에이전트의 업무 맥락, 목표, 규칙을 정의합니다. 개발자는 워크플로와 연동 기능을 추가로 설정할 수 있습니다.

통화 중에는 Retell의 하네스가 오디오 모델을 실행하고 대화 흐름을 추적하며, 에이전트가 말하거나 듣는 시점, 상대방이 말을 끊었을 때 대응하는 시점을 관리합니다. GPT‑6.1 Sol, GPT‑6 Astra, GPT‑5.5를 비롯한 OpenAI 모델은 고객사의 지침과 대화 맥락을 바탕으로 응답을 생성하고 도구 호출을 요청합니다. Retell은 고객사 시스템과의 연동을 통해 도구 호출을 실행하며, 그 결과를 고객 기록에 반영할 수 있습니다.

사람의 판단이 필요할 때는 음성 에이전트가 상담원에게 상황을 요약해 전달하고 추가 질문에 답한 뒤, 상담원의 준비 여부를 확인하고 고객을 연결합니다. 통화가 끝나면 Retell은 GPT‑5.6 Terra로 통화 내용을 분석해 처리 결과와 기타 데이터를 추출합니다.

Retell은 이러한 방식으로 고객 요청 해결률이 80%를 넘었다고 밝혔습니다. 전자제품 기업 Anker에서는 에이전트가 미국과 영국의 1차 구매 후 지원을 담당하며, 주문 배송 조회, 보증 확인, 문제 해결 등을 처리합니다. Anker가 발표한 문의 해결률은 80.4%, 순추천지수(NPS)는 63점입니다. 담당 팀은 에이전트의 말투, 대화 속도, 친근함도 사람 상담원에게 기대하는 수준을 충족했다고 전했습니다.

Pine Park Health에서는 Retell 에이전트가 예약 알림과 선제적인 예약 안내를 담당하고, 처리 결과를 환자의 진료 기록에 남깁니다. 담당 팀은 상근 직원 2.1명분에 해당하는 진료 보조 인력의 업무 시간을 절약해 환자 돌봄에 투입했습니다. 예약 담당 에이전트는 환자와 연결된 통화에서 55.7%의 예약 성사율을 달성했습니다.

Retell 플랫폼의 주간 트래픽은 심야 최저치의 50배를 넘기도 합니다. Retell은 수요가 가장 많은 시간대에도 빠른 통화 응답을 유지하기 위해 OpenAI 전용 서버를 확보해 고객사들이 공동으로 사용하도록 합니다. Retell의 2026년 10월 13일 벤치마크에서 GPT‑6 Astra와 GPT‑6 Sol은 첫 문장 응답 지연 시간의 중앙값이 각각 883밀리초를 기록했고, GPT‑5.6 Luna는 497밀리초로 가장 좋은 성능을 보였습니다.

OpenAI의 지역별 API 엔드포인트를 통해 개발자는 트래픽을 특정 지역으로 라우팅할 수 있습니다. 덕분에 Retell은 네트워크 전송 시간을 줄이고 의료, 금융 서비스 등 여러 산업 분야 고객사의 데이터 레지던시 요건을 충족할 수 있습니다.

Retell은 서비스의 각 계층에 이중화 구성도 적용합니다. 자체 전화 통신 스택을 운영하면서 이를 즉시 대체할 수 있는 두 번째 스택을 준비해 두고, 음성 및 모델 서비스에도 백업을 마련해 서비스 장애가 발생해도 통화가 이어지도록 합니다.

Retell의 기업 고객이 늘면서 맞춤형 워크플로와 연동에 대한 요청도 증가하고 있습니다. 이에 따라 엔지니어들은 코드베이스의 익숙하지 않은 부분을 다뤄야 할 때가 많습니다. 엔지니어들은 코드를 작성하기 전에 Codex에 요구 사항의 큰 틀을 전달합니다. Codex는 코드를 살펴보고 실제 데이터와 대조한 뒤, 어떤 부분을 변경해야 하는지 설명합니다. 한 엔지니어는 Codex가 자신보다 이 분석 작업을 더 잘하고 훨씬 빠르게 수행했다고 말했습니다.

엔지니어들은 구현 과정에서도 Codex가 미처 생각하지 못한 세부 사항을 짚어 주는 경우가 많다고 말합니다. 디버깅 시 Codex는 로그와 데이터베이스 기록을 코드와 교차 확인하며 문제의 원인을 조사합니다. Retell 엔지니어들은 OpenAI 모델을 기반으로 개발하는 고객사와 협업할 때도 Codex를 사용합니다. 고객사 애플리케이션에서 모델의 응답 방식을 안내하는 지침 작성 등의 작업 속도를 높이기 위해서입니다.

웹 인터페이스의 변경 사항을 테스트할 때는 GPT‑6 Astra의 컴퓨터 사용 기능을 활용합니다. 엔지니어가 프런트엔드 pull request를 생성하면 GPT‑6 Astra가 인터페이스를 열고 직접 클릭하며 사용 흐름을 테스트합니다. 오류를 유발할 만한 동작도 시도하고, 발견한 문제를 보고합니다. Retell에 따르면 이전 모델들은 이 작업을 안정적으로 수행하지 못했습니다.

Retell은 계속 채용을 진행하고 있지만, 엔지니어링 팀을 사업 성장 속도만큼 빠르게 늘릴 필요는 없었습니다. Retell은 직원 1인당 연 환산 매출이 160만 달러라고 밝혔습니다.

모든 기업은 고객에게 어떤 서비스를 제공하고 싶은지 알고 있습니다. Retell의 목표는 고객 응대 현장을 가장 잘 아는 담당자들이 자신의 전문성을 직접 적용할 수 있도록 하는 것입니다. 이를 위해 고도화된 음성 AI와 함께, 에이전트를 직접 구축하고 테스트하며 개선할 수 있는 플랫폼을 제공합니다. 앞으로 Retell은 품질 보증과 시뮬레이션 기능을 확대하고, 지원 언어를 늘리며, 지식 베이스 자동 학습 기능을 개발할 계획입니다.

Retell은 OpenAI 모델이 계속 발전하면서 고객사들이 자신만의 방식으로 수백만 명의 전화 고객에게 세계적인 수준의 서비스를 제공할 수 있을 것으로 기대합니다.

“기업의 고객을 그 기업보다 더 잘 아는 사람은 없습니다. 저희는 기업이 이러한 전문성을 활용해 AI 에이전트를 직접 개선할 수 있도록 지원합니다. 목표는 기업이 내부 현장에 배치된 엔지니어들로 자체 팀을 구성해 모든 것을 주도적으로 운영하도록 하는 것입니다.”라고 Bing은 말합니다.