Parloa는 고객이 기꺼이 대화하고 싶어 하는 고객 서비스 에이전트를 구축합니다

Parloa를 설립한 초기, 공동 창업자인 슈테판 오스트발트는 팀이 초기 음성 경험을 개발하던 보험사 콜센터에서 하루를 보냈습니다. 상담원들과 나란히 앉아 비밀번호 재설정, 보험 약관 문의, 단순 정보 변경과 같은 동일한 대화가 반복되는 모습을 지켜보면서, 이러한 업무의 상당 부분은 자동화할 수 있다는 사실을 깨달았습니다.

이 경험을 계기로 베를린에 본사를 둔 Parloa⁠(새 창에서 열기)는 대량의 고객 상호작용을 자동화하기 위한 규칙 기반 음성 에이전트 개발을 시작했습니다.

ChatGPT가 등장한 이후 Parloa는 GPT‑5.4를 비롯한 차세대 모델을 기반으로 현재의 AI Agent Management Platform(AMP)을 구축하는 방향으로 발전했습니다.

AMP는 기업이 대규모 고객 서비스 상호작용을 설계하고, 배포하며, 관리할 수 있도록 지원합니다. 정해진 의도와 흐름을 일일이 설계하는 대신, 팀은 자연어로 에이전트의 동작을 정의하고 내부 시스템과 연결한 뒤, 기본 제공되는 시뮬레이션과 평가 기능을 활용해 빠르게 반복적으로 개선할 수 있습니다.

Parloa는 단순한 라우팅부터 여러 단계로 이루어진 복잡한 요청까지 고객 상호작용 전 과정을 처리합니다. Parloa가 가장 중요하게 생각하는 것은 실제 운영 환경에서의 일관성입니다. 이를 위해 성능, 지연 시간, 예외 상황을 모두 고려하며, 모델을 배포하기 전에 실제 고객 시나리오를 바탕으로 지속적으로 테스트합니다.

Parloa의 Agent Management Platform(AMP)은 비즈니스 사용자와 도메인 전문가가 코드를 작성하지 않고도 AI 에이전트를 구축할 수 있도록 설계되었습니다.

오라일리는 “AMP를 사용하면 여러 사업 부문의 도메인 전문가가 직접 AI 에이전트를 구축하고 API를 훨씬 더 간결하고 쉽게 연결할 수 있습니다.”라고 말합니다.

AMP는 브랜드가 AI 에이전트의 전체 수명 주기를 관리할 수 있도록 지원합니다. 이를 위해 기술 전문성이 없는 팀도 실제 운영을 시작하기 전에 에이전트가 어떻게 동작해야 하는지 손쉽게 정의할 수 있는 환경을 제공합니다. 도메인 전문가는 코드를 작성하거나 복잡한 의도 트리를 설계하는 대신, 자연어로 에이전트의 역할, 지시, 툴, 제한 범위를 설정합니다. 이렇게 구성한 설정은 모델에 전달되는 프롬프트와 실제 운영 환경에서 시스템이 동작하는 방식을 결정하는 기준이 됩니다.

에이전트 구성이 완료되면 배포 전에 테스트를 진행합니다. Parloa는 GPT‑5.4와 같은 모델을 활용해 한 모델은 고객 역할을, 다른 모델은 구성된 에이전트 역할을 수행하도록 하여 고객 대화를 시뮬레이션합니다. 팀은 이러한 상호작용을 직접 검토하고, 실제와 유사한 시나리오에서 변경 사항을 테스트하며, 운영을 시작하기 전에 반복적으로 개선할 수 있습니다.

그런 다음 동일한 모델을 사용해 결정론적 검사와 LLM-as-a-judge 평가를 조합하여 이러한 대화를 평가합니다. 이를 통해 에이전트가 지시를 제대로 따랐는지, 툴을 올바르게 사용했는지, 그리고 작업을 예상대로 완료했는지를 확인할 수 있습니다.

실제 운영 중인 대화에서는 AMP의 오케스트레이션 계층이 에이전트 설정과 대화 컨텍스트를 OpenAI 모델에 전달하여 응답을 생성하고, RAG를 통해 정보를 검색하거나, 툴을 실행해 고객 백엔드 시스템과 상호작용합니다. Parloa는 최신 모델이 실제 운영 환경에서 성능 향상을 입증할 때마다 이 계층을 지속적으로 업데이트합니다.

대화가 끝나면 OpenAI 모델 기반의 별도 워크플로가 대화 내용을 요약하고, 고객의 요청 의도를 분류하며, 미리 정의된 규칙에 따라 성능을 평가합니다.

에이전트가 점점 복잡해지면서 하나의 거대한 프롬프트만으로 관리하기가 어려워졌습니다. 작은 변경만으로도 의도하지 않은 부작용이 발생할 수 있었기 때문입니다. 이를 해결하기 위해 Parloa는 모듈식 접근 방식을 도입했습니다. 인증, 예약 변경, 계정 정보 업데이트와 같은 작업을 각각 독립된 하위 에이전트로 분리하여 지시 수행 능력을 높이고, 시간이 지나도 시스템을 더 쉽게 발전시킬 수 있도록 했습니다.

동시에 이 플랫폼은 신뢰성이 특히 중요한 영역에는 결정론적 제어 방식을 적용합니다. 기업은 구조화된 API 호출 체인과 이벤트 기반 로직을 정의하여 중요한 단계가 올바른 순서대로 수행되도록 보장하면서도, 대화의 유연성과 예측 가능한 실행 사이의 균형을 유지할 수 있습니다.

Parloa는 GPT‑4.1, GPT‑5‑mini 등의 모델을 활용해 에이전트가 실제 운영을 시작하기 전에 실제와 유사한 고객 상호작용을 시뮬레이션한 뒤, LLM-as-a-judge와 결정론적 규칙을 조합해 이를 평가합니다. 이를 통해 팀은 예외 상황을 테스트하고, 반복적으로 빠르게 개선하며, 고객에게 문제가 발생하기 전에 성능을 검증할 수 있습니다.

Parloa는 주로 대기업과 협력하며, 이들 기업에서는 성능만큼이나 일관성이 중요합니다.

Parloa의 수석 응용 과학자인 마테우스 도이치는 “새로운 모델이 출시되면 먼저 벤치마크 테스트를 수행합니다. 이론적인 벤치마크에서만 잘 작동하는 것이 아니라 실제 사용 사례에서도 제대로 작동하는지가 무엇보다 중요합니다.”라고 말합니다.

Parloa는 추상적인 벤치마크에 의존하지 않고 실제 운영 중인 에이전트와 동일한 환경을 구성한 뒤, 이를 시뮬레이션 및 평가 파이프라인에서 테스트합니다. 이러한 테스트를 통해 실제 환경에서의 지시 수행 신뢰성, API 호출의 일관성, 지연 시간 및 전반적인 성능을 측정합니다.

이러한 평가를 통해 어떤 모델이 실제 운영 환경에 적합한지 판단합니다. 실제 고객 시나리오 전반에서 안정적으로 성능을 발휘하는 모델만 운영 환경에 배포됩니다.

도이치는 “기업 고객에게는 마이그레이션에 따른 실제 비용이 발생합니다. 시스템이 운영 환경에서 안정적으로 작동하기 시작하면, 이점이 분명한 경우에만 새로운 모델로 전환합니다.”라고 설명합니다.

그 결과 대규모 운영 환경에서도 시스템은 예측 가능한 방식으로 동작합니다. 수백만 건의 고객 상호작용 대부분은 문제 없이 해결되며, 상담이 사람 상담원에게 연결되더라도 시스템의 실패 때문에 연결되는 경우는 거의 없습니다. 실제 한 글로벌 여행사는 이 시스템을 도입한 후 사람 상담원 연결 요청을 80% 줄였습니다.

평가를 우선하는 이러한 접근 방식은 Parloa의 핵심 차별화 요소가 되었으며, 실제 운영 환경의 신뢰성을 유지하면서도 빠르게 개선할 수 있는 기반이 되고 있습니다.

음성 서비스는 텍스트 기반 채팅과는 다른 제약 조건을 갖습니다. 모든 상호작용은 음성-텍스트 변환, 모델 추론, 텍스트-음성 변환으로 이어지는 저지연 파이프라인을 거칩니다.

이러한 파이프라인에서는 지연 시간이 매우 중요합니다. 모델 계층에서 발생하는 작은 지연도 사용자에게는 눈에 띄는 응답 지연으로 이어질 수 있기 때문에, 모델을 선택하고 최적화하는 과정에서도 지연 시간이 중요한 기준이 됩니다.

Parloa는 지연 시간, 응답 품질, 지시 수행 능력을 중심으로 실시간 활용 사례에 맞는 성능을 최적화하기 위해 OpenAI와 긴밀히 협력하고 있습니다. 또한 실제 운영 환경과 유사한 환경에서 새로운 모델 버전을 지속적으로 평가하고 스트레스 테스트한 후 실제 고객 상호작용에 적용합니다.

Parloa는 음성 스택의 각 구성 요소를 개별적으로 평가합니다.

• 음성-텍스트 변환 시스템은 특히 보험 증권 번호나 계정 식별자와 같이 정확성이 중요한 입력을 대상으로 단어 오류율을 평가합니다.
• 텍스트-음성 변환 모델은 실제 사용자에게 음성이 얼마나 자연스럽게 들리는지를 평가하기 위해 블라인드 청취 평가를 거칩니다. 이후 그 결과를 실제 고객 상호작용과 비교하여 실제 운영 환경에서도 일관된 성능을 제공하는지 확인합니다.
• 음성-음성 변환 모델은 현재 지연 시간, 정확도, 비용을 중심으로 실제 운영 환경에 배포할 준비가 되었는지 평가하고 있습니다.

이러한 시스템은 처음부터 전 세계에 배포하는 것을 염두에 두고 설계되었습니다. 벤치마크는 여러 언어에 걸쳐 수행되며, 고객 또한 전 세계 다양한 지역에서 서비스를 운영하고 있습니다. 이러한 다국어 검증은 Parloa의 유럽 기반 기업이라는 특성과 함께, 특정 언어나 지역이 아닌 여러 시장에서 일관된 성능을 요구하는 엔터프라이즈 고객의 기대를 반영합니다.

현재 Parloa의 에이전트는 소매, 여행, 보험 등 다양한 산업에서 수백만 건의 대화를 처리하며, 고객 지원 자동화부터 텔레쇼핑과 같은 매출 창출 워크플로까지 폭넓은 활용 사례를 지원하고 있습니다.

Parloa는 고객 서비스가 완전한 멀티모달 경험으로 발전해 나갈 것으로 보고 있습니다.

고객과의 대화는 전화로 시작해 채팅으로 이어지고, 그 과정에서 링크나 인터랙티브 요소가 포함될 수도 있습니다. AMP는 이러한 각 단계를 별개의 흐름으로 처리하는 대신 하나의 연속된 상호작용으로 처리하도록 설계되었습니다. 앞으로 AI 에이전트는 웹사이트나 모바일 앱처럼 고객 여정의 핵심 요소로 자리 잡게 될 것입니다.

기업들이 점점 더 많은 고객 상호작용을 자동화하는 방향으로 나아감에 따라, Parloa는 AI 에이전트가 전 세계 규모에서도 안정적으로 운영될 만큼 신뢰할 수 있고, 유연하며, 믿고 사용할 수 있는 시스템이 되도록 만드는 데 집중하고 있습니다.