AI 에이전트로 식품 유통을 자동화하는 Choco
Choco는 OpenAI API로 수백만 건의 주문을 처리하고 수작업을 줄이며, 글로벌 식품 공급망 전반에서 상시 운영을 실현합니다.

성과
880만+
연간 주문 처리 건수
성과
2,000억+
실제 운영 환경에서 처리한 AI 토큰 수
성과
↑50%
수동 주문 입력 감소율
성과
2배
인력 충원 없이 높아진 영업팀 생산성
Choco(새 창에서 열기)는 식음료 유통을 현대화하는 AI 기반 플랫폼으로, 미국, 영국, 유럽, 걸프협력회의(GCC) 국가에서 21,000곳 이상의 유통업체와 10만 곳의 구매업체에 서비스를 제공합니다. Choco는 음식점, 공급업체, 유통업체를 하나의 통합 시스템으로 연결해 식품 공급망 전반의 주문, 영업, 고객 관리를 간소화합니다.
주문량이 늘어나면서 Choco는 큰 병목에 부딪혔습니다. 주문이 여전히 이메일, 문자 메시지, 음성 메시지, 이미지, 심지어 손으로 쓴 메모로 들어오고 있었기 때문입니다. 담당자들은 이렇게 들어온 내용을 구조화된 ERP 주문으로 일일이 옮겨야 했습니다. 느리고 오류가 잦은 이 과정은 사업 확장을 제약하고 운영에 지속적인 마찰을 일으켰습니다.
“이런 입력을 처리하는 것이 첫 번째 장벽이었지만, 가장 어려운 과제는 아니었습니다. 진짜 문제는 고객별 SKU 매핑, 선호하는 주문 단위, 배송 패턴처럼 명시되지 않은 맥락이었습니다. 그 지식은 주문 접수 담당자들의 머릿속에만 있었고, 저희는 이를 주문 접수 시점에 모호한 내용을 해석하는 추론 계층에 담아내야 했습니다.”
실제 서비스에 도입할 수 있는 LLM이 등장하자, Choco는 업무 흐름을 지원하는 소프트웨어를 넘어 직접 업무를 수행하는 AI 시스템을 구축할 기회를 포착했습니다. OpenAI API는 이 전환의 핵심이 되었습니다.
Choco는 플랫폼의 핵심에 OpenAI API를 통합해 차세대 AI 네이티브 제품을 구현했습니다. Choco가 선보인 OrderAgent(새 창에서 열기)는 이메일, SMS, 이미지, 문서 등 멀티모달 입력을 처리하고, ERP에 바로 반영할 수 있는 구조화된 주문으로 변환합니다.
“음성 전사와 정보 추출 기능이 탄탄한 토대가 되어 주었습니다. 진짜 기술적 과제는 시스템이 고객별 주문 이력과 카탈로그를 바탕으로 모호한 내용을 해석하도록 동적 인컨텍스트 학습 인프라를 구축하는 것이었습니다. 바로 이것이 단순한 자동화와 지능의 차이입니다.”
또한 OpenAI의 Realtime API를 기반으로 VoiceAgent(새 창에서 열기)를 개발했습니다. 고객은 영업시간 외에도 전화를 걸어 1초 미만의 응답 지연으로 자연스럽게 주문할 수 있습니다.

Choco가 OpenAI를 선택한 이유는 모델 성능, 멀티모달 기능, 구조화된 출력값, 대규모 운영 환경에서의 안정성이었습니다. 단일 생태계 안에서 텍스트, 시각 정보, 오디오를 처리할 수 있어, Choco는 그동안 분리되어 있던 업무 흐름을 하나의 지능형 시스템으로 통합할 수 있었습니다.
구현은 신속하게 이루어졌고, 확장성도 확보했습니다. Choco는 OpenAI의 SDK와 API를 활용해 음성의 텍스트 변환, 임베딩, 함수 호출 등의 기능을 자사 인프라에 빠르게 통합했습니다. 또한 실제 운영 환경에서 정확도와 성능을 확보하기 위해 정답 데이터셋, 지속적인 모니터링, A/B 테스트를 활용하는 엄격한 평가 체계를 구축했습니다.
주문 업무 전반에 자연스럽게 통합된 덕분에 고객들의 도입도 늘어났습니다. 고객은 주문 방식을 바꿀 필요가 없었습니다. 전화든 문자든 이메일이든, 시스템이 고객의 방식에 맞춰 작동했습니다.
“고객들이 자신의 주문을 시스템이 실제로 처리하는 모습을 보자 신뢰는 빠르게 쌓였습니다. 그때부터 도입에 본격적으로 속도가 붙었습니다.”
유통업체는 선택 기능인 ‘자동 처리’ 모드를 통해 신뢰도 기준을 충족하는 주문은 자동으로 처리하고, 예외적인 경우에는 사람이 검토하도록 할 수 있었습니다. 시스템은 시간이 지나면서 수정 내용을 지속적으로 학습해 정확도와 신뢰성을 높였습니다.
연간 880만 건 이상의 주문을 처리하며 수백만 건의 수작업을 해소
수동 주문 입력을 최대 50% 줄여 담당자들이 더 가치 있는 업무에 집중하도록 지원
생산성을 2배로 높여 추가 인력 없이 업무 규모 확대
자동화 기준을 조정해 오류율을 1~5% 미만으로 유지
연중무휴 24시간 주문을 접수해 야간과 주말의 주문 지연 해소
첫날부터 평가를 시작하세요: 10~20개 예시로 구성된 작은 정답 데이터셋만으로도 진척도를 측정하고, 개선 효과를 검증하며, 확신을 갖고 반복적으로 개선할 수 있습니다.
AI에 특화된 관측 가능성에 투자하세요: AI 시스템을 디버깅할 때는 기존 방식의 로그만으로 부족합니다. 성능을 이해하고 개선하려면 모델의 입력, 출력, 추론 기록을 수집하는 것이 필수적입니다.
초기부터 적절한 기대치를 설정하세요: 결정론적 소프트웨어와 달리 LLM은 확률적으로 작동합니다. 직원과 사용자에게 이 차이를 알리는 것이 신뢰를 쌓고 도입 과정에서 마찰을 줄이는 핵심입니다.
Choco는 식품 유통 생태계 전반으로 AI 기능을 계속 확장하며, 복잡한 운영 업무를 수행하는 에이전트의 역할을 강화하고 있습니다. AI 시스템이 더 많은 역할을 맡게 되면서, Choco는 엔지니어가 아닌 사람들도 ‘에이전트 조율자’라는 새로운 역할을 수행할 수 있도록 지원하고 있습니다. 이들은 비즈니스 성과를 이끄는 지능형 시스템을 설계하고 관리합니다.
“저희는 업무를 지원하는 소프트웨어에서 실제로 업무를 수행하는 시스템으로 전환하고 있습니다. 이 변화 덕분에 고객은 더 빠르고 효율적으로 운영하면서 변화와 위기에도 훨씬 유연하게 대응할 수 있습니다.”
Choco는 앞으로 OpenAI API 활용을 더욱 확대해 영업, 상거래, 공급망 운영 전반에 자율성과 맥락 이해 능력이 더 뛰어난 시스템을 구현할 계획입니다. 이를 통해 업무 흐름을 지원하는 소프트웨어에서 AI가 업무를 실행하는 인프라로의 전환을 이어갈 것입니다.


