Braintrust가 Codex를 활용해 고객 요청을 코드로 구현하는 방법

Braintrust는 고품질 AI 제품을 안정적으로 출시할 수 있도록 지원하는 관측 가능성 및 평가 플랫폼입니다.

이제 Braintrust 엔지니어들은 Codex를 활용해 고객의 기능 요청을 받아 몇 분 만에 프리뷰 브랜치를 생성하고, 실제로 동작하는 결과물을 고객에게 보여줄 수 있습니다.

한 달 만에 Braintrust 팀의 절반이 Codex로 전환했습니다. 창립자 겸 CEO인 안쿠르 고얄이 체감한 가장 큰 변화는 단순히 코딩 속도가 빨라진 것이 아닙니다. 고객과의 피드백 주기가 훨씬 짧아졌다는 점입니다.

고얄은 “단순하게 들릴 수 있지만, Codex는 속도 저하 없이 터미널에서 훨씬 더 많은 작업을 처리할 수 있으며, 다른 모델들은 이를 따라오기 어렵습니다”라고 말합니다.

속도는 종종 도구의 핵심 기능과는 별개의 특성으로 여겨집니다. 하지만 고얄은 이러한 속도 차이가 “다른 모델과 비교했을 때 Codex를 사용하는 방식 자체를 바꿔 놓는다”고 말합니다.

Codex를 활용하면 Braintrust 팀은 요청을 단순히 대기열에 쌓아 두는 대신 개발 과정에서 즉시 반복적으로 실험하고 개선할 수 있습니다. 고얄은 “Codex 덕분에 고객의 기능 요청을 실시간으로 시험해 볼 수 있게 되었습니다”라고 말합니다. “예전에는 기능 요청이 들어오면 백로그에 등록된 뒤 나중에 우선순위를 정해 처리해야 했습니다.”

이제는 요청 내용을 Codex에 복사해 붙여 넣고 프리뷰 브랜치를 생성한 뒤, 몇 분 만에 구현 결과를 고객에게 보여줄 수 있습니다. 고얄은 “Codex의 정말 뛰어난 점은 고객과 함께 기능 요청을 실시간으로 다듬고 새로운 아이디어를 발전시킬 수 있다는 것입니다”라고 말합니다.

고얄에게 Codex는 새로운 아이디어를 시도하기까지 필요한 준비 과정을 크게 줄여줍니다. 그는 “다른 모델을 사용할 때는 특정 문제를 해결하도록 모델에 세세하게 지시해야 했습니다”라고 말합니다. 속도가 느린 도구는 사용자의 개입을 더 많이 필요로 하며, 그만큼 실험 비용도 높아집니다.

고얄은 “Codex를 사용하면서 문제를 재현하는 테스트를 작성하고, 샌드박스 환경을 만든 뒤, 그 환경에서 Codex가 작업하도록 하는 방식으로 바뀌었습니다”라고 말합니다. “저에게는 새로운 작업 방식이며, Codex의 속도 덕분에 이러한 실험이 가능해졌습니다.”

이러한 속도는 Braintrust 팀이 더욱 자유롭게 실험할 수 있도록 해줍니다. 엔지니어들은 단계별로 프롬프트를 작성하는 대신 문제를 정의하고, Codex가 통제된 환경에서 작업하도록 한 뒤, 아이디어를 실제로 동작하는 솔루션으로 더 빠르게 발전시킬 수 있습니다.