개발 속도는 유지하고 Codex 비용은 절반으로 줄인 LegalOn

LegalOn Technologies는 전 세계에 전문가용 AI를 제공하며, AI로 법무를 비롯한 주요 업무를 지원합니다. 분야별 전문성과 AI를 결합해 사람들이 복잡한 판단과 의사결정에 집중할 수 있도록 돕습니다. 목표는 비즈니스 의사결정의 질과 속도를 높이는 AI 기반 경영입니다.

이러한 접근은 제품을 넘어 조직 자체를 AI 네이티브로 전환하는 데까지 이어집니다. 회사는 개발 프로세스에 Codex를 통합하고, 일상적인 업무에서 활용하며 조직 전반으로 도입을 확대했습니다.

활용이 자리 잡자 비용 관리라는 새로운 과제가 떠올랐습니다. 고성능 모델을 제한 없이 사용하면 지출이 늘어날 수 있지만, 일률적으로 사용을 제한하면 AI로 높인 생산성이 떨어질 위험이 있었습니다.

개발 속도를 늦추지 않으면서 비용을 줄일 방법은 무엇일까요? LegalOn Technologies는 작업의 복잡도와 개발 단계에 따라 GPT‑6(Astra, Luna)와 GPT‑6.1 Sol 중 적합한 모델을 선택하고, 각 사업의 성장 단계에 맞춰 예산을 배정하는 방식으로 이 과제를 해결했습니다. 그 결과 개발 속도를 유지하면서 비용을 절반으로 줄였습니다.

회사는 초기에 개발자들이 주력 모델인 GPT‑5.5를 패스트 모드로 제한 없이 사용할 수 있도록 했습니다. 개발자들은 설계, 구현, 일상 업무로 활용 범위를 넓히고, 여러 시도를 통해 사람과 AI의 역할을 가장 효과적으로 나누는 방법을 익혔습니다.

하지만 고성능 모델을 계속 제한 없이 사용하면 연간 예산을 초과할 수밖에 없었습니다. 이에 사내 AI 기반 개발 CoE(AID CoE)가 모델 선택 지침을 마련하기 시작했습니다. AID CoE는 모델을 테스트하고 모니터링했으며, 관리자들은 그 결과를 팀에 공유했습니다. 덕분에 엔지니어 각자가 작업에 가장 적합한 모델을 스스로 선택할 수 있게 되었습니다.

새 지침에 따라 회사는 모든 작업에 가장 성능이 뛰어난 모델을 쓰던 방식에서 작업에 맞는 모델을 선택하는 방식으로 전환했습니다. 팀들은 경량 모델로 시작해 작업이 복잡해질수록 더 성능이 뛰어난 모델로 전환했습니다.

또한 거버넌스를 뒷받침하기 위해 관리자 설정을 통한 시스템 제어를 도입하고, 부서별·개인별 월간 사용 한도를 설정했습니다. AID CoE는 사용량을 모니터링하고 사업상 필요에 따라 한도를 조정합니다.

이러한 관리 체계 아래 진행한 내부 테스트를 통해 모델 선택 기준을 더욱 구체화할 수 있었습니다. 가장 가벼운 모델인 GPT‑6 Luna는 요구사항이 명확한 코드 구현을, GPT‑6.1 Sol은 일반적인 설계와 데이터 분석, 문서 작성을 지원합니다. 성능이 가장 뛰어난 GPT‑6 Astra는 아키텍처 설계를 비롯한 고도의 판단이 필요한 작업을 담당합니다. 작업에 맞춰 모델을 선택하는 방식은 점차 모든 팀의 공통 관행으로 자리 잡았습니다.

모델 선택 지침과 함께 패스트 모드도 기본적으로 사용을 제한하고, 필요한 경우에만 개별 요청을 통해 허용하기 시작했습니다. 이 변화로 개발 속도에 대한 우려가 제기됐지만, 팀들은 작업을 병렬로 실행하는 등의 방식을 활용해 성과를 유지하며 원활하게 전환했습니다.

또한 부서, 그룹, 개인별로 AI 지출 예산 상한을 도입했습니다. 이미 안정적으로 자리 잡은 LegalOn 사업에는 비용 효율을 최대 약 20% 높이도록 요구한 반면, 출범 단계의 신규 사업에는 AI를 적극적으로 활용할 수 있도록 넉넉한 예산을 배정했습니다.

LegalOn Technologies의 시니어 엔지니어링 매니저 도키타케 유타는 신규 사업의 경우 비용 효율보다 사업 추진 속도를 우선시했다고 설명합니다. AI를 폭넓게 활용해 산출물을 늘리고, 궁극적으로 사업 성장을 이끄는 것이 목표였습니다.

모델 선택, 기능 제한, 사업별 맞춤 예산을 함께 적용한 결과, 일일 예상 비용이 약 65% 줄었습니다. 이러한 접근으로 전체 예산을 관리하면서 회사가 성장시키려는 사업에 자원을 집중할 수 있었습니다.

모델 최적화와 전략적 자원 배분으로 다음과 같은 성과를 거뒀습니다.

• 모든 작업에 최고 성능의 모델을 사용하던 방식에서 벗어나, 작업 복잡도와 개발 단계에 따라 GPT‑6 Astra, GPT‑6.1 Sol, GPT‑6 Luna 중 적합한 모델을 선택했습니다.

• 패스트 모드를 기본적으로 제한한 이후에도 작업 병렬 실행 등 팀 차원의 실천으로 개발 성과를 유지했습니다.

• 예산 상한을 설정해 성숙기 사업의 효율을 약 20% 높이는 동시에 신규 사업에는 적극적으로 투자했습니다.

• GPT‑6와 6.1 모델을 선택적으로 활용해 GPT‑5.5 대비 일일 예상 비용을 65% 줄였습니다.

회사는 모델 최적화를 통해 개발 속도나 품질을 희생하지 않고 비용을 줄였습니다. 팀들은 AI 덕분에 개발부터 출시까지 걸리는 시간도 꾸준히 짧아지는 것을 체감하고 있습니다.

하지만 회사는 그보다 더 먼 곳을 내다보고 있습니다. 개발이 빨라졌다는 것만으로 AI 투자가 성공했다고 할 수 있을까요? 개발 속도 향상이 고객 가치와 어떻게 연결되는지는 여전히 명확하지 않았습니다. 도키타케는 말합니다. “AI가 시스템 개발과 업데이트를 가속할 수 있다는 점은 이제 거의 당연하게 받아들여집니다.” “정말 알고 싶은 것은 빨라진 개발이 실제로 고객에게 제공하는 가치로 이어지느냐는 점입니다.”

이 질문을 계기로 회사는 자체 지표를 개발하며, AI 투자 평가의 기준을 개발 속도와 사용량에서 고객 가치로 전환했습니다.

도키타케는 이렇게 설명합니다. “AI를 사용할 때 개별 작업의 비용은 추적할 수 있지만, 하나의 완결된 작업, 즉 기능 하나를 출시하는 데 드는 총비용은 파악하기 어려운 경우가 많습니다. 그래서 기능 출시 하나하나를 단위로 삼아 측정하도록 설계했습니다. 출시한 기능이 고객에게 제공하는 가치와 여기에 실제로 투입된 AI 비용을 연결해, 투자 수익률을 명확하고 정확하게 파악하고자 합니다.”

회사는 현재 이 지표를 산출할 파이프라인을 구축하고 있습니다. 완성되면 고객 가치 관점에서 실질적인 ROI를 확인할 수 있게 됩니다. LegalOn Technologies는 AI 비용 관리를 넘어 기술 투자를 비즈니스 가치와 직접 연결하는 방향으로 나아가고 있습니다.

다음 목표는 엔지니어 개인의 AI 활용 노하우를 조직 전체의 역량으로 발전시키는 것입니다. 그 첫 단계로 실무 경험을 수집하고 공유하는 지식 베이스를 구축할 계획입니다. 설계, 구현, 검토에 가장 적합한 모델 조합 등의 지식을 축적하고, 개인의 성공 사례를 신속하게 전사 모범 사례로 확산할 예정입니다.

팀들의 실무 경험에서 비롯된 이러한 변화는 조직과 채용에도 영향을 미치고 있습니다. AI로 생산성이 높아지면서 회사는 사람과 AI 사이의 업무 분담 방식뿐 아니라 인력 계획도 근본적으로 재검토하고 있습니다. 투자 전략과 조직 구조가 변화하는 가운데, 채용에서도 이미 AI 역량을 중요하게 평가하기 시작했습니다.

AI 도입을 지속적인 경쟁 우위로 이어가려면 거버넌스와 팀의 자율성 사이의 균형을 끊임없이 조정해야 합니다. AID CoE와 보안팀은 다양한 관점에서 성능, 비용, 리스크를 최적화하기 위해 협력하며, 조직 전반의 실험을 뒷받침하는 유연한 체계를 구축하고 있습니다.