OpenAI에서 현장 배치 엔지니어가 갖는 의미
우리가 하는 일과 일하는 방식, 그리고 기업의 가장 어려운 문제를 해결해 실질적인 성과를 만드는 방법.
글: Colin Jarvis, OpenAI 현장 배치 엔지니어링 총괄
Codex가 출시되자 한 팀원이 제게 물었습니다. “지난 몇 달 동안 우리가 구축해 온 활용 사례를 Codex가 단번에 구현할 수 있게 되면, 우리는 뭘 해야 하나요?”
이 질문은 OpenAI에서 현장 배치 엔지니어가 갖는 의미의 핵심을 짚습니다. 우리는 고객사와 함께 일하며 그들이 직면한 가장 어려운 문제를 이해하고, 믿고 사용할 수 있는 솔루션을 구축합니다. 그 과정에서 배운 것은 제품의 방향을 잡는 데 도움이 되고, 리서치팀에는 해결해야 할 구체적인 문제를 제공합니다.
그것이 발전입니다. 두어 달마다 우리 스스로의 개입이 더 이상 필요 없게 만든다면, 현장 배치 엔지니어팀은 제 역할을 다하고 있는 것입니다.
저는 2025년 초, 우리가 “도입 격차”라고 부르는 간극, 즉 모델이 할 수 있어 보이는 것과 사람들이 실제 업무에서 안정적으로 활용할 수 있는 것 사이의 간극을 줄이기 위해 팀을 만들었습니다.
모델의 역량은 이를 활용하는 데 필요한 시스템과 프로세스보다 빠르게 발전해 왔습니다. 때로는 필요한 제품이 없는 것이 문제입니다. 때로는 모델이 벤치마크에서는 좋은 성능을 보이지만, 현실의 변수와 제약 속에서는 업무를 수행하지 못합니다.
우리는 고객사의 가장 어려운 문제에 집중합니다. 현재 모델로 업무를 수행할 수 있다면 제품팀 및 고객사와 협력해 솔루션을 반복 적용할 수 있도록 합니다. 모델이 부족한 경우에는 고객사 및 리서치팀과 함께 격차를 정의하고 개선합니다. 우리의 목표는 매번의 협업을 통해 다음 고객에게 더 나은 출발점을 제공하는 것입니다. 고객이 다음에는 이런 유형의 문제를 현장 배치 엔지니어 없이도 해결할 수 있을 만큼 기본 역량을 높였다면, 우리는 제 역할을 잘 해낸 셈입니다.
200년 역사의 농업 기업 John Deere의 과제는 더 많은 농업인에게 맞춤형 조언을 제공하는 것이었습니다.
정밀 제초 기술인 See & Spray가 그 예입니다. 이 기술은 카메라와 머신 러닝으로 잡초를 식별해 농지 전체가 아닌 잡초에만 약제를 살포함으로써 화학 약제 사용량을 최대 70% 줄입니다.
하지만 이런 효과를 실현하려면 농업인이 기술을 설정하고, 농사철 계획을 세우고, 여건 변화에 맞춰 농작업 방식을 조정하는 방법을 알아야 합니다.
John Deere는 이러한 지원을 개인화하고 규모를 확대하기 위해 OpenAI API를 도입했습니다.
AI는 농업인의 질문에 자연어로 답하고, 맞춤형 설정 안내와 권장 사항을 제공하며, 장비가 제 성능을 충분히 발휘하지 못하는 상황을 파악할 수 있습니다. 또한 농업인이 이 기술로 어떤 가치를 얻고 있는지 이해하도록 돕습니다.
가능성은 개별 상담에 그치지 않습니다. 고객 여정 전반에 걸쳐 상황에 맞는 안내를 제공해 농업인이 장비를 더 잘 활용하면서 효율성과 지속 가능성도 높이도록 도울 수 있습니다.
OpenAI 현장 배치 엔지니어는 바로 이런 과제를 해결합니다. 조직이 AI의 역량을 활용하는 데서 나아가, 복잡한 현실 환경에서 실질적인 가치를 제공하는 시스템을 구축하도록 돕는 것입니다.
하지만 문제는 범위조차 명확하지 않은 경우가 많고, 확립된 정답도 없을 수 있으며, 정해진 지침도 없습니다. 모두가 세상에 없던 무언가를 만들고 싶어 합니다. 하지만 거기에 도달하기 위해 필요한 일을 하려는 사람은 그보다 적습니다.
뛰어난 현장 배치 엔지니어를 찾으면서 동시에 “이 정도면 충분하다”는 기준을 높이려면 끊임없이 실험하고 적용해야 했습니다.
현장 배치 엔지니어팀 세션을 시작할 때마다 저는 하나의 핵심 가치가 적힌 슬라이드를 띄웁니다. “원하는 성과에서 출발하고, 성공에 필요한 일을 한 뒤, 규모를 확장한다.”

인상적인 데모는 실제 환경에서도 작동하는지 누군가 묻기 전까지는 상당한 호응을 얻을 수 있습니다.
우리의 일은 실제 운영 환경에서도 책임질 수 있는 수준으로 고객사의 문제를 해결하는 것입니다.
2025년 중반, 약 15명의 현장 배치 엔지니어가 대형 반도체 고객사와 10개 이상의 활용 사례를 개발하고 있었습니다. 목표는 다음 영역을 아우르는 검증 프로세스를 AI 중심으로 재설계하는 것이었습니다.
지정 테스트 생성
근본 원인 분석 및 디버깅
아키텍처 어시스턴트
반도체 업계에서는 검증에 프로젝트 전체 작업량의 약 70%가 투입되기도 합니다. 그만큼 잠재력이 컸고, 시작할 수 있는 지점도 많았습니다.
일부 현장 배치 엔지니어는 OpenAI에 입사한 지 며칠밖에 되지 않았고, 반도체 분야에서 일한 경험도 없었습니다. 이들은 고객사의 검증팀에 합류해 함께 일하고, 틈틈이 칩 설계를 공부했습니다. 또 고객사 엔지니어들과 평가를 설계해 AI가 유용한 테스트를 생성하고 칩 결함을 정확히 진단할 수 있는지 검증했습니다.
이렇게 배우는 동시에 개별 활용 사례에 맞는 맞춤형 하네스를 구축했습니다. 처음 3~6개월 사이에 모든 활용 사례가 실제 운영에 들어갔고, 초기 사용자들이 사용하기 시작했습니다. 성과는 수치로 드러났습니다.
AI 기반 지정 테스트 생성으로 시간 약 48% 절감.
커널 최적화로 성능 개선율 중앙값 22% 달성.
몇 주씩 걸리던 디버깅을 몇 시간으로 단축
이 모든 성과를 공유하자 최고 하드웨어 책임자가 물었습니다. “여기 오시기 전에도 칩 설계자로 일하셨나요?”
우리 현장 배치 엔지니어는 처음부터 업계를 잘 알 필요는 없지만, 그 업계를 배우는 것은 자신의 책임입니다.
코딩 어시스턴트 덕분에 소프트웨어를 더 빠르게 개발할 수 있게 되면서 고객사의 비즈니스를 이해하는 일이 더욱 중요해지고 있습니다. 우리는 폭넓은 역량을 갖춘 인재와 특정 분야 전문가를 조합해 팀을 구성합니다.
타당한 판단을 내릴 만큼 충분한 지식과 현재의 방식을 당연하게 여기지 않고 의문을 제기할 만큼 충분한 호기심이 필요합니다.
예를 들어 생명과학 분야에서는 현장 배치 엔지니어의 과학적 배경이 연구진의 신뢰를 얻는 데 도움이 됩니다. 이 연구진은 표적 검증과 우선순위 선정, 유전자 발현 분석, 화학 합성 경로 재구성 등 전임상 신약 발굴 업무를 수행합니다. 이러한 전문성 덕분에 엔지니어들은 해당 워크플로의 개선 방향에 대해 근거 있는 판단을 제시할 수 있습니다.
우리는 이 워크플로들이 가치를 제공할 수 있음을 입증했지만, 다른 팀으로 확장하려면 여전히 각각에 너무 많은 맞춤형 통합 작업이 필요했습니다. 다음 과제는 그 성과를 유지하면서 소프트웨어의 배포와 유지보수를 더 쉽게 만드는 것이었습니다.

그 무렵 Codex의 역량은 한층 발전해 있었습니다. 한 현장 배치 엔지니어가 Codex를 중심으로 애플리케이션을 재구축하는 실험을 했고, 이후 팀과 함께 활용 사례들을 Codex 기반의 공통 하네스로 옮겼습니다.
맞춤형 애플리케이션은 Codex의 공통 기본 구성 요소를 기반으로 하는 플러그인과 스킬로 바뀌었습니다. Codex가 인터페이스 역할까지 맡으면서, 개별 활용 사례를 위해 작성했던 별도의 터미널 UI와 CLI도 더 이상 필요하지 않게 되었습니다.
각 프로젝트에서 맞춤형 코드의 약 90%를 제거할 수 있었고, 이는 워크플로를 구축하고 유지보수하며 확장하는 방식을 바꿔 놓았습니다.
Codex 자체의 개선 효과를 모든 활용 사례에 적용할 수 있어, 개별 사례마다 필요한 연결 코드의 양이 줄었습니다.
핵심 기능은 스킬과 플러그인으로 묶어 서로 더 쉽게 공유하고 AI CoE에서 중앙 관리할 수 있도록 했습니다. 덕분에 다른 팀으로 확장하는 과정은 새 커넥터나 MCP 서버로 교체하고, 새로운 평가를 구축한 뒤 바로 운영을 시작할 수 있을 만큼 간단해졌습니다. 평가 구축을 위한 스킬도 마련되어 있었습니다.
2026년 8월의 한 사례에서는 최초 도입에 두 달이 걸렸습니다. 두 번째 팀으로 솔루션을 확장하는 데는 하루가 걸렸습니다. 규모를 확장할수록 다음 팀의 도입 속도는 더 빨라졌고, 이런 흐름은 계속되었습니다. 2026년 8월의 한 활용 사례에서는 최초 도입에 두 달이 걸린 반면, 두 번째 팀의 도입에는 하루가 걸렸습니다.

이것이 바로 고객이 더 이상 우리의 직접적인 지원 없이도 문제를 해결할 수 있도록 하는 방법 중 하나입니다. 실제 운영 단계에 도달하기까지의 작업을 통해 무엇이 중요한지 분명해졌습니다. 기반 제품이 개선되면서 맞춤형 구현의 상당 부분을 대체하면서도 그 가치는 유지할 수 있었습니다.
그래서 순서가 중요합니다. LLM 덕분에 우리는 빠르게 개발할 수 있습니다. 그 속도를 활용해 사용자에게 가치 있는 것을 제공하고, 실제로 무엇이 통하는지 배운 뒤, 효과가 입증된 것을 확장해야 합니다.
같은 원칙이 모든 고객 협업에 적용됩니다.
엔터프라이즈 음성 및 채팅 에이전트용 제품인 OpenAI Presence는 실제 고객 배포 환경에서 성장했습니다. 이 작업은 Swarm(새 창에서 열기) 으로 시작하여 여러 단계를 거쳐 발전해 나갔습니다.에이전트 API를 사용 했으며, 현재 한 고객은 AI를 통해 통화의 절반 이상을 처리하고 있습니다.
이러한 배포를 실제 운영 환경에 적용하면서 어떤 문제에는 맞춤형 솔루션이 필요한지, 또 어떤 구성 요소를 다른 팀에서 활용할 수 있는지 알게 되었습니다. 우리는 이러한 구성 요소를 Presence에 통합하여 개발자가 기본 인프라를 재구축하지 않고도 규제 워크플로를 더 쉽게 자동화할 수 있도록 했습니다. 각각의 배포는 제품을 발전시키는 데 도움이 되었고, 다음 고객에게 더 나은 출발점을 제공했습니다.
OpenAI의 현장 배치 엔지니어와 연구원들은 Thrive Holdings 및 엔지니어, 회계사들과 협력하여 Crete 산하 회계 법인을 위한 Tax AI를 구축했습니다. Tax AI는 파일럿 기간 동안 7,000건의 세금 신고서를 처리하고 처리량을 약 50% 늘렸습니다.
가장 어려운 과제 중 하나는 임대 부동산 관련 세금 신고서 처리를 자동화하는 것이었습니다. 90%의 정확도와 재현율을 달성하기 위해 엔지니어링 및 실무자 검토에 6주가 소요되었습니다. 이 연구는 재사용 가능한 패턴을 만들어 Tax AI를 다른 복잡한 세금 관련 서류에도 쉽게 확장할 수 있도록 했습니다.
이제 팀들은 회계, 감사 및 IT 지원에도 동일한 접근 방식을 적용하여 실무자의 피드백과 실제 사용을 통해 개선되는 시스템을 구축하고 있습니다.

더 나은 제품 덕분에 우리가 구축한 시스템을 단순화할 수 있을 때도 있지만, 모델 자체가 아직 업무를 수행할 수 없는 경우도 있습니다.
현재 모델로 이미 가능한 것만 만든다면, 리서치팀이 다음으로 메워야 할 역량의 격차를 발견할 수 없습니다. 그래서 우리의 중요한 협업 중 상당수는 바로 그 한계에서 출발하며, 고객사와 현장 배치 엔지니어, 리서치팀이 함께 이를 극복하기 위해 힘을 모읍니다.
우리는 이미 대형 통신사 고객과 함께 고객 서비스 플랫폼을 개발했고, 고객사는 이를 음성으로 확장하고자 했습니다.
음성 상담은 이 고객사의 전체 고객 서비스 업무량 중 약 90%를 차지했습니다. 음성 상담은 채팅보다 상담원 연결 없이 처리하는 데 드는 비용이 높았고, 억양과 어조, 지연 시간과 정확도를 실제 서비스에 필요한 수준으로 끌어올리는 과정에서 여러 새로운 기술적 과제도 안겨주었습니다. 이를 제대로 구현한다면 고객사의 비즈니스에 큰 변화를 가져올 수 있었습니다.
프로젝트 범위를 정하는 단계에서, 실제 서비스 환경에서 업무를 수행할 수 있는지 확인하는 핵심 평가를 진행한 결과 우리 모델은 약 60%의 점수를 기록했습니다. 모델 역량의 한계에 도달한 것입니다. 고객 서비스 상황에서 함수 호출과 지시 이행 능력을 개선해야 했습니다.
우리는 이를 고객사에 설명하고 리서치팀을 프로젝트에 참여시켰습니다. 현장 배치 엔지니어는 고객사와 함께 플랫폼을 구축하고 모델이 수행해야 할 일을 정의했습니다. 리서치팀은 부족한 역량을 보완하는 데 집중했고, 우리는 새로 나오는 모델 스냅샷마다 고객사의 요구 사항을 기준으로 개선 정도를 검증했습니다.
6개월에 걸쳐 핵심 평가 성능은 약 60%에서 80%, 이어 90% 이상으로 올라 실제 서비스에 필요한 수준에 도달했습니다.

이렇게 탄생한 음성 모델은 현재 해당 고객사의 서비스뿐 아니라 다른 고객사의 맞춤형 고객 서비스와 Presence를 통한 관리형 서비스에도 활용되고 있습니다. 한 고객사의 업무에서 마주한 문제가 다른 많은 고객에게도 도움이 될 개선점을 찾아내는 계기가 되었습니다.
각자의 역할이 모두 중요했습니다. 고객사는 모델이 아직 해결할 수 없는 문제에 함께 도전하기로 했습니다. 현장 배치 엔지니어는 고객사와 긴밀히 협력하며 문제를 구체화하고 플랫폼을 구축하며 협업을 처음부터 끝까지 이끌었습니다. 리서치팀은 기반 모델의 역량을 개선했습니다.
이것이 바로 고객이 더 이상 우리의 직접적인 지원 없이도 문제를 해결할 수 있도록 하는 방법 중 하나입니다. 오늘날 모델이 해결하지 못하는 문제를 미래의 모델이 해결할 수 있는 역량으로 바꾸는 데 기여하는 것입니다. 우리 작업의 가치는 어느 한 고객사와 함께한 시간에만 머무르지 않습니다.
저는 AI가 사람들의 일상적인 업무에 유용하게 쓰이도록 돕기 위해 OpenAI에 합류했습니다. 그 목표는 지금도 우리 팀의 방향을 이끌고 있습니다. 저는 팀원들에게 LLM 개발에서도 대부분 오컴의 면도날 원칙이 적용된다고 자주 말합니다. 가장 단순한 해법이 가장 좋다는 뜻입니다. 최첨단 연구로 정체성이 규정되는 회사, 과장된 말이 난무하는 업계에서 우리는 현장의 사람들이 믿고 의지할 수 있도록 안정적으로 작동하는 것을 만들고자 합니다.
목표는 협업을 거듭할 때마다 다음 단계가 더 나아지도록 하는 것입니다. 배포가 더 쉬운 제품, 더 어려운 작업을 처리하는 모델, 다음 고객에게 필요한 맞춤형 작업의 감소가 그 예입니다.
해결하고 싶은 어려운 문제가 있다면 함께하고 싶습니다. 그런 문제를 해결하는 데 힘을 보태고 싶다면 우리 팀에 합류해 주세요.
그렇다면 우리가 몇 달에 걸쳐 구축한 기능을 Codex가 처리할 수 있게 되면, 우리는 무엇을 해야 할까요?
더 어려운 문제를 찾아 나서면 됩니다.


