GPT‑5.6이 프런티어 지능과 프런티어 효율성을 결합하는 방법

OpenAI는 사용자가 수행하는 다양한 작업 전반에서 성능과 비용의 균형을 맞출 수 있도록 GPT‑5.6 모델 제품군을 설계했습니다. 대표 모델인 GPT‑5.6 Sol은 최대 추론 설정에서 Claude Fable 5보다 절반 이하의 비용으로 Artificial Analysis Coding Agent Index에서 더 뛰어난 성능을 제공합니다. Terra는 절반의 비용으로 GPT‑5.5와 동등한 성능을 제공하며, Luna는 Sol보다 80% 저렴한 가격으로 제공되는 가장 빠르고 경제적인 모델입니다. 이러한 효율성을 실현하기 위해 OpenAI의 연구팀과 엔지니어링팀은 스택의 모든 주요 계층에서 대대적인 최적화를 수행했습니다. 이러한 개선은 모델 자체는 물론, 출력을 생성하기 위해 모델을 실행하는 추론 시스템과 Codex 및 ChatGPT Work에서 사용하는 에이전틱 하네스까지 폭넓게 적용되었습니다.

지난 4년 동안 OpenAI는 모델을 10억 명의 활성 사용자와 200만 개 이상의 기업이 사용하는 규모로 확장해 왔으며, 그 과정에서 효율성은 AI의 혜택을 더 많은 사람들에게 제공하기 위한 핵심 원칙이었습니다. OpenAI의 사명은 범용 인공지능(AGI)이 모든 인류에게 도움이 되도록 하는 것입니다. 이를 위해 비용과 AI 성능의 모든 구간에서 최고의 성능을 제공하는 모델을 선보일 수 있도록 스택 전반의 최적화를 지속적으로 추진해 왔습니다. GPT‑5.6은 토큰당 더 많은 작업을 수행하도록 학습되어 지금까지 가장 높은 토큰당 AI 성능 효율을 달성했습니다. 학습 과정에서는 작업 성공률과 효율성을 모두 최적화하여, 모델이 불필요한 단계를 거치지 않고 보다 직접적으로 작업을 수행하도록 설계했습니다.

이번 글에서는 모델 자체를 넘어, 스택을 구성하는 두 가지 핵심 영역의 발전을 통해 효율성을 어떻게 높였는지 살펴봅니다. 첫째는 추론으로, 로드 밸런싱, 추측 디코딩, 캐싱 및 커널 최적화 등을 통해 동일한 하드웨어로 더 많은 결과를 생성할 수 있도록 개선했습니다. 둘째는 에이전틱 하네스로, 컨텍스트 비대화, 도구 사용 및 반복 작업을 더욱 효율적으로 관리하도록 개선했습니다. 또한 이러한 성과 가운데 여러 부분을 GPT‑5.6 Sol이 어떻게 자율적으로 달성하는 데 기여했는지도 함께 소개합니다. 각각의 개선만 보면 효과가 크지 않아 보일 수 있지만, 이러한 개선이 서로 시너지를 이루면서 AI 성능과 효율성 모두에서 프런티어 수준을 구현할 수 있었습니다.

모델에 대한 수요가 컴퓨팅 용량 증가 속도를 앞지르는 환경에서는 효율성이 모든 시스템 설계의 핵심입니다. 이는 학습된 모델을 실행해 응답을 생성하는 OpenAI의 추론 스택에서 특히 중요합니다. OpenAI의 가장 중요한 목표는 사용자가 기대하는 AI 성능과 지연 시간, 가용성 및 안정성을 유지하면서도 동일한 하드웨어로 더 많은 토큰을 처리하는 것입니다.

이를 위해서는 시스템 전체를 최적화해야 합니다. 모델 자체는 매우 효율적일 수 있지만 요청이 비효율적으로 분산되거나 하드웨어가 유휴 상태로 남아 있거나 데이터 이동이 연산 속도를 저하시킨다면 실제 서빙 비용은 여전히 높을 수 있습니다. 성능 향상은 시스템의 모든 계층에서 누적됩니다. 요청을 어디로 보낼지 결정하는 라우팅, 언제 처리할지 결정하는 스케줄링, GPU에서 실행되는 커널, 연산 결과를 저장하고 재사용하는 캐싱, GPU 코드의 실행 순서를 최적화하는 모델 구현까지 모든 영역의 최적화가 함께 효과를 발휘합니다. Codex의 GPT‑5.6 Sol은 이러한 모든 최적화 과정에서 핵심적인 역할을 수행했습니다.

첫 번째 대표적인 사례는 로드 밸런싱입니다. 전 세계적으로 OpenAI는 지역, 사용 가능한 용량, 가속기 유형(모델을 실행하는 GPU 또는 특수 목적 칩의 종류) 등을 고려해 요청을 라우팅합니다. 클러스터 내부에서는 부하, 컨텍스트 길이, 캐시 사용 가능 여부 및 기타 요청 특성을 바탕으로 여러 모델 인스턴스에 작업을 분산합니다. 각 모델 인스턴스 내부에서도 작업은 가속기, 모델의 서브네트워크 및 컴퓨팅 코어에 효율적으로 분배되어야 합니다. Codex의 GPT‑5.6 Sol은 프로덕션 트래픽을 분석하고, 기존에는 발견하지 못했던 불균형 요인을 찾아내며, 새로운 라우팅 전략을 시험하고, 이러한 휴리스틱을 지속적으로 조정하는 데 도움을 주고 있습니다. 이러한 로드 밸런싱 개선만으로도 모델 서빙 비용을 크게 절감할 수 있었습니다.

OpenAI는 GPT‑5.6 Sol을 활용해 입력을 다음 토큰 예측으로 변환하는 핵심 연산인 모델의 순전파 과정도 최적화했습니다. 개별 연산이 빠르더라도 과도한 메모리 이동, 동기화 비용, 비효율적인 데이터 배치로 인해 GPU가 유휴 상태에 머무를 수 있습니다. 이를 해결하기 위해 GPT‑5.6 Sol은 미리 계산할 수 있는 작업, 생략할 수 있는 작업, 병렬화할 수 있는 작업을 찾아냈습니다. Codex를 통해 GPT‑5.6 Sol은 모델의 수학적 연산을 수행하는 핵심 코드인 프로덕션 커널을 스스로 다시 작성하고 최적화했습니다. 이러한 성과는 GPT‑5.6이 OpenAI가 개발·유지하는 오픈 소스 GPU 프로그래밍 언어인 Triton⁠(새 창에서 열기)과 Gluon⁠(새 창에서 열기)으로 커널을 작성하고 개선하는 능력을 갖추도록 학습되었기 때문에 가능했습니다. 이러한 노력과 GPT‑5.6 Sol이 이끈 전반적인 커널 개선을 통해 엔드 투 엔드 서빙 비용을 20% 절감할 수 있었습니다. 또한 GPT‑5.6 Sol이 작성한 커널의 정확성을 검증하기 위해 오픈 소스 도구인 FpSan⁠(새 창에서 열기)(Floating-Point Sanitizer)과 같은 검증 도구에도 적극적으로 투자하고 있습니다.

추측 디코딩 역시 속도와 효율성을 높이는 중요한 방법 중 하나입니다. 이 기법은 기본 모델과 함께 더 작은 초안(또는 스페큘레이터) 모델을 실행해 여러 개의 토큰 후보를 생성하고, 기본 모델이 이를 병렬로 검증하는 방식입니다. 후보가 승인되면 기본 모델은 한 번의 순전파만으로 여러 개의 출력 토큰을 생성할 수 있어 비용이 큰 순차 연산을 크게 줄일 수 있습니다. GPT‑5.6 Sol은 초안 모델의 크기, 구조 및 기능을 다양하게 변경하는 수백 건의 실험을 직접 설계하고 수행해 자체 초안 모델을 개선했습니다. 또한 GPT‑5.6 Sol은 스페큘레이터 학습을 직접 시작하고 모니터링했으며, 하드웨어 장애나 학습 불안정성과 같은 문제가 발생하면 스스로 개입해 대응했습니다. 그 결과 토큰 생성 효율이 15% 이상 향상되었습니다.

캐시되지 않은 입력 토큰을 처리할 때 모델은 연산 집약적인 한 번의 순전파를 통해 키-값(KV) 캐시를 생성하고, 출력을 생성할 때는 이 캐시를 반복적으로 읽고 확장합니다. 배치 처리, 샤딩, KV 캐시 관리와 같은 최적의 서빙 구성은 프롬프트와 출력 길이, 배치 크기, 캐시 적중률, 쿼리 특성 등 워크로드의 특성에 크게 좌우됩니다. 하지만 기존에는 가능한 구성의 경우의 수가 너무 많아 이를 체계적으로 조정하기 어려웠기 때문에 엔지니어들은 폭넓은 휴리스틱에 의존할 수밖에 없었습니다. Codex의 GPT‑5.6 Sol을 활용하면서 OpenAI는 프로덕션 워크로드를 분석하고, 다양한 구성 후보를 생성·평가한 뒤, 각 시나리오에 맞게 엔진과 모델 구성을 더욱 정교하게 최적화할 수 있게 되었습니다. 이를 통해 워크로드별 최적화를 새로운 수준으로 끌어올렸으며, 동일한 하드웨어에서 더 높은 추론 효율을 끌어낼 수 있게 되었습니다.

추론 최적화는 지속적으로 반복되는 피드백 루프입니다. OpenAI는 프로덕션 환경의 동작을 측정하고, 가장 큰 개선 여지를 찾아내며, 변경 사항을 적용한 뒤, 특정 벤치마크뿐 아니라 시스템 전체의 성능이 실제로 향상되었는지 검증합니다. GPT‑5.6 Sol과 Codex는 이 과정의 모든 단계를 가속화합니다. 이를 통해 OpenAI 팀은 더 많은 아이디어를 실험하고, 변화하는 워크로드에 더욱 신속하게 대응하며, 더 낮은 지연 시간과 더 높은 처리 용량, 그리고 더 낮은 비용을 갖춘 추론 스택을 구축할 수 있게 되었습니다.

ChatGPT Work와 Codex는 여러 차례의 모델 요청과 도구 호출을 거쳐 복잡한 작업을 수행합니다. 하나의 사용자 턴에서도, 사용자의 요청부터 최종 응답이 생성될 때까지 Codex는 소스 코드를 분석하고, 배포 이력을 검색하며, 장애 보고서를 확인하고, 파일을 수정한 뒤 테스트를 실행할 수 있습니다. 이러한 각 단계마다 별도의 모델 요청이 필요할 수 있습니다.

컨텍스트를 준비하고, 데이터를 전송하고, 추론을 수행하고, 도구를 호출하고, 프로세스를 시작하는 모든 과정에는 시간과 컴퓨팅 리소스가 필요합니다. 작업을 완료하는 데 모델 요청이 30번 필요하다면, 요청마다 1초씩만 추가되어도 전체 지연 시간은 크게 늘어납니다. 전체 성능을 향상시키려면 모델 자체의 속도를 높이는 것뿐 아니라 시스템 전반에서 반복 작업을 줄이는 것이 중요합니다.

이처럼 반복적으로 누적되는 비용을 고려해 OpenAI는 모델, 도구 및 사용자 환경을 연결하는 Rust 기반의 오케스트레이션 계층인 에이전틱 하네스를 설계했습니다. 이제 컨텍스트 비대화를 방지하고, 도구를 효율적으로 로드하며, 이미 수행한 작업을 재사용하는 방식으로 각 요청의 효율성을 높이는 방법을 살펴보겠습니다.

에이전트가 더 많은 도구, 스킬, 플러그인, 대화 기록에 접근할 수 있게 되면 컨텍스트 윈도우는 쉽게 커질 수 있습니다. 이로 인해 비용이 증가하고 모델의 집중력이 분산되며, 불필요한 추론이 이루어질 수 있습니다. 에이전틱 하네스는 지연 탐색 방식을 통해 이러한 오버헤드를 줄입니다. 이 방식에서는 통합 기능, 사용자 지정 MCP 도구, 스킬 및 플러그인이 필요한 경우에만 모델에 노출됩니다. 또한 에이전틱 하네스는 개별 도구나 MCP 통합이 예기치 않게 컨텍스트 윈도우를 과도하게 사용하는 것을 방지합니다. 도구 출력은 모델이 다른 한도를 요청하지 않는 한 기본적으로 10,000토큰으로 제한됩니다.

앞서 설명했듯이 에이전트 루프는 하나의 사용자 턴 안에서도 동일한 지침, 대화 기록, 도구 정의 및 이전 실행 결과를 GPU에 여러 번 전달할 수 있습니다. 이러한 반복 입력을 처리하면 많은 연산 리소스가 소모되므로, 프롬프트 캐싱은 이전에 처리한 프롬프트 접두부의 연산 결과를 재사용합니다. 이 프롬프트 접두부를 유지하기 위해 에이전틱 하네스는 모델이 볼 수 있는 모든 기록을 추가 전용(append-only)으로 관리합니다. 즉, 새로운 메시지, 도구 실행 결과 및 환경 업데이트는 기존 컨텍스트 사이에 삽입하지 않고 항상 끝에 추가합니다. 또한 도구는 항상 일정한 순서로 제공되며, 승인 정책과 같은 런타임 설정은 도구 정의에 포함하지 않고 실행 시점에 적용됩니다. 이러한 설계 덕분에 Codex와 ChatGPT Work는 높은 프롬프트 캐시 적중률을 유지할 수 있습니다.

GPT‑5.6의 효율성 향상은 연구부터 추론, 에이전틱 하네스에 이르기까지 전체 스택 전반에서 수년에 걸쳐 축적된 개선의 결과입니다. 이러한 개선 과정에서 GPT‑5.6이 중요한 역할을 수행했다는 점은 앞으로 최적화 속도가 더욱 빨라질 것이라는 기대를 갖게 합니다. OpenAI는 스택의 기반 기술을 지속적으로 개선하는 동시에 커널 최적화와 같은 핵심 영역에서도 더욱 폭넓은 최적화를 이어갈 계획입니다. 이러한 내부 개선 사항을 바탕으로 더 많은 사용자가 더욱 뛰어난 성능을 합리적인 비용으로 이용할 수 있도록 지속적으로 발전시켜 나갈 것입니다.

이 글의 작성에 기여한 Technical Staff인 Matthew Ferrari, Philippe Tillet, Ahmed Ibrahim, Joe Gershenson, Steve Coffey에게 감사드립니다.