GPT‑6를 사용하면 지속형 에이전트가 코드베이스 리팩터링부터 충분한 조사를 거친 문서와 프레젠테이션 제작까지 복잡한 작업을 수 시간 동안 수행할 수 있습니다. 이러한 에이전트를 구동하는 애플리케이션은 서로 이어지는 일련의 API 요청을 보내며, 이전 턴의 동일한 지침과 도구 정의, 컨텍스트를 그대로 가져오는 경우가 많습니다. OpenAI는 이 공유 컨텍스트를 캐시해 여러 요청에서 연산 결과를 재사용합니다. 덕분에 응답 시간이 단축되며 개발자는 캐시된 입력 토큰에 대해 최대 90%의 할인을 받을 수 있습니다.
GPT‑6 제품군과 함께 기본 캐시 적중률을 높인 향상된 프롬프트 캐싱 시스템을 출시했습니다. 이제 30분 이내에 재사용되는 적격 공유 접두부에 캐시 할인이 적용됩니다. 개발자가 캐시 성능을 모니터링하고 캐시 미스를 진단하며 프롬프트에서 캐시할 범위를 선택하는 데 도움이 되는 새로운 도구도 선보입니다.
새로운 프롬프트 캐싱 대시보드(새 창에서 열기)에서는 애플리케이션 입력 중 캐시에서 제공되는 비율을 확인할 수 있습니다. 시간 경과에 따른 적중률을 추적하고 입력 구성 차트에서 캐시된 토큰과 캐시되지 않은 토큰을 비교하세요. 이러한 보기를 활용하면 캐시 적중률 하락을 발견하고 애플리케이션 변경이 캐싱 성능에 미치는 영향을 평가할 수 있습니다.
예상치 못한 캐시 미스가 발생하면 프롬프트 캐싱 진단 도구(새 창에서 열기)를 사용해 원인을 파악하세요. 요청과 최근 응답을 비교해 모델, 도구, 설정 또는 입력에서 무엇이 변경되어 재사용을 막았는지 확인할 수 있습니다. 영향받은 것으로 추정되는 토큰 수를 바탕으로 영향의 규모를 평가하고, 캐시 적중률을 극대화하도록 통합을 최적화할 방법을 결정할 수 있습니다.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
캐시할 항목을 선택하세요. 명시적 캐시 중단점을 사용하면 재사용할 프롬프트 접두부를 선택할 수 있습니다. 새롭게 개편된 프롬프트 캐싱 가이드(새 창에서 열기)에서는 명시적 중단점의 사용법, 캐시된 접두부가 적격 상태로 유지되는 기간, 도구 및 입력 변경이 재사용에 미치는 영향을 설명합니다.
캐시를 유지하면서 추론 강도를 조절하세요. 이제 GPT‑6 모델에서는 캐시를 중단하지 않고 응답 사이에 추론 강도를 변경(새 창에서 열기)할 수 있습니다. 요청 수준의 추론 강도는 그대로 둔 채 configuration_update를 추가하면 어려운 작업에서는 강도를 높이고 일상적인 후속 작업에서는 낮출 수 있습니다. 따라서 재사용 가능한 컨텍스트를 유지하면서 작업에 필요한 추론 수준을 조절할 수 있습니다.
도구와 지침이 바뀌어도 캐시를 유지하세요. 에이전트가 사용해야 하는 도구가 달라지더라도 이전 컨텍스트를 계속 재사용할 수 있도록 도구 정의, 스키마, 순서를 일정하게 유지하세요. 정의를 제거하는 대신 allowed_tools를 사용해 관련 도구만 호출할 수 있게 하거나, 도구가 필요하지 않을 때는 tool_choice를 none으로 설정하세요. 이전 지침을 재정의하려면 새로운 개발자 메시지를 사용해 컨텍스트 끝부분에 새 지침을 추가하세요. 도구 변경 관리 지침(새 창에서 열기)을 확인하세요.
지연 시간을 줄이도록 캐시를 미리 준비하세요. 사전 준비(새 창에서 열기)를 사용하면 알려진 컨텍스트를 미리 처리할 수 있어 요청이 도착했을 때 모델이 더 빨리 응답을 시작합니다. 예를 들어 애플리케이션은 사용자가 첫 질문을 하기 전인 시작 단계에서 공유 지침, 도구 정의 또는 참고 자료를 미리 준비할 수 있습니다. 이렇게 하면 사용자의 대기 시간 밖에서 처리가 이루어집니다.
이러한 선택적 제어 기능은 엔진의 기본 성능을 기반으로 하며, 워크로드에 맞게 캐싱을 조정하는 데 도움이 됩니다.
프롬프트 캐싱 대시보드(새 창에서 열기)에서 캐시 적중률을 모니터링하세요.
진단 도구(새 창에서 열기)로 예상치 못한 캐시 미스를 조사하세요.
프롬프트 캐싱 가이드(새 창에서 열기)에 따라 설정을 개선하거나, Codex를 사용(새 창에서 열기)해 코드를 검토하고 개선 사항을 적용한 뒤 결과를 측정하세요.
