GPT‑6 için daha iyi prompt önbelleğe alma
Kalıcı ajanların daha hızlı ve düşük maliyetle çalışmasına yardımcı olan daha yüksek önbellek isabet oranları ve yeni araçlar.
GPT‑6, kalıcı ajanların kod tabanlarını yeniden düzenlemekten kapsamlı araştırmalara dayalı belgeler ve sunumlar hazırlamaya kadar karmaşık görevler üzerinde saatlerce çalışmasını sağlıyor. Bu ajanların arkasındaki uygulamalar, birbiri üzerine inşa edilen bir dizi API isteğinde bulunur ve genellikle önceki etkileşimlerdeki aynı talimatları, araç tanımlarını ve bağlamı sonraki isteklere taşır. OpenAI, istekler arasında hesaplamaları yeniden kullanmak için bu paylaşılan bağlamı önbelleğe alır. Böylece yanıt süreleri kısalır ve geliştiriciler önbelleğe alınmış girdi tokenlarında %90'a varan indirimlerden yararlanır.
GPT‑6 ailesiyle birlikte, varsayılan olarak daha yüksek önbellek isabet oranları sunan gelişmiş bir prompt önbelleğe alma sistemini kullanıma sunduk. Artık 30 dakikalık süre içinde yeniden kullanılan uygun paylaşılan ön ekler için önbellek indirimi sunuyoruz. Ayrıca geliştiricilerin önbellek performansını izlemesine, ıskalamaları tanılamasına ve promptun ne kadarının önbelleğe alınacağını seçmesine yardımcı olacak yeni araçlar sunuyoruz.
Yeni Prompt Önbelleğe Alma Kontrol Paneli(yeni bir pencerede açılır), uygulamanızın girdisinin ne kadarının önbellekten sunulduğunu gösterir. İsabet oranlarını zaman içinde izleyin ve önbelleğe alınmış tokenlarla alınmamış tokenları karşılaştırmak için girdi dağılımı grafiğini kullanın. Bu görünümler, önbellek isabetlerindeki düşüşleri fark etmenize ve uygulamanızdaki değişikliklerin önbelleğe alma performansını nasıl etkilediğini değerlendirmenize yardımcı olur.
Beklenmedik bir önbellek ıskalaması gördüğünüzde ne olduğunu anlamak için prompt önbelleğe alma tanılama aracını(yeni bir pencerede açılır) kullanın. Yeniden kullanımı engelleyen model, araç, ayar veya girdi değişikliklerini belirlemek için bir isteği yakın tarihli bir yanıtla karşılaştırın. Etkilenen tahmini token sayısı, etkinin boyutunu değerlendirmenize ve önbellek isabet oranlarını en üst düzeye çıkarmak için entegrasyonunuzu nasıl optimize edebileceğinize karar vermenize yardımcı olur.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Nelerin önbelleğe alınacağını seçin. Açık önbellek kesme noktaları, hangi prompt ön eklerinin yeniden kullanılacağını seçmenizi sağlar. Yenilenen prompt önbelleğe alma kılavuzu(yeni bir pencerede açılır), bunların nasıl kullanılacağını, önbelleğe alınmış ön eklerin ne kadar süre uygun kaldığını ve araçlarla girdilerdeki değişikliklerin yeniden kullanımı nasıl etkilediğini açıklar.
Önbelleği bozmadan akıl yürütme düzeyini ayarlayın. GPT‑6 modellerinde artık önbelleği bozmadan yanıtlar arasında akıl yürütme düzeyini değiştirebilirsiniz(yeni bir pencerede açılır). İstek düzeyindeki akıl yürütme düzeyini değiştirmeden bir configuration_update ekleyerek daha zor bir görev için düzeyi yükseltebilir veya rutin bir takip işlemi için düşürebilirsiniz. Bu sayede yeniden kullanılabilir bağlamı korurken görevin ne kadar akıl yürütme gerektirdiğini ayarlayabilirsiniz.
Araçlar ve talimatlar değişirken önbelleği koruyun. Ajanınızın araç kullanım ihtiyaçları değişirken önceki bağlamın yeniden kullanılabilmesi için araç tanımlarını, şemaları ve sıralamayı sabit tutun. Tanımları kaldırmak yerine yalnızca ilgili araçları çağrılabilir kılmak için allowed_tools kullanın veya hiçbir araca gerek olmadığında tool_choice değerini none olarak ayarlayın. Eski talimatları geçersiz kılmak için yeni geliştirici mesajlarıyla bağlamın sonuna yeni talimatlar ekleyin. Araç değişikliklerini yönetme rehberimize(yeni bir pencerede açılır) göz atın.
Gecikmeyi azaltmak için önbelleği önceden ısıtın. Önceden ısıtma(yeni bir pencerede açılır), bilinen bağlamı önceden hazırlayarak bir istek geldiğinde modelin daha hızlı yanıt vermeye başlamasını sağlar. Örneğin bir uygulama, kullanıcı ilk sorusunu sormadan önce başlangıç sırasında paylaşılan talimatları, araç tanımlarını veya referans materyallerini önceden ısıtabilir. Böylece işlem süresi, kullanıcının bekleme süresinin dışına taşınır.
Bu isteğe bağlı denetimler, altyapının varsayılan performansını temel alarak önbelleğe alma sürecini iş yükünüze uyarlamanıza yardımcı olur.
Önbellek isabet oranlarını Prompt Önbelleğe Alma Kontrol Paneli(yeni bir pencerede açılır) üzerinden izleyin.
Beklenmedik ıskalamaları tanılama aracıyla(yeni bir pencerede açılır) araştırın.
Kurulumunuzu iyileştirmek için prompt önbelleğe alma kılavuzunu(yeni bir pencerede açılır) izleyin veya kodunuzu incelemek, iyileştirmeleri uygulamak ve sonuçları ölçmek için Codex'i kullanın(yeni bir pencerede açılır).
