GPT‑6 के लिए बेहतर प्रॉम्प्ट कैशिंग
ज़्यादा कैश हिट रेट और नए टूल्स, जो लंबे समय तक चलने वाले एजेंट्स को तेज़ और कम लागत में काम करने में मदद करते हैं.
GPT‑6 लंबे समय तक चलने वाले एजेंट्स को मुश्किल कामों पर घंटों काम करने देता है, जैसे कोडबेस को बेहतर बनाना या अच्छी रिसर्च वाले डॉक्यूमेंट्स और प्रेज़ेंटेशन्स तैयार करना. इन एजेंट्स के पीछे चलने वाले ऐप्स लगातार API रिक्वेस्ट्स भेजते हैं, जिनमें अक्सर पहले वाली इंस्ट्रक्शन्स, टूल की जानकारी और कॉन्टेक्स्ट दोबारा इस्तेमाल होता है. OpenAI इस साझा कॉन्टेक्स्ट को कैश करता है, ताकि हर बार वही प्रोसेसिंग दोबारा न करनी पड़े. इससे जवाब जल्दी मिलता है और डेवलपर्स को कैश किए गए इनपुट टोकन्स पर 90% तक की छूट मिल सकती है.
GPT‑6 फ़ैमिली के साथ हमने बेहतर प्रॉम्प्ट कैशिंग सिस्टम लॉन्च किया है, जो डिफ़ॉल्ट तौर पर ज़्यादा कैश हिट रेट देता है. अब 30 मिनट के अंदर दोबारा इस्तेमाल होने वाले प्रॉम्प्ट के शुरुआती हिस्सों पर कैश डिस्काउंट मिलता है. हम नए टूल्स भी ला रहे हैं, जिनसे डेवलपर्स कैश की परफ़ॉर्मेंस देख सकें, कैश मिस होने की वजह समझ सकें और तय कर सकें कि प्रॉम्प्ट का कितना हिस्सा कैश करना है.
नया प्रॉम्प्ट कैशिंग डैशबोर्ड(एक नई विंडो में खुलेगा) दिखाता है कि आपके ऐप के इनपुट का कितना हिस्सा कैश से मिल रहा है. आप समय के साथ कैश हिट रेट देख सकते हैं और इनपुट चार्ट में कैश किए गए और बिना कैश वाले टोकन्स की तुलना कर सकते हैं. इससे कैश हिट में गिरावट जल्दी दिखती है और यह समझने में मदद मिलती है कि ऐप में किए गए बदलाव कैशिंग पर क्या असर डाल रहे हैं.
अगर अचानक कैश मिस होता दिखाई दे, तो उसकी वजह समझने के लिए प्रॉम्प्ट कैशिंग डायग्नॉस्टिक्स टूल(एक नई विंडो में खुलेगा) इस्तेमाल करें. किसी रिक्वेस्ट की हाल के जवाब से तुलना करके आप देख सकते हैं कि मॉडल, टूल्स, सेटिंग्स या इनपुट में क्या बदलाव हुआ, जिसकी वजह से पुराना कॉन्टेक्स्ट दोबारा इस्तेमाल नहीं हो पाया. प्रभावित टोकन्स की अनुमानित संख्या से यह समझने में मदद मिलती है कि असर कितना बड़ा है और ज़्यादा कैश हिट पाने के लिए अपने इंटीग्रेशन में क्या सुधार किया जा सकता है.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
चुनें कि क्या कैश करना है. तय कैश ब्रेकपॉइंट्स की मदद से आप तय कर सकते हैं कि प्रॉम्प्ट का कौन-सा शुरुआती हिस्सा दोबारा इस्तेमाल हो. अपडेटेड प्रॉम्प्ट कैशिंग गाइड(एक नई विंडो में खुलेगा) बताती है कि इन्हें कैसे इस्तेमाल करें, कैश किया गया हिस्सा कितने समय तक दोबारा इस्तेमाल किया जा सकता है और टूल्स या इनपुट में बदलाव से इस पर क्या असर पड़ता है.
कैश को बनाए रखते हुए रीज़निंग के एफ़र्ट को बदलें. GPT‑6 मॉडल्स में अब आप जवाबों के बीच रीज़निंग के एफ़र्ट बदल सकते हैं(एक नई विंडो में खुलेगा), बिना कैश तोड़े. मुश्किल काम के लिए रीज़निंग बढ़ाएँ या आसान फ़ॉलो-अप के लिए कम करें. इसके लिए रिक्वेस्ट के स्तर पर रीज़निंग के एफ़र्ट को बदले बिना configuration_update डालें. इससे दोबारा इस्तेमाल होने वाला कॉन्टेक्स्ट बचा रहता है.
टूल्स और इंस्ट्रक्शन्स बदलने पर भी कैश बनाए रखें. एजेंट के लिए टूल की ज़रूरतें बदलने पर भी टूल डेफ़िनिशन्स, स्कीमा और उनका क्रम एक जैसा रखें, ताकि पुराना कॉन्टेक्स्ट दोबारा इस्तेमाल हो सके. डेफ़िनिशन्स हटाने के बजाय allowed_tools का इस्तेमाल करके सिर्फ़ ज़रूरी टूल्स को कॉल करने लायक रखें, या जब किसी टूल की ज़रूरत न हो तो tool_choice को none पर सेट करें. पुरानी इंस्ट्रक्शन्स को बदलने के लिए कॉन्टेक्स्ट के आखिर में नए डेवलपर मैसेज के ज़रिए नई इंस्ट्रक्शन्स जोड़ें. टूल्स में बदलाव मैनेज करने के लिए हमारी गाइड (एक नई विंडो में खुलेगा)देखें.
देरी कम करने के लिए कैश पहले से तैयार करें. प्रीवॉर्मिंग(एक नई विंडो में खुलेगा) में पहले से मालूम कॉन्टेक्स्ट पर पहले ही काम शुरू कर लिया जाता है, ताकि रिक्वेस्ट आते ही मॉडल जल्दी जवाब देना शुरू कर सके. उदाहरण के लिए, ऐप शुरू होते समय ही साझा इंस्ट्रक्शन्स, टूल डेफ़िनिशन्स या रेफ़रेंस मटीरियल को तैयार किया जा सकता है, यूज़र के पहला सवाल पूछने से पहले. इससे प्रोसेसिंग के दौरान यूज़र को इंतज़ार करना नहीं पड़ता.
ये अतिरिक्त कंट्रोल्स इंजन की डिफ़ॉल्ट परफ़ॉर्मेंस को बेहतर बनाते हैं और आपके वर्कलोड के हिसाब से कैशिंग सेट करने में मदद करते हैं.
प्रॉम्प्ट कैशिंग डैशबोर्ड(एक नई विंडो में खुलेगा) में कैश हिट रेट देखें.
डायग्नॉस्टिक्स टूल(एक नई विंडो में खुलेगा) से अचानक मिस होने वाले कैश की वजह की जाँच करें.
अपना सेटअप बेहतर करने के लिए प्रॉम्प्ट कैशिंग गाइड(एक नई विंडो में खुलेगा) फ़ॉलो करें. या Codex की मदद से(एक नई विंडो में खुलेगा) कोड रिव्यू करें, सुधार लागू करें और नतीजे मापें.
