GPT‑6 साठी अधिक चांगले प्रॉम्प्ट कॅशिंग
सातत्याने कार्यरत एजंट अधिक जलद आणि कमी खर्चात चालण्यासाठी अधिक कॅश उपलब्धता आणि नवी साधने.
GPT‑6 मुळे सातत्याने कार्यरत एजंटना संहितासंग्रहांची पुनर्रचना करण्यापासून सखोल संशोधनावर आधारित दस्तऐवज आणि सादरीकरणे तयार करण्यापर्यंतची जटिल कामे तासनतास करता येतात. या एजंटमागील अनुप्रयोग एकमेकांवर आधारित API विनंत्यांची मालिका करतात. त्यामध्ये अनेकदा आधीच्या संवादांतील त्याच सूचना, साधनांच्या व्याख्या आणि संदर्भ पुढे नेले जातात. विनंत्यांदरम्यान संगणनाचा पुनर्वापर करण्यासाठी OpenAI हा सामायिक संदर्भ कॅशमध्ये साठवते. त्यामुळे प्रतिसादाचा वेळ कमी होतो आणि विकासकांना कॅश केलेल्या निविष्ट टोकनवर 90% पर्यंत सवलत मिळते.
GPT‑6 कुटुंबासोबत आम्ही अधिक कॅश उपलब्धता देणारी सुधारित प्रॉम्प्ट कॅशिंग प्रणाली सादर केली. आता 30 मिनिटांच्या कालावधीत पुन्हा वापरलेल्या पात्र सामायिक पूर्वभागांसाठी आम्ही कॅश सवलत देतो. कॅशच्या कामगिरीवर लक्ष ठेवणे, अनुपलब्धतेचे निदान करणे आणि प्रॉम्प्टचा किती भाग कॅश करायचा हे ठरवणे विकासकांना सोपे व्हावे यासाठी आम्ही नवी साधनेही सादर करत आहोत.
नवा प्रॉम्प्ट कॅशिंग नियंत्रणफलक(नवीन विंडोमध्ये उघडेल) तुमच्या अनुप्रयोगाच्या निविष्टीपैकी किती भाग कॅशमधून दिला जातो हे दाखवतो. कालानुसार कॅश उपलब्धतेच्या प्रमाणाचा मागोवा घ्या आणि कॅश केलेल्या व न केलेल्या टोकनची तुलना करण्यासाठी निविष्ट रचनेचा आलेख वापरा. ही दृश्ये कॅश उपलब्धतेतील घट ओळखण्यास आणि अनुप्रयोगातील बदलांचा कॅशिंगच्या कामगिरीवर होणारा परिणाम तपासण्यास मदत करतात.
कॅश अनपेक्षितपणे अनुपलब्ध झाल्यास काय घडले हे समजून घेण्यासाठी प्रॉम्प्ट कॅशिंग निदान साधन(नवीन विंडोमध्ये उघडेल) वापरा. पुनर्वापर रोखणारे मॉडेल, साधने, सेटिंग्ज किंवा निविष्टीतील बदल ओळखण्यासाठी एखाद्या विनंतीची अलीकडील प्रतिसादाशी तुलना करा. प्रभावित टोकनची अंदाजित संख्या तुम्हाला परिणामाची व्याप्ती मोजण्यास आणि कॅश उपलब्धतेचे प्रमाण कमाल करण्यासाठी एकात्मीकरण कसे अनुकूल करावे हे ठरवण्यास मदत करते.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
काय कॅश करायचे ते निवडा. स्पष्ट कॅश विभाजनबिंदूंमुळे प्रॉम्प्टचे कोणते पूर्वभाग पुन्हा वापरायचे हे तुम्ही ठरवू शकता. अद्ययावत प्रॉम्प्ट कॅशिंग मार्गदर्शक(नवीन विंडोमध्ये उघडेल) त्यांचा वापर कसा करायचा, कॅश केलेले पूर्वभाग किती काळ पात्र राहतात आणि साधने व निविष्टीतील बदलांचा पुनर्वापरावर कसा परिणाम होतो हे स्पष्ट करतो.
कॅश खंडित न करता रीझनिंगचे प्रयत्न समायोजित करा. GPT‑6 मॉडेलमध्ये आता कॅश खंडित न करता प्रतिसादांदरम्यान रीझनिंगचे प्रयत्न बदलता(नवीन विंडोमध्ये उघडेल) येतात. विनंती-पातळीवरील रीझनिंगचे प्रयत्न न बदलता configuration_update जोडून कठीण कामासाठी प्रयत्न वाढवा किंवा नेहमीच्या पुढील प्रश्नासाठी ते कमी करा. यामुळे पुनर्वापर करता येणारा संदर्भ जतन करून एखाद्या कामासाठी किती रीझनिंग आवश्यक आहे ते समायोजित करता येते.
साधने आणि सूचना बदलताना कॅश जतन करा. तुमच्या एजंटच्या साधनवापराच्या गरजा बदलत असताना साधनांच्या व्याख्या, संरचना आणि क्रम स्थिर ठेवा, जेणेकरून आधीचा संदर्भ पुन्हा वापरता येईल. व्याख्या काढून टाकण्याऐवजी केवळ संबंधित साधने वापरता येण्याजोगी करण्यासाठी allowed_tools वापरा किंवा कोणत्याही साधनाची गरज नसताना tool_choice चे मूल्य none ठेवा. जुन्या सूचनांवर अग्रक्रम मिळवण्यासाठी संदर्भाच्या शेवटी नव्या सूचना जोडणारे नवीन विकासक संदेश वापरा. साधनांमधील बदल व्यवस्थापित करण्याबाबतचे आमचे मार्गदर्शन(नवीन विंडोमध्ये उघडेल) पाहा.
विलंब कमी करण्यासाठी कॅश आधीच सज्ज करा. पूर्वतयारी(नवीन विंडोमध्ये उघडेल) ज्ञात संदर्भ आधीच तयार ठेवते, त्यामुळे विनंती आल्यावर मॉडेल लवकर प्रतिसाद देऊ शकते. उदाहरणार्थ, वापरकर्ता पहिला प्रश्न विचारण्यापूर्वी अनुप्रयोग सुरू होताना सामायिक सूचना, साधनांच्या व्याख्या किंवा संदर्भ साहित्याची पूर्वतयारी करू शकतो. यामुळे प्रक्रिया वापरकर्त्याच्या प्रतीक्षा कालावधीबाहेर केली जाते.
ही ऐच्छिक नियंत्रणे प्रणालीच्या नेहमीच्या कामगिरीवर आधारित असून तुमच्या कार्यभारानुसार कॅशिंग जुळवण्यास मदत करतात.
प्रॉम्प्ट कॅशिंग नियंत्रणफलकावर(नवीन विंडोमध्ये उघडेल) कॅश उपलब्धतेच्या प्रमाणावर लक्ष ठेवा.
निदान साधनाने(नवीन विंडोमध्ये उघडेल) अनपेक्षित कॅश अनुपलब्धतेची चौकशी करा.
तुमची मांडणी सुधारण्यासाठी प्रॉम्प्ट कॅशिंग मार्गदर्शकाचे(नवीन विंडोमध्ये उघडेल) अनुसरण करा किंवा संहितेचे परीक्षण, सुधारणा लागू करणे आणि परिणाम मोजणे यासाठी Codex वापरा(नवीन विंडोमध्ये उघडेल).
