GPT‑6 کے لیے بہتر پرامپٹ کیچنگ
بلند کیش ہِٹ ریٹ اور نئے ٹولز، جو دیرپا ایجنٹس کو زیادہ تیزی اور کم لاگت سے چلانے میں مدد دیں.
GPT‑6 دیرپا ایجنٹس کو پیچیدہ کاموں پر گھنٹوں کام کرنے کے قابل بناتا ہے، چاہے کوڈ بیسز کی ازسرِنو ساخت ہو یا جامع تحقیق پر مبنی دستاویزات اور پیشکشیں تیار کرنا. ان ایجنٹس کے پسِ پشت موجود ایپلیکیشنز یکے بعد دیگرے API درخواستیں کرتی ہیں، جن میں اکثر سابقہ مراحل کی وہی ہدایات، ٹول کی تعریفیں اور سیاق آگے منتقل ہوتے ہیں. OpenAI اس مشترکہ سیاق کو کیش کرتا ہے تاکہ درخواستوں کے درمیان کمپیوٹیشن دوبارہ استعمال ہو، جواب کا وقت کم ہو اور ڈیولپرز کو کیش شدہ ان پٹ ٹوکنز پر 90% تک رعایت ملے.
GPT‑6 فیملی کے ساتھ ہم نے پرامپٹ کیچنگ کا ایک بہتر نظام متعارف کرایا، جو پہلے سے طے شدہ طور پر بلند کیش ہِٹ ریٹ فراہم کرتا ہے. اب ہم 30 منٹ کے اندر دوبارہ استعمال ہونے والے اہل مشترکہ سابقوں پر کیش رعایت دیتے ہیں. ہم نئے ٹولز بھی متعارف کرا رہے ہیں جو ڈیولپرز کو کیش کی کارکردگی پر نظر رکھنے، کیش مِس کی تشخیص کرنے اور یہ طے کرنے میں مدد دیں گے کہ پرومپٹ کا کتنا حصہ کیش کیا جائے.
نیا پرامپٹ کیچنگ ڈیش بورڈ(نئی ونڈو میں کھلتا ہے) دکھاتا ہے کہ آپ کی ایپلیکیشن کے ان پٹ کا کتنا حصہ کیش سے فراہم ہوتا ہے. وقت کے ساتھ ہِٹ ریٹ پر نظر رکھیں اور کیش شدہ و غیر کیش شدہ ٹوکنز کا موازنہ کرنے کے لیے ان پٹ ساخت کا چارٹ استعمال کریں. یہ مناظر کیش ہِٹس میں کمی کی نشاندہی اور ایپلیکیشن میں تبدیلیوں کے کیچنگ کی کارکردگی پر اثرات کا جائزہ لینے میں مدد دیتے ہیں.
غیر متوقع کیش مِس نظر آنے پر یہ سمجھنے کے لیے پرامپٹ کیچنگ تشخیصی ٹول(نئی ونڈو میں کھلتا ہے) استعمال کریں کہ کیا ہوا. کسی درخواست کا حالیہ جواب سے موازنہ کر کے ماڈل، ٹولز، ترتیبات یا ان پٹ میں وہ تبدیلیاں شناخت کریں جنہوں نے دوبارہ استعمال کو روکا. متاثرہ ٹوکنز کی تخمینی تعداد اثر کی وسعت جانچنے اور یہ طے کرنے میں مدد دیتی ہے کہ کیش ہِٹ ریٹ کو زیادہ سے زیادہ کرنے کے لیے انضمام کو کیسے بہتر بنایا جائے.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
طے کریں کہ کیا کیش کرنا ہے. واضح کیش بریک پوائنٹس آپ کو یہ منتخب کرنے دیتے ہیں کہ پرومپٹ کے کون سے سابقے دوبارہ استعمال ہوں. تازہ کردہ پرامپٹ کیچنگ رہنما(نئی ونڈو میں کھلتا ہے) بتاتا ہے کہ انہیں کیسے استعمال کریں، کیش شدہ سابقے کتنی دیر تک اہل رہتے ہیں، اور ٹولز و ان پٹس میں تبدیلیاں دوبارہ استعمال پر کیسے اثر ڈالتی ہیں.
کیش کو متاثر کیے بغیر ریزننگ کی سطح بدلیں. GPT‑6 ماڈلز میں اب آپ کیش کو متاثر کیے بغیر جوابات کے درمیان ریزننگ کی سطح بدل(نئی ونڈو میں کھلتا ہے) سکتے ہیں. درخواست کی سطح پر ریزننگ کی مقدار بدلے بغیر configuration_update شامل کر کے مشکل کام کے لیے سطح بڑھائیں یا معمول کی اگلی کارروائی کے لیے کم کریں. اس طرح دوبارہ قابلِ استعمال سیاق محفوظ رکھتے ہوئے آپ کام کے لیے درکار ریزننگ کی مقدار بدل سکتے ہیں.
ٹولز اور ہدایات بدلنے پر بھی کیش محفوظ رکھیں. ایجنٹ کی ٹول استعمال کرنے کی ضروریات بدلنے پر ٹول کی تعریفیں، اسکیما اور ترتیب مستحکم رکھیں تاکہ سابقہ سیاق دوبارہ قابلِ استعمال رہے. تعریفیں ہٹانے کے بجائے صرف متعلقہ ٹولز کو قابلِ استعمال بنانے کے لیے allowed_tools استعمال کریں، یا جب کسی ٹول کی ضرورت نہ ہو تو tool_choice کو none پر سیٹ کریں. پرانی ہدایات کو بدلنے کے لیے نئے ڈیولپر پیغامات کے ذریعے سیاق کے آخر میں نئی ہدایات شامل کریں. ٹولز میں تبدیلیاں منظم کرنے سے متعلق ہماری رہنمائی(نئی ونڈو میں کھلتا ہے) دیکھیں.
تاخیر کم کرنے کے لیے کیش کو پہلے سے تیار کریں. پیشگی تیاری(نئی ونڈو میں کھلتا ہے) معلوم سیاق کو پہلے سے تیار کرتی ہے، تاکہ درخواست آنے پر ماڈل جلد جواب دینا شروع کر سکے. مثلاً، صارف کے پہلا سوال پوچھنے سے پہلے کوئی ایپلیکیشن آغاز کے دوران مشترکہ ہدایات، ٹول کی تعریفیں یا حوالہ جاتی مواد پہلے سے تیار کر سکتی ہے. اس سے پراسیسنگ صارف کے انتظار کے وقت سے باہر ہو جاتی ہے.
یہ اختیاری کنٹرولز انجن کی پہلے سے طے شدہ کارکردگی کو مزید بہتر بناتے ہیں اور کیچنگ کو آپ کے کام کے بوجھ کے مطابق ڈھالنے میں مدد دیتے ہیں.
پرامپٹ کیچنگ ڈیش بورڈ(نئی ونڈو میں کھلتا ہے) میں کیش ہِٹ ریٹ کی نگرانی کریں.
غیر متوقع کیش مِس کی جانچ تشخیصی ٹول(نئی ونڈو میں کھلتا ہے) سے کریں.
اپنی ترتیب بہتر بنانے کے لیے پرامپٹ کیچنگ رہنما(نئی ونڈو میں کھلتا ہے) پر عمل کریں، یا اپنے کوڈ کا جائزہ لینے، بہتریاں نافذ کرنے اور نتائج ناپنے کے لیے Codex استعمال کریں(نئی ونڈو میں کھلتا ہے).
