GPT‑6‑এর জন্য উন্নত প্রম্পট ক্যাশিং
উচ্চতর ক্যাশ হিট রেট এবং নতুন টুল, যা অবিরত চলমান এজেন্টগুলোকে দ্রুত ও কম খরচে চালাতে সাহায্য করে.
GPT‑6 অবিরত চলমান এজেন্টগুলোকে জটিল কাজে ঘণ্টার পর ঘণ্টা কাজ করতে সক্ষম করে, কোডবেস পুনর্গঠন থেকে শুরু করে সুগবেষিত নথি ও উপস্থাপনা তৈরি পর্যন্ত. এই এজেন্টগুলোর পেছনের অ্যাপ্লিকেশনগুলো একের পর এক API অনুরোধ করে, যা একটির ওপর আরেকটি গড়ে ওঠে এবং প্রায়ই আগের আদান-প্রদান থেকে একই নির্দেশনা, টুল সংজ্ঞা ও প্রসঙ্গ বহন করে. OpenAI সেই শেয়ার করা প্রসঙ্গ ক্যাশ করে, যাতে অনুরোধজুড়ে কম্পিউটেশন পুনর্ব্যবহার করা যায়, প্রতিক্রিয়ার সময় কমে এবং ডেভেলপাররা ক্যাশ করা ইনপুট টোকেনে 90% পর্যন্ত ছাড় পান.
GPT‑6 পরিবারের সঙ্গে আমরা উন্নত প্রম্পট ক্যাশিং সিস্টেম চালু করেছি, যা ডিফল্টভাবেই বেশি ক্যাশ হিট রেট দেয়. এখন 30 মিনিটের মধ্যে পুনর্ব্যবহৃত উপযুক্ত শেয়ার করা প্রিফিক্সের জন্য আমরা ক্যাশ ছাড় দিই. ডেভেলপাররা যাতে ক্যাশ পারফরম্যান্স পর্যবেক্ষণ করতে, মিস নির্ণয় করতে এবং প্রম্পটের কতটা ক্যাশ করবেন তা বেছে নিতে পারেন, সে জন্য আমরা নতুন টুলও আনছি.
নতুন প্রম্পট ক্যাশিং ড্যাশবোর্ড(একটি নতুন উইন্ডোতে খোলে) দেখায় আপনার অ্যাপ্লিকেশনের ইনপুটের কতটা ক্যাশ থেকে পরিবেশিত হচ্ছে. সময়ের সঙ্গে হিট রেট ট্র্যাক করুন এবং ইনপুট কম্পোজিশন চার্ট ব্যবহার করে ক্যাশ করা ও ক্যাশ না করা টোকেন তুলনা করুন. এই ভিউগুলো আপনাকে ক্যাশ হিট কমে যাওয়া শনাক্ত করতে এবং আপনার অ্যাপ্লিকেশনে পরিবর্তন ক্যাশিং পারফরম্যান্সে কী প্রভাব ফেলে তা মূল্যায়ন করতে সাহায্য করে.
অপ্রত্যাশিত ক্যাশ মিস দেখলে কী ঘটেছে বুঝতে প্রম্পট ক্যাশিং ডায়াগনস্টিক টুল(একটি নতুন উইন্ডোতে খোলে) ব্যবহার করুন. পুনর্ব্যবহার ঠেকিয়েছে এমন মডেল, টুল, সেটিং বা ইনপুটের পরিবর্তন শনাক্ত করতে একটি অনুরোধকে সাম্প্রতিক প্রতিক্রিয়ার সঙ্গে তুলনা করুন. প্রভাবিত টোকেনের আনুমানিক সংখ্যা আপনাকে প্রভাবের আকার বুঝতে এবং ক্যাশ হিট রেট সর্বোচ্চ করতে আপনার ইন্টিগ্রেশন কীভাবে অপ্টিমাইজ করবেন তা ঠিক করতে সাহায্য করে.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
কী ক্যাশ করবেন তা বেছে নিন. স্পষ্ট ক্যাশ ব্রেকপয়েন্ট আপনাকে কোন প্রম্পট প্রিফিক্স পুনর্ব্যবহার করবেন তা বেছে নিতে দেয়. হালনাগাদ প্রম্পট ক্যাশিং নির্দেশিকা(একটি নতুন উইন্ডোতে খোলে) এগুলো কীভাবে ব্যবহার করতে হয়, ক্যাশ করা প্রিফিক্স কতক্ষণ উপযুক্ত থাকে, এবং টুল ও ইনপুটের পরিবর্তন কীভাবে পুনর্ব্যবহারকে প্রভাবিত করে তা ব্যাখ্যা করে.
ক্যাশ না ভেঙে যুক্তি-প্রয়াস সামঞ্জস্য করুন. GPT‑6 মডেলগুলোতে এখন আপনি ক্যাশ না ভেঙে প্রতিক্রিয়াগুলোর মধ্যে যুক্তি-প্রয়াস পরিবর্তন(একটি নতুন উইন্ডোতে খোলে) করতে পারেন. কঠিন কাজের জন্য প্রয়াস বাড়ান বা রুটিন ফলো-আপের জন্য কমান; অনুরোধ-স্তরের যুক্তি-প্রয়াস অপরিবর্তিত রেখে একটি configuration_update যোগ করুন. এতে পুনর্ব্যবহারযোগ্য প্রসঙ্গ বজায় রেখে কোনো কাজের জন্য কতটা যুক্তি দরকার তা সামঞ্জস্য করতে পারেন.
টুল ও নির্দেশনা বদলালেও ক্যাশ বজায় রাখুন. আপনার এজেন্টের টুল ব্যবহারের প্রয়োজন বদলালে, টুল সংজ্ঞা, স্কিমা ও ক্রম স্থিতিশীল রাখুন, যাতে আগের প্রসঙ্গ পুনর্ব্যবহারযোগ্য থাকে. সংজ্ঞা সরানোর বদলে, শুধু সংশ্লিষ্ট টুলগুলো কলযোগ্য করতে allowed_tools ব্যবহার করুন, অথবা কোনো টুল প্রয়োজন না হলে tool_choice-কে none সেট করুন. পুরোনো নির্দেশনা ওভাররাইড করতে প্রসঙ্গের শেষের দিকে নতুন নির্দেশনা যোগ করার জন্য নতুন ডেভেলপার বার্তা ব্যবহার করুন. আমাদের টুল পরিবর্তন ব্যবস্থাপনা সংক্রান্ত নির্দেশনা(একটি নতুন উইন্ডোতে খোলে) দেখুন.
বিলম্ব কমাতে ক্যাশ প্রি-ওয়ার্ম করুন. প্রি-ওয়ার্মিং(একটি নতুন উইন্ডোতে খোলে) পরিচিত প্রসঙ্গ আগেভাগে প্রস্তুত করে, যাতে অনুরোধ এলে মডেল দ্রুত প্রতিক্রিয়া দিতে শুরু করতে পারে. উদাহরণস্বরূপ, ব্যবহারকারী প্রথম প্রশ্ন করার আগে কোনো অ্যাপ্লিকেশন চালুর সময় শেয়ার করা নির্দেশনা, টুল সংজ্ঞা বা রেফারেন্স উপাদান প্রি-ওয়ার্ম করতে পারে. এতে প্রক্রিয়াকরণ ব্যবহারকারীর অপেক্ষার সময়ের বাইরে চলে যায়.
এই ঐচ্ছিক নিয়ন্ত্রণগুলো ইঞ্জিনের ডিফল্ট পারফরম্যান্সের ওপর ভিত্তি করে তৈরি, যা আপনার ওয়ার্কলোড অনুযায়ী ক্যাশিং সাজাতে সাহায্য করে.
প্রম্পট ক্যাশিং ড্যাশবোর্ডে(একটি নতুন উইন্ডোতে খোলে) ক্যাশ হিট রেট পর্যবেক্ষণ করুন.
ডায়াগনস্টিক টুল(একটি নতুন উইন্ডোতে খোলে) দিয়ে অপ্রত্যাশিত মিস তদন্ত করুন.
আপনার সেটআপ উন্নত করতে প্রম্পট ক্যাশিং নির্দেশিকা(একটি নতুন উইন্ডোতে খোলে) অনুসরণ করুন, অথবা আপনার কোড পর্যালোচনা, উন্নতি প্রয়োগ ও ফলাফল মাপতে Codex ব্যবহার করুন(একটি নতুন উইন্ডোতে খোলে).
