GPT‑6‑നുള്ള മെച്ചപ്പെട്ട പ്രോംപ്റ്റ് കാഷിംഗ്
ഉയർന്ന കാഷ് ഹിറ്റ് നിരക്കും പുതിയ ടൂളുകളും സ്ഥിരമായി പ്രവർത്തിക്കുന്ന ഏജന്റുകളെ കൂടുതൽ വേഗത്തിലും കുറഞ്ഞ ചെലവിലും പ്രവർത്തിക്കാൻ സഹായിക്കുന്നു.
കോഡ്ബേസുകൾ പുനഃസംഘടിപ്പിക്കുന്നതുമുതൽ സമഗ്രമായി ഗവേഷണം ചെയ്ത രേഖകളും അവതരണങ്ങളും തയ്യാറാക്കുന്നതുവരെ സങ്കീർണ ജോലികളിൽ മണിക്കൂറുകളോളം പ്രവർത്തിക്കാൻ GPT‑6 സ്ഥിരമായി പ്രവർത്തിക്കുന്ന ഏജന്റുകളെ പ്രാപ്തമാക്കുന്നു. ഈ ഏജന്റുകൾക്ക് പിന്നിലെ ആപ്ലിക്കേഷനുകൾ ഒന്നിനൊന്ന് തുടർച്ചയായ എപിഐ അഭ്യർഥനകൾ നടത്തുന്നു. മുൻ ഘട്ടങ്ങളിലെ അതേ നിർദേശങ്ങളും ടൂൾ നിർവചനങ്ങളും സന്ദർഭവും പലപ്പോഴും തുടർന്നും ഉപയോഗിക്കുന്നു. അഭ്യർഥനകളിലുടനീളം കംപ്യൂട്ടേഷൻ പുനരുപയോഗിക്കാൻ OpenAI ആ പങ്കിട്ട സന്ദർഭം കാഷ് ചെയ്യുന്നു. ഇത് പ്രതികരണ സമയം കുറയ്ക്കുകയും കാഷ് ചെയ്ത ഇൻപുട്ട് ടോക്കണുകളിൽ ഡെവലപ്പർമാർക്ക് 90% വരെ കിഴിവ് നൽകുകയും ചെയ്യുന്നു.
സ്വതവേ ഉയർന്ന കാഷ് ഹിറ്റ് നിരക്ക് നൽകുന്ന മെച്ചപ്പെടുത്തിയ പ്രോംപ്റ്റ് കാഷിംഗ് സംവിധാനം GPT‑6 കുടുംബത്തോടൊപ്പം ഞങ്ങൾ അവതരിപ്പിച്ചു. 30 മിനിറ്റ് സമയപരിധിക്കുള്ളിൽ പുനരുപയോഗിക്കുന്ന, യോഗ്യമായ പങ്കിട്ട പ്രിഫിക്സുകൾക്ക് ഇപ്പോൾ കാഷ് കിഴിവുകൾ നൽകുന്നു. കാഷ് പ്രകടനം നിരീക്ഷിക്കാനും മിസ്സുകളുടെ കാരണം കണ്ടെത്താനും പ്രോംപ്റ്റിന്റെ എത്ര ഭാഗം കാഷ് ചെയ്യണമെന്ന് തിരഞ്ഞെടുക്കാനും ഡെവലപ്പർമാരെ സഹായിക്കുന്ന പുതിയ ടൂളുകളും അവതരിപ്പിക്കുന്നു.
നിങ്ങളുടെ ആപ്ലിക്കേഷന്റെ ഇൻപുട്ടിൽ എത്ര ഭാഗം കാഷിൽനിന്ന് ലഭിക്കുന്നുവെന്ന് പുതിയ പ്രോംപ്റ്റ് കാഷിംഗ് ഡാഷ്ബോർഡ്(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) കാണിക്കുന്നു. കാലക്രമത്തിലെ ഹിറ്റ് നിരക്കുകൾ നിരീക്ഷിക്കുക. കാഷ് ചെയ്തതും ചെയ്യാത്തതുമായ ടോക്കണുകൾ താരതമ്യം ചെയ്യാൻ ഇൻപുട്ട് ഘടനാ ചാർട്ട് ഉപയോഗിക്കുക. കാഷ് ഹിറ്റുകളിലെ ഇടിവ് കണ്ടെത്താനും ആപ്ലിക്കേഷനിലെ മാറ്റങ്ങൾ കാഷിംഗ് പ്രകടനത്തെ എങ്ങനെ ബാധിക്കുന്നുവെന്ന് വിലയിരുത്താനും ഈ ദൃശ്യങ്ങൾ സഹായിക്കുന്നു.
അപ്രതീക്ഷിത കാഷ് മിസ് കാണുമ്പോൾ എന്താണ് സംഭവിച്ചതെന്ന് മനസ്സിലാക്കാൻ പ്രോംപ്റ്റ് കാഷിംഗ് ഡയഗ്നോസ്റ്റിക്സ് ടൂൾ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ഉപയോഗിക്കുക. പുനരുപയോഗം തടഞ്ഞ മോഡൽ, ടൂളുകൾ, ക്രമീകരണങ്ങൾ, ഇൻപുട്ട് എന്നിവയിലെ മാറ്റങ്ങൾ കണ്ടെത്താൻ ഒരു അഭ്യർഥനയെ സമീപകാല പ്രതികരണവുമായി താരതമ്യം ചെയ്യുക. ബാധിക്കപ്പെട്ട ടോക്കണുകളുടെ കണക്കാക്കിയ എണ്ണം ആഘാതത്തിന്റെ വ്യാപ്തി വിലയിരുത്താനും പരമാവധി കാഷ് ഹിറ്റ് നിരക്ക് നേടാൻ ഇന്റഗ്രേഷൻ എങ്ങനെ മെച്ചപ്പെടുത്താമെന്ന് തീരുമാനിക്കാനും സഹായിക്കുന്നു.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
എന്താണ് കാഷ് ചെയ്യേണ്ടതെന്ന് തിരഞ്ഞെടുക്കുക. ഏത് പ്രോംപ്റ്റ് പ്രിഫിക്സുകൾ പുനരുപയോഗിക്കണമെന്ന് തിരഞ്ഞെടുക്കാൻ വ്യക്തമായ കാഷ് ബ്രേക്ക്പോയിന്റുകൾ നിങ്ങളെ അനുവദിക്കുന്നു. അവ എങ്ങനെ ഉപയോഗിക്കാം, കാഷ് ചെയ്ത പ്രിഫിക്സുകൾ എത്രകാലം യോഗ്യമായി തുടരും, ടൂളുകളിലെയും ഇൻപുട്ടുകളിലെയും മാറ്റങ്ങൾ പുനരുപയോഗത്തെ എങ്ങനെ ബാധിക്കും എന്നിവ പുതുക്കിയ പ്രോംപ്റ്റ് കാഷിംഗ് മാർഗദർശി(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) വിശദീകരിക്കുന്നു.
കാഷ് തടസ്സപ്പെടുത്താതെ റീസണിംഗ് ശ്രമം ക്രമീകരിക്കുക. GPT‑6 മോഡലുകളിൽ കാഷ് തടസ്സപ്പെടുത്താതെ പ്രതികരണങ്ങൾക്കിടയിൽ ഇപ്പോൾ റീസണിംഗ് ശ്രമം മാറ്റാം(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു). അഭ്യർഥനാതല റീസണിംഗ് ശ്രമം മാറ്റാതെ configuration_update ചേർത്ത് ബുദ്ധിമുട്ടുള്ള ജോലിക്ക് ശ്രമം കൂട്ടുകയോ പതിവ് തുടർചോദ്യത്തിന് കുറയ്ക്കുകയോ ചെയ്യാം. പുനരുപയോഗിക്കാവുന്ന സന്ദർഭം നിലനിർത്തിക്കൊണ്ട് ഒരു ജോലിക്ക് എത്ര റീസണിംഗ് വേണമെന്ന് ഇതിലൂടെ ക്രമീകരിക്കാം.
ടൂളുകളും നിർദേശങ്ങളും മാറുമ്പോഴും കാഷ് നിലനിർത്തുക. നിങ്ങളുടെ ഏജന്റിന്റെ ടൂൾ ഉപയോഗ ആവശ്യങ്ങൾ മാറുമ്പോൾ, മുൻ സന്ദർഭം പുനരുപയോഗിക്കാവുന്നതായി നിലനിർത്താൻ ടൂൾ നിർവചനങ്ങളും സ്കീമകളും ക്രമവും സ്ഥിരമായി സൂക്ഷിക്കുക. നിർവചനങ്ങൾ നീക്കം ചെയ്യുന്നതിനുപകരം, പ്രസക്തമായ ടൂളുകൾ മാത്രം വിളിക്കാവുന്നതാക്കാൻ allowed_tools ഉപയോഗിക്കുക. ടൂളുകൾ ആവശ്യമില്ലെങ്കിൽ tool_choice എന്നത് none ആയി സജ്ജമാക്കുക. പഴയ നിർദേശങ്ങളെ മറികടക്കാൻ പുതിയ ഡെവലപ്പർ സന്ദേശങ്ങൾ ഉപയോഗിച്ച് സന്ദർഭത്തിന്റെ അവസാനത്തിൽ പുതിയ നിർദേശങ്ങൾ ചേർക്കുക. ടൂൾ മാറ്റങ്ങൾ കൈകാര്യം ചെയ്യുന്നതിനുള്ള ഞങ്ങളുടെ മാർഗനിർദേശം(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) കാണുക.
വൈകൽ കുറയ്ക്കാൻ കാഷ് മുൻകൂട്ടി സജ്ജമാക്കുക. ഒരു അഭ്യർഥന എത്തുമ്പോൾ മോഡലിന് വേഗത്തിൽ പ്രതികരിക്കാൻ കഴിയുന്നവിധം അറിയാവുന്ന സന്ദർഭം മുൻകൂട്ടി സജ്ജമാക്കൽ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) തയ്യാറാക്കി വയ്ക്കുന്നു. ഉദാഹരണത്തിന്, ഉപയോക്താവ് ആദ്യ ചോദ്യം ചോദിക്കുന്നതിനുമുമ്പ് ആപ്ലിക്കേഷൻ ആരംഭിക്കുമ്പോൾ തന്നെ പങ്കിട്ട നിർദേശങ്ങളും ടൂൾ നിർവചനങ്ങളും അവലംബ സാമഗ്രികളും മുൻകൂട്ടി സജ്ജമാക്കാം. ഇത് പ്രോസസിംഗ് ഉപയോക്താവിന്റെ കാത്തിരിപ്പ് സമയത്തിന് പുറത്തേക്ക് മാറ്റുന്നു.
എൻജിന്റെ സ്വതവേയുള്ള പ്രകടനത്തെ അടിസ്ഥാനമാക്കിയുള്ള ഈ ഐച്ഛിക നിയന്ത്രണങ്ങൾ, നിങ്ങളുടെ ജോലിഭാരത്തിന് അനുയോജ്യമായി കാഷിംഗ് ക്രമീകരിക്കാൻ സഹായിക്കുന്നു.
പ്രോംപ്റ്റ് കാഷിംഗ് ഡാഷ്ബോർഡിൽ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) കാഷ് ഹിറ്റ് നിരക്കുകൾ നിരീക്ഷിക്കുക.
അപ്രതീക്ഷിത മിസ്സുകൾ ഡയഗ്നോസ്റ്റിക്സ് ടൂൾ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ഉപയോഗിച്ച് അന്വേഷിക്കുക.
നിങ്ങളുടെ സജ്ജീകരണം മെച്ചപ്പെടുത്താൻ പ്രോംപ്റ്റ് കാഷിംഗ് മാർഗദർശി(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) പിന്തുടരുക. അല്ലെങ്കിൽ കോഡ് അവലോകനം ചെയ്യാനും മെച്ചപ്പെടുത്തലുകൾ നടപ്പാക്കാനും ഫലങ്ങൾ അളക്കാനും Codex ഉപയോഗിക്കുക(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു).
