GPT‑6‑க்கான மேம்பட்ட ப்ராம்ப்ட் தற்காலிகச் சேமிப்பு
தொடர்ச்சியான ஏஜென்ட்கள் வேகமாகவும் குறைந்த செலவிலும் இயங்க உதவும் அதிகத் தற்காலிகச் சேமிப்புப் பொருத்த விகிதங்களும் புதிய கருவிகளும்.
நிரல் களஞ்சியங்களை மறுசீரமைப்பது முதல் விரிவான ஆய்வுடன் ஆவணங்கள் மற்றும் விளக்கக்காட்சிகளை உருவாக்குவது வரை, சிக்கலான பணிகளில் தொடர்ச்சியான ஏஜென்ட்கள் பல மணிநேரம் செயல்பட GPT‑6 உதவுகிறது. இந்த ஏஜென்ட்களுக்குப் பின்னால் உள்ள பயன்பாடுகள் ஒன்றையொன்று அடிப்படையாகக் கொண்ட தொடர்ச்சியான API கோரிக்கைகளை அனுப்புகின்றன. முந்தைய உரையாடல் சுற்றுகளின் அதே அறிவுறுத்தல்கள், கருவி வரையறைகள் மற்றும் சூழல் பெரும்பாலும் தொடர்ந்து எடுத்துச் செல்லப்படுகின்றன. கோரிக்கைகளுக்கு இடையே கணக்கீட்டை மீண்டும் பயன்படுத்த OpenAI அந்தப் பகிரப்பட்ட சூழலைத் தற்காலிகமாகச் சேமிக்கிறது. இதனால் பதில் நேரம் குறைவதுடன், சேமிக்கப்பட்ட உள்ளீட்டு டோக்கன்களுக்கு உருவாக்குநர்கள் 90% வரை தள்ளுபடி பெறுகின்றனர்.
GPT‑6 குடும்பத்துடன், இயல்பாகவே அதிக தற்காலிகச் சேமிப்புப் பொருத்த விகிதங்களை வழங்கும் மேம்பட்ட ப்ராம்ப்ட் தற்காலிகச் சேமிப்பு அமைப்பை அறிமுகப்படுத்தினோம். 30 நிமிட கால வரம்பிற்குள் மீண்டும் பயன்படுத்தப்படும் தகுதியுள்ள பகிரப்பட்ட முன்னொட்டுகளுக்கு இப்போது தற்காலிகச் சேமிப்புத் தள்ளுபடிகளை வழங்குகிறோம். தற்காலிகச் சேமிப்பின் செயல்திறனைக் கண்காணிக்கவும், பொருத்தத் தவறுகளைக் கண்டறியவும், ப்ராம்ப்ட்டில் எவ்வளவு பகுதியைச் சேமிக்க வேண்டும் என்பதைத் தேர்ந்தெடுக்கவும் உருவாக்குநர்களுக்கு உதவும் புதிய கருவிகளையும் அறிமுகப்படுத்துகிறோம்.
உங்கள் பயன்பாட்டின் உள்ளீட்டில் எவ்வளவு பகுதி தற்காலிகச் சேமிப்பிலிருந்து வழங்கப்படுகிறது என்பதைப் புதிய ப்ராம்ப்ட் தற்காலிகச் சேமிப்புக் கட்டுப்பாட்டுப் பலகை(புதிய சாளரத்தில் திறக்கும்) காட்டுகிறது. காலப்போக்கிலான பொருத்த விகிதங்களைக் கண்காணித்து, சேமிக்கப்பட்ட மற்றும் சேமிக்கப்படாத டோக்கன்களை ஒப்பிட உள்ளீட்டுக் கூறமைவு விளக்கப்படத்தைப் பயன்படுத்துங்கள். தற்காலிகச் சேமிப்புப் பொருத்தங்களில் ஏற்படும் சரிவுகளைக் கண்டறியவும், உங்கள் பயன்பாட்டில் செய்யும் மாற்றங்கள் சேமிப்பின் செயல்திறனை எவ்வாறு பாதிக்கின்றன என்பதை மதிப்பிடவும் இந்தக் காட்சிகள் உதவுகின்றன.
எதிர்பாராத தற்காலிகச் சேமிப்புப் பொருத்தத் தவறு ஏற்பட்டால், என்ன நடந்தது என்பதைப் புரிந்துகொள்ள ப்ராம்ப்ட் தற்காலிகச் சேமிப்புக் கண்டறிதல் கருவியைப்(புதிய சாளரத்தில் திறக்கும்) பயன்படுத்துங்கள். மீண்டும் பயன்படுத்துவதைத் தடுத்த மாடல், கருவிகள், அமைப்புகள் அல்லது உள்ளீட்டு மாற்றங்களைக் கண்டறிய, ஒரு கோரிக்கையை அண்மைய பதிலுடன் ஒப்பிடுங்கள். பாதிக்கப்பட்டிருக்கக்கூடிய டோக்கன்களின் மதிப்பிடப்பட்ட எண்ணிக்கை, தாக்கத்தின் அளவை மதிப்பிடவும், தற்காலிகச் சேமிப்புப் பொருத்த விகிதங்களை அதிகரிக்க உங்கள் ஒருங்கிணைப்பை எவ்வாறு மேம்படுத்தலாம் என்பதைத் தீர்மானிக்கவும் உதவுகிறது.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
எதைத் தற்காலிகமாகச் சேமிப்பது என்பதைத் தேர்ந்தெடுங்கள். எந்த ப்ராம்ப்ட் முன்னொட்டுகளை மீண்டும் பயன்படுத்த வேண்டும் என்பதை வெளிப்படையான தற்காலிகச் சேமிப்பு இடைநிறுத்தப் புள்ளிகள் மூலம் தேர்ந்தெடுக்கலாம். அவற்றை எவ்வாறு பயன்படுத்துவது, சேமிக்கப்பட்ட முன்னொட்டுகள் எவ்வளவு காலம் தகுதியுடன் இருக்கும், கருவிகள் மற்றும் உள்ளீடுகளில் செய்யப்படும் மாற்றங்கள் மறுபயன்பாட்டை எவ்வாறு பாதிக்கும் என்பவற்றைப் புதுப்பிக்கப்பட்ட ப்ராம்ப்ட் தற்காலிகச் சேமிப்பு வழிகாட்டி(புதிய சாளரத்தில் திறக்கும்) விளக்குகிறது.
தற்காலிகச் சேமிப்பைப் பாதிக்காமல் ரீஸனிங் முயற்சியைச் சரிசெய்யுங்கள். GPT‑6 மாடல்களில் தற்காலிகச் சேமிப்பைப் பாதிக்காமல், பதில்களுக்கு இடையே இப்போது ரீஸனிங் முயற்சியை மாற்றலாம்(புதிய சாளரத்தில் திறக்கும்). கோரிக்கை நிலையிலான ரீஸனிங் முயற்சியை மாற்றாமல் வைத்தபடி configuration_update என்பதைச் சேர்த்து, கடினமான பணிக்கு முயற்சியை அதிகரிக்கலாம் அல்லது வழக்கமான தொடர் கேள்விக்குக் குறைக்கலாம். மீண்டும் பயன்படுத்தக்கூடிய சூழலைப் பாதுகாத்தபடி, ஒரு பணிக்குத் தேவையான ரீஸனிங் அளவை இதன் மூலம் சரிசெய்யலாம்.
கருவிகளும் அறிவுறுத்தல்களும் மாறும்போது தற்காலிகச் சேமிப்பைப் பாதுகாத்திடுங்கள். உங்கள் ஏஜென்டின் கருவிப் பயன்பாட்டுத் தேவைகள் மாறும்போது, முந்தைய சூழலை மீண்டும் பயன்படுத்தும் வகையில் கருவி வரையறைகள், கட்டமைப்புகள் மற்றும் வரிசையை மாற்றாமல் வைத்திருங்கள். வரையறைகளை அகற்றுவதற்குப் பதிலாக, தொடர்புடைய கருவிகளை மட்டுமே அழைக்கக்கூடியவையாக மாற்ற allowed_tools என்பதைப் பயன்படுத்துங்கள் அல்லது கருவிகள் தேவையில்லாதபோது tool_choice என்பதை none என அமைக்கவும். பழைய அறிவுறுத்தல்களை மீறுவதற்கு, புதிய உருவாக்குநர் செய்திகளைப் பயன்படுத்தி சூழலின் இறுதியில் புதிய அறிவுறுத்தல்களைச் சேருங்கள். எங்களின் கருவி மாற்றங்களை நிர்வகிப்பதற்கான வழிகாட்டுதலைப்(புதிய சாளரத்தில் திறக்கும்) பார்க்கவும்.
தாமதத்தைக் குறைக்க தற்காலிகச் சேமிப்பை முன்கூட்டியே தயார்படுத்துங்கள். ஒரு கோரிக்கை வந்ததும் மாடல் விரைவாகப் பதிலளிக்கத் தொடங்கும் வகையில், அறியப்பட்ட சூழலை முன்கூட்டியே தயார்படுத்துதல்(புதிய சாளரத்தில் திறக்கும்) தயாராக வைத்திருக்கும். எடுத்துக்காட்டாக, பயனர் முதல் கேள்வியைக் கேட்பதற்கு முன், பயன்பாடு தொடங்கும்போதே பகிரப்பட்ட அறிவுறுத்தல்கள், கருவி வரையறைகள் அல்லது மேற்கோள் ஆவணங்களை முன்கூட்டியே தயார்படுத்தலாம். இதனால் பயனர் காத்திருக்கும் நேரத்திற்கு வெளியே செயலாக்கம் நடைபெறுகிறது.
இந்த விருப்பக் கட்டுப்பாடுகள் இயந்திரத்தின் இயல்புநிலைச் செயல்திறனை அடிப்படையாகக் கொண்டு, உங்கள் பணிச்சுமைக்கு ஏற்ப தற்காலிகச் சேமிப்பைத் தனிப்பயனாக்க உதவுகின்றன.
ப்ராம்ப்ட் தற்காலிகச் சேமிப்புக் கட்டுப்பாட்டுப் பலகையில்(புதிய சாளரத்தில் திறக்கும்) பொருத்த விகிதங்களைக் கண்காணியுங்கள்.
எதிர்பாராத பொருத்தத் தவறுகளை கண்டறிதல் கருவியைக்(புதிய சாளரத்தில் திறக்கும்) கொண்டு ஆய்வு செய்யுங்கள்.
உங்கள் அமைப்பை மேம்படுத்த ப்ராம்ப்ட் தற்காலிகச் சேமிப்பு வழிகாட்டியைப்(புதிய சாளரத்தில் திறக்கும்) பின்பற்றுங்கள் அல்லது உங்கள் நிரலை மதிப்பாய்வு செய்து, மேம்பாடுகளைச் செயல்படுத்தி, முடிவுகளை அளவிட Codex-ஐப் பயன்படுத்துங்கள்(புதிய சாளரத்தில் திறக்கும்).
