GPT‑6 కోసం మెరుగైన ప్రాంప్ట్ క్యాషింగ్
నిరంతర ఏజెంట్లు వేగంగా, తక్కువ ఖర్చుతో పనిచేయడానికి అధిక క్యాష్ హిట్ రేట్లు, కొత్త సాధనాలు.
కోడ్బేస్లను పునర్వ్యవస్థీకరించడం నుంచి సమగ్ర పరిశోధనతో పత్రాలు, ప్రెజెంటేషన్లు రూపొందించడం వరకు, క్లిష్టమైన పనులపై నిరంతర ఏజెంట్లు గంటల తరబడి పనిచేసేలా GPT‑6 వీలు కల్పిస్తుంది. ఈ ఏజెంట్ల వెనుక ఉన్న అప్లికేషన్లు ఒకదానిపై మరొకటి ఆధారపడే వరుస API అభ్యర్థనలు చేస్తాయి. తరచూ మునుపటి దశల్లోని అవే సూచనలు, సాధన నిర్వచనాలు, సందర్భాన్ని ముందుకు తీసుకెళ్తాయి. అభ్యర్థనల మధ్య గణనను మళ్లీ ఉపయోగించేందుకు OpenAI ఆ భాగస్వామ్య సందర్భాన్ని క్యాష్ చేస్తుంది. దీనివల్ల ప్రతిస్పందన సమయం తగ్గడంతో పాటు, క్యాష్ చేసిన ఇన్పుట్ టోకెన్లపై డెవలపర్లకు 90% వరకు రాయితీ లభిస్తుంది.
GPT‑6 కుటుంబంతో పాటు, డిఫాల్ట్గానే అధిక క్యాష్ హిట్ రేట్లను అందించే మెరుగైన ప్రాంప్ట్ క్యాషింగ్ వ్యవస్థను ప్రారంభించాం. ఇప్పుడు 30 నిమిషాల వ్యవధిలో మళ్లీ ఉపయోగించే అర్హతగల భాగస్వామ్య ప్రీఫిక్స్లకు క్యాష్ రాయితీలు అందిస్తున్నాం. క్యాష్ పనితీరును పర్యవేక్షించడానికి, మిస్లను నిర్ధారించడానికి, ప్రాంప్ట్లో ఎంత భాగాన్ని క్యాష్ చేయాలో ఎంచుకోవడానికి డెవలపర్లకు సహాయపడే కొత్త సాధనాలను కూడా ప్రవేశపెడుతున్నాం.
కొత్త ప్రాంప్ట్ క్యాషింగ్ డ్యాష్బోర్డ్(కొత్త విండోలో తెరుచుకుంటుంది) మీ అప్లికేషన్ ఇన్పుట్లో ఎంత భాగం క్యాష్ నుంచి అందుతుందో చూపిస్తుంది. కాలక్రమంలో హిట్ రేట్లను గమనించండి. క్యాష్ చేసిన, చేయని టోకెన్లను పోల్చడానికి ఇన్పుట్ కూర్పు చార్ట్ను ఉపయోగించండి. క్యాష్ హిట్లలో తగ్గుదలను గుర్తించడానికి, మీ అప్లికేషన్లోని మార్పులు క్యాషింగ్ పనితీరుపై చూపే ప్రభావాన్ని అంచనా వేయడానికి ఈ వీక్షణలు సహాయపడతాయి.
అనూహ్య క్యాష్ మిస్ కనిపించినప్పుడు, ఏం జరిగిందో తెలుసుకోవడానికి ప్రాంప్ట్ క్యాషింగ్ డయాగ్నస్టిక్స్ సాధనాన్ని(కొత్త విండోలో తెరుచుకుంటుంది) ఉపయోగించండి. పునర్వినియోగాన్ని అడ్డుకున్న మోడల్, సాధనాలు, సెట్టింగ్లు లేదా ఇన్పుట్ మార్పులను గుర్తించడానికి ఒక అభ్యర్థనను ఇటీవలి ప్రతిస్పందనతో పోల్చండి. ప్రభావితమైన టోకెన్ల అంచనా సంఖ్య ద్వారా ప్రభావ తీవ్రతను మదింపు చేసి, క్యాష్ హిట్ రేట్లను గరిష్ఠం చేయడానికి మీ అనుసంధానాన్ని ఎలా మెరుగుపరచాలో నిర్ణయించవచ్చు.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
ఏమి క్యాష్ చేయాలో ఎంచుకోండి. ఏ ప్రాంప్ట్ ప్రీఫిక్స్లను మళ్లీ ఉపయోగించాలో ఎంచుకునేందుకు స్పష్టమైన క్యాష్ బ్రేక్పాయింట్లు వీలు కల్పిస్తాయి. వాటిని ఎలా ఉపయోగించాలి, క్యాష్ చేసిన ప్రీఫిక్స్లు ఎంతకాలం అర్హత కలిగి ఉంటాయి, సాధనాలు, ఇన్పుట్ల మార్పులు పునర్వినియోగాన్ని ఎలా ప్రభావితం చేస్తాయనే విషయాలను నవీకరించిన ప్రాంప్ట్ క్యాషింగ్ మార్గదర్శిని(కొత్త విండోలో తెరుచుకుంటుంది) వివరిస్తుంది.
క్యాష్ను దెబ్బతీయకుండా రీజనింగ్ శ్రమను సర్దుబాటు చేయండి. GPT‑6 మోడళ్లలో, క్యాష్ను దెబ్బతీయకుండానే ప్రతిస్పందనల మధ్య రీజనింగ్ శ్రమను మార్చవచ్చు(కొత్త విండోలో తెరుచుకుంటుంది). అభ్యర్థన స్థాయి రీజనింగ్ శ్రమను మార్చకుండా, configuration_updateను చివర జోడించడం ద్వారా క్లిష్టమైన పనికి శ్రమను పెంచండి లేదా సాధారణ తదుపరి పనికి తగ్గించండి. దీంతో పునర్వినియోగ సందర్భాన్ని కాపాడుతూనే, ఒక పనికి అవసరమైన రీజనింగ్ పరిమాణాన్ని సర్దుబాటు చేయవచ్చు.
సాధనాలు, సూచనలు మారుతున్నా క్యాష్ను కాపాడండి. మీ ఏజెంట్ సాధన వినియోగ అవసరాలు మారుతున్నప్పుడు, మునుపటి సందర్భం పునర్వినియోగానికి అనువుగా ఉండేందుకు సాధన నిర్వచనాలు, స్కీమాలు, క్రమాన్ని స్థిరంగా ఉంచండి. నిర్వచనాలను తొలగించడానికి బదులుగా, సంబంధిత సాధనాలను మాత్రమే పిలిచేందుకు allowed_toolsను ఉపయోగించండి లేదా సాధనాలు అవసరం లేనప్పుడు tool_choiceను noneగా సెట్ చేయండి. పాత సూచనలను అధిగమించేందుకు, సందర్భం చివర కొత్త సూచనలను జోడించేలా కొత్త డెవలపర్ సందేశాలను ఉపయోగించండి. మా సాధన మార్పుల నిర్వహణ మార్గదర్శకాన్ని(కొత్త విండోలో తెరుచుకుంటుంది) చూడండి.
ఆలస్యాన్ని తగ్గించడానికి క్యాష్ను ముందుగానే సిద్ధం చేయండి. అభ్యర్థన వచ్చినప్పుడు మోడల్ త్వరగా ప్రతిస్పందించడం ప్రారంభించేందుకు, ముందస్తు సిద్ధీకరణ(కొత్త విండోలో తెరుచుకుంటుంది) ద్వారా తెలిసిన సందర్భాన్ని ముందుగానే సిద్ధం చేయవచ్చు. ఉదాహరణకు, వినియోగదారు మొదటి ప్రశ్న అడగకముందే, అప్లికేషన్ ప్రారంభమయ్యే సమయంలో భాగస్వామ్య సూచనలు, సాధన నిర్వచనాలు లేదా సూచన సమాచారాన్ని ముందుగానే సిద్ధం చేయవచ్చు. దీంతో ప్రాసెసింగ్ కోసం వినియోగదారు వేచి ఉండాల్సిన అవసరం ఉండదు.
ఈ ఐచ్ఛిక నియంత్రణలు వ్యవస్థ డిఫాల్ట్ పనితీరుకు తోడై, మీ పనిభారానికి అనుగుణంగా క్యాషింగ్ను సర్దుబాటు చేసుకోవడంలో సహాయపడతాయి.
ప్రాంప్ట్ క్యాషింగ్ డ్యాష్బోర్డ్లో(కొత్త విండోలో తెరుచుకుంటుంది) క్యాష్ హిట్ రేట్లను పర్యవేక్షించండి.
డయాగ్నస్టిక్స్ సాధనంతో(కొత్త విండోలో తెరుచుకుంటుంది) అనూహ్య మిస్లను పరిశోధించండి.
మీ సెటప్ను మెరుగుపరచడానికి ప్రాంప్ట్ క్యాషింగ్ మార్గదర్శినిని(కొత్త విండోలో తెరుచుకుంటుంది) అనుసరించండి లేదా మీ కోడ్ను సమీక్షించి, మెరుగుదలలు అమలు చేసి, ఫలితాలను కొలవడానికి Codexను ఉపయోగించండి(కొత్త విండోలో తెరుచుకుంటుంది).
