Հարցումների բարելավված քեշավորում GPT‑6‑ի համար
Քեշի օգտագործման ավելի բարձր ցուցանիշներ և նոր գործիքներ, որոնք օգնում են երկարատև աշխատանք կատարող ագենտներին աշխատել ավելի արագ ու քիչ ծախսով։
GPT‑6‑ը երկարատև աշխատանք կատարող ագենտներին հնարավորություն է տալիս ժամեր շարունակ կատարել բարդ առաջադրանքներ՝ կոդային բազաների վերակազմավորումից մինչև մանրակրկիտ ուսումնասիրված փաստաթղթերի ու ներկայացումների պատրաստում։ Այս ագենտների հիմքում գործող հավելվածները կատարում են միմյանց շարունակող API հարցումների շարք՝ հաճախ փոխանցելով նախորդ քայլերի նույն հրահանգները, գործիքների սահմանումներն ու համատեքստը։ OpenAI-ն քեշավորում է այդ ընդհանուր համատեքստը՝ հարցումների միջև հաշվարկները վերօգտագործելու համար, ինչն արագացնում է պատասխանները և ծրագրավորողներին մինչև 90% զեղչ տալիս քեշավորված մուտքային թոքենների համար։
GPT‑6 ընտանիքի հետ գործարկեցինք հարցումների քեշավորման բարելավված համակարգ, որը ըստ կանխադրման ապահովում է քեշի օգտագործման ավելի բարձր ցուցանիշներ։ Այժմ քեշավորման զեղչեր ենք տրամադրում համապատասխան ընդհանուր նախածանցների համար, որոնք վերօգտագործվում են 30 րոպեի ընթացքում։ Ներկայացնում ենք նաև նոր գործիքներ, որոնք ծրագրավորողներին օգնում են վերահսկել քեշի աշխատանքը, ախտորոշել քեշի վրիպումները և ընտրել, թե հարցման որ մասը քեշավորել։
Նոր Հարցումների քեշավորման կառավարման վահանակը(բացվում է նոր պատուհանում) ցույց է տալիս, թե ձեր հավելվածի մուտքային տվյալների որ մասն է տրամադրվում քեշից։ Հետևեք համընկնման ցուցանիշներին ժամանակի ընթացքում և մուտքային տվյալների կազմի գծապատկերով համեմատեք քեշավորված ու չքեշավորված թոքենները։ Այս դիտումները կօգնեն նկատել քեշի համընկնումների նվազումը և գնահատել, թե հավելվածում կատարված փոփոխություններն ինչպես են ազդում քեշավորման արդյունավետության վրա։
Քեշի անսպասելի վրիպում նկատելիս օգտվեք հարցումների քեշավորման ախտորոշիչ գործիքից(բացվում է նոր պատուհանում)՝ կատարվածի պատճառը հասկանալու համար։ Համեմատեք հարցումը վերջին պատասխաններից մեկի հետ՝ պարզելու մոդելի, գործիքների, կարգավորումների կամ մուտքային տվյալների այն փոփոխությունները, որոնք կանխել են վերօգտագործումը։ Ազդակիր թոքենների գնահատված քանակն օգնում է չափել ազդեցության չափը և որոշել, թե ինչպես օպտիմալացնել ինտեգրումը՝ քեշի օգտագործման ցուցանիշն առավելագույնի հասցնելու համար։
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Ընտրեք՝ ինչ քեշավորել։ Քեշի հստակ բաժանարարները թույլ են տալիս ընտրել թե հարցման որ նախածանցները վերօգտագործել։ Թարմացված հարցումների քեշավորման ուղեցույցը(բացվում է նոր պատուհանում) բացատրում է դրանց կիրառումը, քեշավորված նախածանցների վավերականության տևողությունը և գործիքների ու մուտքային տվյալների փոփոխությունների ազդեցությունը կրկնակի օգտագործման վրա։
Կարգավորեք դատողության ծավալը՝ առանց քեշը խափանելու։ GPT‑6 մոդելներում այժմ կարող եք պատասխանների միջև փոխել դատողության ծավալը(բացվում է նոր պատուհանում)՝ առանց քեշը խափանելու։ Դժվար առաջադրանքի համար մեծացրեք ծավալը, իսկ սովորական հաջորդ հարցի համար՝ նվազեցրեք՝ վերջում ավելացնելով configuration_update և անփոփոխ թողնելով հարցման մակարդակի դատողության ծավալը։ Այսպես կարող եք կարգավորել առաջադրանքի համար անհրաժեշտ դատողության ծավալը՝ պահպանելով վերօգտագործելի համատեքստը։
Պահպանեք քեշը գործիքների և հրահանգների փոփոխման դեպքում։ Երբ փոխվում են ձեր ագենտի գործիքների օգտագործման կարիքները, անփոփոխ պահեք գործիքների սահմանումները, սխեմաներն ու հերթականությունը, որպեսզի նախորդ համատեքստը հնարավոր լինի վերօգտագործել։ Սահմանումները հեռացնելու փոխարեն օգտագործեք allowed_tools, որպեսզի հնարավոր լինի կանչել միայն համապատասխան գործիքները, կամ tool_choice-ը սահմանեք none, երբ գործիքներ պետք չեն։ Օգտագործեք ծրագրավորողի նոր հաղորդագրություններ՝ համատեքստի վերջում նոր հրահանգներ ավելացնելու և հները փոխարինելու համար։ Տե՛ս գործիքների փոփոխությունները կառավարելու մեր ուղեցույցը(բացվում է նոր պատուհանում)։
Նախապես տաքացրեք քեշը՝ ուշացումը նվազեցնելու համար։ Քեշի նախնական պատրաստումը(բացվում է նոր պատուհանում) նախապես պատրաստում է հայտնի համատեքստը, որպեսզի հարցումն ստանալիս մոդելն ավելի շուտ սկսի պատասխանել։ Օրինակ՝ հավելվածը գործարկման ընթացքում՝ նախքան օգտատիրոջ առաջին հարցը, կարող է նախապես պատրաստել ընդհանուր հրահանգները, գործիքների սահմանումները կամ տեղեկատու նյութերը։ Այդպիսով անհրաժեշտ մշակումն այլևս չի կատարվում օգտատիրոջ սպասելու ընթացքում։
Այս ընտրովի կառավարման միջոցները լրացնում են համակարգի կարգադրված հնարավորությունները՝ օգնելով քեշավորումը հարմարեցնել ձեր ծանրաբեռնվածությանը։
Հետևեք քեշի օգտագործման ցուցանիշներին Հարցումների քեշավորման կառավարման վահանակում(բացվում է նոր պատուհանում)։
Ուսումնասիրեք անսպասելի վրիպումները ախտորոշիչ գործիքով(բացվում է նոր պատուհանում)։
Կարգավորումը բարելավելու համար հետևեք հարցումների քեշավորման ուղեցույցին(բացվում է նոր պատուհանում) կամ օգտագործեք Codex-ը(բացվում է նոր պատուհանում)՝ ձեր կոդը վերանայելու, բարելավումներ կիրառելու և արդյունքները չափելու համար։
