Հարցումների բարելավված քեշավորում GPT‑6‑ի համար
Քեշի համընկնման ավելի բարձր ցուցանիշներ և նոր գործիքներ, որոնք օգնում են մշտագործ ագենտներին աշխատել ավելի արագ ու փոքր ծախսով։
GPT‑6‑ը թույլ է տալիս մշտագործ ագենտներին ժամեր շարունակ կատարել բարդ առաջադրանքներ՝ կոդային բազաների վերակազմավորումից մինչև մանրակրկիտ ուսումնասիրված փաստաթղթերի ու ներկայացումների պատրաստում։ Այս ագենտների հիմքում գործող հավելվածները կատարում են միմյանց շարունակող API հարցումների շարք՝ հաճախ փոխանցելով նախորդ քայլերի նույն հրահանգները, գործիքների սահմանումներն ու համատեքստը։ OpenAI-ն քեշավորում է այդ ընդհանուր համատեքստը՝ հարցումների միջև հաշվարկները կրկին օգտագործելու համար, ինչն արագացնում է պատասխանները և ծրագրավորողներին մինչև 90% զեղչ տալիս քեշավորված մուտքային թոքենների համար։
GPT‑6 ընտանիքի հետ գործարկեցինք հարցումների քեշավորման բարելավված համակարգ, որը լռելյայն ապահովում է քեշի համընկնման ավելի բարձր ցուցանիշներ։ Այժմ քեշավորման զեղչեր ենք տրամադրում համապատասխան ընդհանուր նախածանցների համար, որոնք կրկին օգտագործվում են 30 րոպեի ընթացքում։ Ներկայացնում ենք նաև նոր գործիքներ, որոնք ծրագրավորողներին օգնում են վերահսկել քեշի աշխատանքը, ախտորոշել բացթողումները և ընտրել, թե հարցման որ մասը քեշավորել։
Նոր Հարցումների քեշավորման կառավարման վահանակը(բացվում է նոր պատուհանում) ցույց է տալիս, թե ձեր հավելվածի մուտքային տվյալների որ մասն է սպասարկվում քեշից։ Հետևեք համընկնման ցուցանիշներին ժամանակի ընթացքում և մուտքային տվյալների կազմի գծապատկերով համեմատեք քեշավորված ու չքեշավորված թոքենները։ Այս դիտումները կօգնեն նկատել քեշի համընկնումների նվազումը և գնահատել, թե հավելվածում կատարված փոփոխություններն ինչպես են ազդում քեշավորման արդյունավետության վրա։
Քեշի անսպասելի բացթողում նկատելիս օգտվեք հարցումների քեշավորման ախտորոշիչ գործիքից(բացվում է նոր պատուհանում)՝ կատարվածի պատճառը հասկանալու համար։ Համեմատեք հարցումը վերջին պատասխաններից մեկի հետ՝ պարզելու մոդելի, գործիքների, կարգավորումների կամ մուտքային տվյալների այն փոփոխությունները, որոնք խոչընդոտել են կրկնակի օգտագործմանը։ Ազդակիր թոքենների գնահատված քանակն օգնում է չափել ազդեցությունը և որոշել, թե ինչպես օպտիմալացնել ինտեգրումը՝ քեշի համընկնման ցուցանիշը առավելագույնի հասցնելու համար։
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Ընտրեք՝ ինչ քեշավորել։ Քեշի հստակ բաժանարարները թույլ են տալիս ընտրել հարցման այն նախածանցները, որոնք պետք է կրկին օգտագործվեն։ Թարմացված հարցումների քեշավորման ուղեցույցը(բացվում է նոր պատուհանում) բացատրում է դրանց կիրառումը, քեշավորված նախածանցների վավերականության տևողությունը և գործիքների ու մուտքային տվյալների փոփոխությունների ազդեցությունը կրկնակի օգտագործման վրա։
Կարգավորեք դատողության ծավալը՝ առանց քեշը խափանելու։ GPT‑6 մոդելներում այժմ կարող եք պատասխանների միջև փոխել դատողության ծավալը(բացվում է նոր պատուհանում)՝ առանց քեշը խափանելու։ Դժվար առաջադրանքի համար մեծացրեք ծավալը, իսկ սովորական հաջորդ հարցի համար՝ նվազեցրեք՝ վերջում ավելացնելով configuration_update և անփոփոխ թողնելով հարցման մակարդակի դատողության ծավալը։ Այսպես կարող եք կարգավորել առաջադրանքի համար անհրաժեշտ դատողության ծավալը՝ պահպանելով կրկնակի օգտագործելի համատեքստը։
Պահպանեք քեշը գործիքների և հրահանգների փոփոխման դեպքում։ Երբ փոխվում են ձեր ագենտի գործիքների օգտագործման կարիքները, անփոփոխ պահեք գործիքների սահմանումները, սխեմաներն ու հերթականությունը, որպեսզի նախորդ համատեքստը մնա կրկնակի օգտագործելի։ Սահմանումները հեռացնելու փոխարեն օգտագործեք allowed_tools, որպեսզի հնարավոր լինի կանչել միայն համապատասխան գործիքները, կամ tool_choice-ը սահմանեք none, երբ գործիքներ պետք չեն։ Օգտագործեք ծրագրավորողի նոր հաղորդագրություններ՝ համատեքստի վերջում նոր հրահանգներ ավելացնելու և հները փոխարինելու համար։ Տե՛ս գործիքների փոփոխությունները կառավարելու մեր ուղեցույցը(բացվում է նոր պատուհանում)։
Նախապես տաքացրեք քեշը՝ ուշացումը նվազեցնելու համար։ Նախնական տաքացումը(բացվում է նոր պատուհանում) նախապես պատրաստում է հայտնի համատեքստը, որպեսզի հարցումն ստանալիս մոդելն ավելի շուտ սկսի պատասխանել։ Օրինակ՝ հավելվածը գործարկման ընթացքում՝ մինչև օգտատիրոջ առաջին հարցը, կարող է նախապես տաքացնել ընդհանուր հրահանգները, գործիքների սահմանումները կամ տեղեկատու նյութերը։ Այսպես մշակումն այլևս չի կատարվում օգտատիրոջ սպասման ընթացքում։
Այս ընտրովի կառավարումները լրացնում են շարժիչի լռելյայն արդյունավետությունը՝ օգնելով քեշավորումը հարմարեցնել ձեր ծանրաբեռնվածությանը։
Հետևեք քեշի համընկնման ցուցանիշներին Հարցումների քեշավորման կառավարման վահանակում(բացվում է նոր պատուհանում)։
Ուսումնասիրեք անսպասելի բացթողումները ախտորոշիչ գործիքով(բացվում է նոր պատուհանում)։
Կարգավորումը բարելավելու համար հետևեք հարցումների քեշավորման ուղեցույցին(բացվում է նոր պատուհանում) կամ օգտագործեք Codex-ը(բացվում է նոր պատուհանում)՝ ձեր կոդը վերանայելու, բարելավումներ կիրառելու և արդյունքները չափելու համար։
