GPT‑6 үшін жетілдірілген көмексөзді кэштеу
Кэш сәйкестігінің жоғары үлесі мен жаңа құралдар тұрақты агенттердің жылдамырақ әрі арзанырақ жұмыс істеуіне көмектеседі.
GPT‑6 тұрақты агенттерге код қорларын қайта құрылымдаудан бастап, жан-жақты зерттелген құжаттар мен презентациялар әзірлеуге дейінгі күрделі тапсырмаларды бірнеше сағат бойы орындауға мүмкіндік береді. Осы агенттердің артындағы қолданбалар бірінің нәтижесіне бірі сүйенетін API сұрауларын ретімен жібереді және көбіне алдыңғы қадамдардағы бірдей нұсқауларды, құрал анықтамалары мен контексті қолданады. OpenAI сұраулар арасында есептеулерді қайта пайдалану үшін осы ортақ контексті кэштейді. Бұл жауап беру уақытын қысқартып, әзірлеушілерге кэштелген кіріс токендеріне 90%-ға дейін жеңілдік береді.
GPT‑6 тобының модельдерімен бірге әдепкі бойынша кэш сәйкестігінің жоғары үлесін қамтамасыз ететін жетілдірілген көмексөзді кэштеу жүйесін іске қостық. Енді 30 минут ішінде қайта пайдаланылған талаптарға сай ортақ префикстерге кэш жеңілдігін береміз. Сондай-ақ әзірлеушілерге кэш өнімділігін бақылауға, сәйкессіздіктердің себебін анықтауға және көмексөздің қандай бөлігін кэштеу керегін таңдауға көмектесетін жаңа құралдарды ұсынамыз.
Жаңа Көмексөзді кэштеу тақтасы(жаңа терезеде ашылады) қолданба кірісінің қанша бөлігі кэштен берілетінін көрсетеді. Сәйкестік үлесінің уақыт бойынша өзгерісін бақылаңыз және кіріс құрамы диаграммасы арқылы кэштелген әрі кэштелмеген токендерді салыстырыңыз. Бұл көріністер кэш сәйкестігінің төмендеуін байқауға және қолданбадағы өзгерістердің кэштеу өнімділігіне әсерін бағалауға көмектеседі.
Кэште күтпеген сәйкессіздік байқалса, не болғанын түсіну үшін көмексөзді кэштеу диагностикасы құралын(жаңа терезеде ашылады) пайдаланыңыз. Қайта пайдалануға кедергі келтірген модель, құралдар, параметрлер немесе кіріс өзгерістерін анықтау үшін сұрауды жуырдағы жауаппен салыстырыңыз. Әсер еткен токендердің болжалды саны ықпал ауқымын бағалауға және кэш сәйкестігінің үлесін барынша арттыру үшін интеграцияны қалай оңтайландыру керегін шешуге көмектеседі.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Нені кэштеу керегін таңдаңыз. Кэштің нақты үзілу нүктелері көмексөздің қай префикстерін қайта пайдалану керегін таңдауға мүмкіндік береді. Жаңартылған көмексөзді кэштеу нұсқаулығында(жаңа терезеде ашылады) оларды пайдалану жолы, кэштелген префикстердің жарамдылық мерзімі және құралдар мен кірістердегі өзгерістердің қайта пайдалануға әсері түсіндіріледі.
Кэшті бұзбай, ой қорыту күшін реттеңіз. Енді GPT‑6 модельдерінде кэшті бұзбай, жауаптар арасында ой қорыту күшін өзгертуге(жаңа терезеде ашылады) болады. Сұрау деңгейіндегі ой қорыту күшін өзгертпей, configuration_update қосу арқылы күрделі тапсырма үшін оны арттырыңыз немесе әдеттегі қосымша сұрақ үшін азайтыңыз. Бұл қайта пайдаланылатын контексті сақтай отырып, тапсырмаға қажет ой қорыту көлемін реттеуге мүмкіндік береді.
Құралдар мен нұсқаулар өзгергенде кэшті сақтаңыз. Агенттің құралдарды пайдалану қажеттілігі өзгергенде, алдыңғы контекст қайта пайдаланылуы үшін құрал анықтамаларын, схемалары мен ретін тұрақты ұстаңыз. Анықтамаларды жоюдың орнына, тек тиісті құралдарды шақыруға рұқсат беру үшін allowed_tools пайдаланыңыз немесе құрал қажет болмаса, tool_choice мәнін none етіп орнатыңыз. Ескі нұсқауларды алмастыру үшін жаңа нұсқауларды контекстің соңына жаңа әзірлеуші хабарлары арқылы қосыңыз. Құрал өзгерістерін басқару жөніндегі нұсқаулығымызды(жаңа терезеде ашылады) қараңыз.
Кідірісті азайту үшін кэшті алдын ала қыздырыңыз. Алдын ала қыздыру(жаңа терезеде ашылады) белгілі контексті ертерек дайындайды, сондықтан сұрау келгенде модель жауап беруді тезірек бастайды. Мысалы, қолданба іске қосылған кезде, пайдаланушы алғашқы сұрағын қоймай тұрып, ортақ нұсқауларды, құрал анықтамаларын немесе анықтамалық материалдарды алдын ала қыздыра алады. Осылайша өңдеу жұмысы пайдаланушының күту уақытынан тыс орындалады.
Бұл қосымша басқару тетіктері қозғалтқыштың әдепкі өнімділігін толықтырып, кэштеуді жұмыс жүктемеңізге бейімдеуге көмектеседі.
Кэш сәйкестігінің үлесін Көмексөзді кэштеу тақтасынан(жаңа терезеде ашылады) бақылаңыз.
Күтпеген сәйкессіздіктерді диагностика құралының(жаңа терезеде ашылады) көмегімен зерттеңіз.
Баптауды жақсарту үшін көмексөзді кэштеу нұсқаулығын(жаңа терезеде ашылады) орындаңыз немесе кодты тексеріп, жақсартулар енгізіп, нәтижелерді өлшеу үшін Codex пайдаланыңыз(жаңа терезеде ашылады).
