Ruajtje më e mirë e promptit në memorien specifike për GPT‑6
Norma më të larta gjetjesh në memorien specifike dhe mjete të reja që i ndihmojnë agjentët e vazhdueshëm të punojnë më shpejt dhe me kosto më të ulët.
GPT‑6 u mundëson agjentëve të vazhdueshëm të punojnë për orë të tëra në detyra komplekse, nga ristrukturimi i bazave të kodit deri te krijimi i dokumenteve dhe prezantimeve të hulumtuara mirë. Aplikacionet që qëndrojnë pas këtyre agjentëve bëjnë një seri kërkesash API që bazohen te njëra-tjetra, duke bartur shpesh të njëjtat udhëzime, përkufizime mjetesh dhe kontekst nga ndërveprimet e mëparshme. OpenAI e ruan këtë kontekst të përbashkët në memorien specifike për të ripërdorur përllogaritjet në disa kërkesa, duke shkurtuar kohën e përgjigjes dhe duke u ofruar zhvilluesve ulje deri në 90% për tokenët hyrës të ruajtur.
Me familjen GPT‑6, prezantuam një sistem të përmirësuar për ruajtjen e promptit në memorien specifike, i cili ofron automatikisht norma më të larta gjetjesh. Tani ofrojmë ulje për prefikset e përbashkëta të kualifikueshme që ripërdoren brenda një intervali prej 30 minutash. Po prezantojmë gjithashtu mjete të reja që i ndihmojnë zhvilluesit të monitorojnë performancën e memories specifike, të diagnostikojnë rastet e mosgjetjes së përmbajtjes në të dhe të zgjedhin se ç’pjesë të një kërkese të ruajnë.
Paneli i ri i ruajtjes së promptit në memorien specifike(hapet në një dritare të re) tregon se sa pjesë e hyrjes së aplikacionit tënd merret nga memoria specifike. Ndiq normat e gjetjeve me kalimin e kohës dhe përdor grafikun e përbërjes së hyrjes për të krahasuar tokenët e ruajtur me ata të paruajtur. Këto pamje të ndihmojnë të dallosh rëniet e gjetjeve në memorien specifike dhe të vlerësosh se si ndryshimet në aplikacion ndikojnë në performancën e saj.
Kur përmbajtja papritur nuk gjendet në memorien specifike, përdor mjetin e diagnostikimit për ruajtjen e promptit në memorien specifike(hapet në një dritare të re) për të kuptuar çfarë ndodhi. Krahaso një kërkesë me një përgjigje të fundit për të identifikuar ndryshimet në model, mjete, cilësime ose hyrje që penguan ripërdorimin. Numri i përllogaritur i tokenëve të prekur të ndihmon të vlerësosh përmasën e ndikimit dhe të vendosësh si ta optimizosh integrimin për të maksimizuar normat e gjetjeve në memorien specifike.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Zgjidh çfarë të ruash në memorien specifike. Pikat eksplicite të ndërprerjes të lejojnë të zgjedhësh se cilat prefikse të kërkesës të ripërdorësh. Udhëzuesi i përditësuar për ruajtjen e promptit në memorien specifike(hapet në një dritare të re) shpjegon si t’i përdorësh, për sa kohë mbeten të kualifikueshme prefikset e ruajtura dhe si ndikojnë ndryshimet e mjeteve dhe hyrjeve te ripërdorimi.
Rregullo intensitetin e arsyetimit pa penguar ripërdorimin e përmbajtjes së memories specifike. Në modelet GPT‑6, tani mund ta ndryshosh intensitetin e arsyetimit(hapet në një dritare të re) ndërmjet përgjigjeve pa penguar ripërdorimin e përmbajtjes së memories specifike. Rrite intensitetin për një detyrë më të vështirë ose ule për një vazhdim rutinë, duke shtuar një configuration_update dhe duke e lënë të pandryshuar intensitetin e arsyetimit në nivel kërkese. Kjo të lejon të përshtatësh sasinë e arsyetimit që kërkon një detyrë, duke ruajtur kontekstin e ripërdorshëm.
Ruaje memorien specifike kur ndryshojnë mjetet dhe udhëzimet. Teksa ndryshojnë nevojat e agjentit tënd për përdorimin e mjeteve, mbaji të qëndrueshme përkufizimet, skemat dhe renditjen e mjeteve, në mënyrë që konteksti i mëparshëm të mbetet i ripërdorshëm. Përdor allowed_tools që të mund të thirren vetëm mjetet përkatëse ose vendose tool_choice në none kur nuk nevojiten mjete, në vend që të heqësh përkufizimet. Përdor mesazhe të reja zhvilluesi për të shtuar udhëzime të reja në fund të kontekstit, që të mbishkruajnë udhëzimet e vjetra. Shih udhëzimet tona për menaxhimin e ndryshimeve të mjeteve(hapet në një dritare të re).
Parangroheni memorien specifike për të ulur vonesën. Parangrohja(hapet në një dritare të re) e përgatit paraprakisht kontekstin e njohur, që modeli të fillojë të përgjigjet më shpejt kur mbërrin një kërkesë. Për shembull, gjatë nisjes një aplikacion mund të parangrohë udhëzimet e përbashkëta, përkufizimet e mjeteve ose materialet e referencës, përpara se përdoruesi të bëjë pyetjen e parë. Kështu, përpunimi kryhet jashtë kohës së pritjes së përdoruesit.
Këto kontrolle opsionale bazohen në performancën e parazgjedhur të motorit dhe të ndihmojnë ta përshtatësh ruajtjen në memorien specifike me ngarkesën tënde të punës.
Monitoro normat e gjetjeve në Panelin e ruajtjes së promptit në memorien specifike(hapet në një dritare të re).
Heto mungesat e papritura me mjetin e diagnostikimit(hapet në një dritare të re).
Ndiq udhëzuesin për ruajtjen e promptit në memorien specifike(hapet në një dritare të re) për të përmirësuar konfigurimin ose përdor Codex(hapet në një dritare të re) për të shqyrtuar kodin, zbatuar përmirësime dhe matur rezultatet.
