Betra kvaðningarskyndiminni fyrir GPT‑6
Meiri hittni skyndiminnis og ný verkfæri sem hjálpa varanlegum fulltrúum að vinna hraðar með minni kostnaði.
GPT‑6 gerir varanlegum fulltrúum kleift að vinna tímunum saman að flóknum verkefnum, allt frá endurskipulagningu kóðagrunna til gerðar vandaðra skjala og kynninga. Forritin að baki þessum fulltrúum senda röð API-beiðna sem byggja hver á annarri og flytja oft sömu leiðbeiningar, verkfæraskilgreiningar og samhengi áfram úr fyrri umferðum. OpenAI vistar þetta sameiginlega samhengi í skyndiminni til að endurnýta útreikninga milli beiðna, stytta svartíma og veita þróunaraðilum allt að 90% afslátt af vistuðum inntakstókum.
Með GPT‑6‑línaunni kynntum við endurbætt kvaðningarskyndiminni sem skilar sjálfkrafa meiri hittni. Nú veitum við afslátt af skyndiminni fyrir gjaldgeng sameiginleg forskeyti sem eru endurnýtt innan 30 mínútna. Við kynnum einnig ný verkfæri sem hjálpa þróunaraðilum að fylgjast með frammistöðu skyndiminnis, greina bresti og velja hve stóran hluta kvaðningar á að vista.
Nýja stjórnborð kvaðningarskyndiminnis(opnast í nýjum glugga) sýnir hve stór hluti inntaks forritsins þíns kemur úr skyndiminni. Fylgstu með hittni yfir tíma og notaðu samsetningarrit inntaks til að bera saman vistaða og óvistaða tóka. Þessi yfirlit auðvelda þér að koma auga á minnkandi hittni og meta áhrif breytinga á forritinu á frammistöðu skyndiminnis.
Þegar gögn finnast óvænt ekki í skyndiminni skaltu nota greiningarverkfæri kvaðningarskyndiminnis(opnast í nýjum glugga) til að átta þig á því hvað gerðist. Berðu beiðni saman við nýlegt svar til að finna breytingar á líkani, verkfærum, stillingum eða inntaki sem komu í veg fyrir endurnýtingu. Áætlaður fjöldi tóka sem verða fyrir áhrifum hjálpar þér að meta umfangið og ákveða hvernig best sé að fínstilla samþættinguna til að hámarka hittni skyndiminnis.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Veldu hvað á að vista í skyndiminni. Skýrir rofpunktar skyndiminnis gera þér kleift að velja hvaða forskeyti kvaðninga á að endurnýta. Uppfærði leiðarvísirinn um kvaðningarskyndiminni(opnast í nýjum glugga) útskýrir hvernig þau eru notuð, hve lengi vistuð forskeyti eru gjaldgeng og hvernig breytingar á verkfærum og inntaki hafa áhrif á endurnýtingu.
Breyttu umfangi raka án þess að rjúfa skyndiminnið. Í GPT‑6‑líkönum geturðu nú breytt umfangi raka(opnast í nýjum glugga) milli svara án þess að rjúfa skyndiminnið. Auktu umfangið fyrir erfiðara verkefni eða minnkaðu það fyrir einfalda eftirfylgni með því að bæta configuration_update við, án þess að breyta umfangi raka á beiðnistigi. Þannig geturðu stillt hve mikilla raka verkefni þarfnast og jafnframt varðveitt endurnýtanlegt samhengi.
Varðveittu skyndiminnið þegar verkfæri og leiðbeiningar breytast. Þegar þarfir fyrir verkfæranotkun fulltrúans breytast skaltu halda skilgreiningum, skemum og röð verkfæra stöðugum svo hægt sé að endurnýta fyrra samhengi. Notaðu allowed_tools svo aðeins sé hægt að kalla á viðeigandi verkfæri, eða stilltu tool_choice á none þegar engin verkfæri þarf, í stað þess að fjarlægja skilgreiningar. Notaðu ný forritaraskilaboð til að bæta nýjum leiðbeiningum aftast í samhengið og láta þær ganga framar eldri leiðbeiningum. Sjá leiðbeiningar okkar um umsýslu verkfærabreytinga(opnast í nýjum glugga).
Forhitaðu skyndiminnið til að draga úr töfum. Forhitun(opnast í nýjum glugga) vinnur þekkt samhengi fyrir fram svo líkanið geti byrjað að svara fyrr þegar beiðni berst. Til dæmis getur forrit forhitað sameiginlegar leiðbeiningar, verkfæraskilgreiningar eða tilvísunarefni við ræsingu, áður en notandinn spyr fyrstu spurningarinnar. Þannig fer vinnslan fram utan biðtíma notandans.
Þessar valfrjálsu stýringar byggja á sjálfgefinni frammistöðu kerfisins og hjálpa þér að laga skyndiminnið að vinnuálaginu.
Fylgstu með hittni skyndiminnis á stjórnborði kvaðningarskyndiminnis(opnast í nýjum glugga).
Rannsakaðu óvænta bresti með greiningarverkfærinu(opnast í nýjum glugga).
Fylgdu leiðarvísinum um kvaðningarskyndiminni(opnast í nýjum glugga) til að bæta uppsetninguna eða notaðu Codex(opnast í nýjum glugga) til að yfirfara kóðann, innleiða umbætur og mæla árangurinn.
