Caching tal-prompt aħjar għal GPT‑6
Rati ogħla ta’ suċċess tal-cache u għodod ġodda biex aġenti persistenti jaħdmu aktar malajr u b’inqas spejjeż.
GPT‑6 jippermetti lil aġenti persistenti jaħdmu għal sigħat fuq kompiti kumplessi, mir-ristrutturar ta’ bażijiet tal-kodiċi sal-produzzjoni ta’ dokumenti u preżentazzjonijiet ibbażati fuq riċerka bir-reqqa. L-applikazzjonijiet wara dawn l-aġenti jagħmlu sensiela ta’ talbiet API li jibnu fuq xulxin, u spiss iġorru magħhom l-istess struzzjonijiet, definizzjonijiet tal-għodod u kuntest minn skambji preċedenti. OpenAI jaħżen dak il-kuntest komuni fil-cache biex il-komputazzjoni terġa’ tintuża bejn it-talbiet, inaqqas il-ħinijiet tar-rispons u jagħti lill-iżviluppaturi skontijiet sa 90% fuq tokens tal-input maħżuna fil-cache.
Mal-familja GPT‑6, nedejna sistema mtejba ta’ caching tal-prompt li awtomatikament tipprovdi rati ogħla ta’ suċċess tal-cache. Issa nagħtu skontijiet tal-cache għal prefissi komuni eliġibbli li jerġgħu jintużaw fi żmien 30 minuta. Qed inniedu wkoll għodod ġodda biex ngħinu lill-iżviluppaturi jimmonitorjaw il-prestazzjoni tal-cache, jiddijanjostikaw il-fallimenti u jagħżlu kemm mill-prompt jinħażen fil-cache.
Id-Dashboard tal-Caching tal-Prompt(jinfetaħ f’tieqa ġdida) il-ġdida turi kemm mill-input tal-applikazzjoni tiegħek jiġi pprovdut mill-cache. Segwi r-rati ta’ suċċess tul iż-żmien u uża ċ-ċart tal-kompożizzjoni tal-input biex tqabbel tokens fil-cache ma’ dawk mhux fil-cache. Dawn il-veduti jgħinuk tinduna bi tnaqqis fis-suċċessi tal-cache u tevalwa kif il-bidliet fl-applikazzjoni tiegħek jaffettwaw il-prestazzjoni tal-caching.
Meta tara falliment mhux mistenni tal-cache, uża l-għodda dijanjostika tal-caching tal-prompt(jinfetaħ f’tieqa ġdida) biex tifhem x’ġara. Qabbel talba ma’ tweġiba reċenti biex tidentifika bidliet fil-mudell, fl-għodod, fis-settings jew fl-input li żammewhom milli jerġgħu jintużaw. L-għadd stmat ta’ tokens affettwati jgħinek tivvaluta l-kobor tal-impatt u tiddeċiedi kif tista’ tottimizza l-integrazzjoni tiegħek biex timmassimizza r-rati ta’ suċċess tal-cache.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Agħżel x’taħżen fil-cache. Il-punti ta’ waqfien espliċiti tal-cache jippermettulek tagħżel liema prefissi tal-prompt jerġgħu jintużaw. Il-gwida tal-caching tal-prompt(jinfetaħ f’tieqa ġdida) aġġornata tispjega kif tużahom, għal kemm żmien il-prefissi fil-cache jibqgħu eliġibbli u kif il-bidliet fl-għodod u fl-inputs jaffettwaw l-użu mill-ġdid.
Aġġusta l-isforz tar-raġunament mingħajr ma tħassar il-cache. Fuq il-mudelli GPT‑6, issa tista’ tbiddel l-isforz tar-raġunament(jinfetaħ f’tieqa ġdida) bejn tweġiba u oħra mingħajr ma tħassar il-cache. Żid l-isforz għal kompitu aktar diffiċli jew naqqsu għal segwitu ta’ rutina billi tehmeż configuration_update, filwaqt li tħalli l-isforz tar-raġunament fil-livell tat-talba l-istess. Dan jippermettilek taġġusta kemm raġunament jeħtieġ kompitu filwaqt li tippreserva l-kuntest li jista’ jerġa’ jintuża.
Ippreserva l-cache hekk kif jinbidlu l-għodod u l-istruzzjonijiet. Hekk kif jinbidlu l-ħtiġijiet tal-aġent tiegħek fl-użu tal-għodod, żomm stabbli d-definizzjonijiet, l-iskemi u l-ordni tal-għodod biex il-kuntest preċedenti jibqa’ jista’ jerġa’ jintuża. Uża allowed_tools biex l-għodod rilevanti biss ikunu jistgħu jissejħu, jew issettja tool_choice għal none meta ma jkun hemm bżonn l-ebda għodda, minflok tneħħi d-definizzjonijiet. Uża messaġġi ġodda tal-iżviluppatur biex tehmeż struzzjonijiet ġodda lejn l-aħħar tal-kuntest u tieħu post dawk eqdem. Ara l-gwida tagħna dwar il-ġestjoni tal-bidliet fl-għodod(jinfetaħ f’tieqa ġdida).
Saħħan il-cache minn qabel biex tnaqqas il-latenza. It-tisħin minn qabel(jinfetaħ f’tieqa ġdida) iħejji kuntest magħruf minn qabel biex il-mudell ikun jista’ jibda jwieġeb aktar malajr meta tasal talba. Pereżempju, applikazzjoni tista’ ssaħħan minn qabel struzzjonijiet komuni, definizzjonijiet tal-għodod jew materjal ta’ referenza waqt l-istartjar, qabel ma l-utent jagħmel l-ewwel mistoqsija. B’hekk, l-ipproċessar isir barra mill-ħin ta’ stennija tal-utent.
Dawn il-kontrolli fakultattivi jibnu fuq il-prestazzjoni awtomatika tal-magna u jgħinuk tadatta l-caching għall-volum ta’ xogħol tiegħek.
Immonitorja r-rati ta’ suċċess tal-cache fid-Dashboard tal-Caching tal-Prompt(jinfetaħ f’tieqa ġdida).
Investiga fallimenti mhux mistennija bl-għodda dijanjostika(jinfetaħ f’tieqa ġdida).
Segwi l-gwida tal-caching tal-prompt(jinfetaħ f’tieqa ġdida) biex ittejjeb il-konfigurazzjoni tiegħek, jew uża Codex(jinfetaħ f’tieqa ġdida) biex tirrieżamina l-kodiċi tiegħek, tapplika titjib u tkejjel ir-riżultati.
