Labāka uzvedņu kešošana modelim GPT‑6
Augstāks kešatmiņas trāpījumu īpatsvars un jauni rīki, kas palīdz pastāvīgiem aģentiem strādāt ātrāk un lētāk.
GPT‑6 ļauj pastāvīgiem aģentiem stundām ilgi veikt sarežģītus uzdevumus — no kodu bāzu pārstrukturēšanas līdz rūpīgi izpētītu dokumentu un prezentāciju sagatavošanai. Šo aģentu pamatā esošās lietotnes veic virkni savstarpēji saistītu API pieprasījumu, bieži pārnesot no iepriekšējām sarunas kārtām tās pašas instrukcijas, rīku definīcijas un kontekstu. OpenAI kešo šo kopīgo kontekstu, lai aprēķinus varētu atkārtoti izmantot vairākos pieprasījumos. Tas saīsina atbildes laiku un nodrošina izstrādātājiem līdz pat 90% atlaidi kešotajām ievades tekstvienībām.
Līdz ar GPT‑6 saimi ieviesām uzlabotu uzvedņu kešošanas sistēmu, kas pēc noklusējuma nodrošina augstāku kešatmiņas trāpījumu īpatsvaru. Tagad kešatmiņas atlaides piešķiram piemērotiem kopīgajiem prefiksiem, kas atkārtoti izmantoti 30 minūšu periodā. Ieviešam arī jaunus rīkus, kas izstrādātājiem palīdz pārraudzīt kešatmiņas veiktspēju, diagnosticēt netrāpījumus un izvēlēties, cik lielu uzvednes daļu kešot.
Jaunajā uzvedņu kešošanas informācijas panelī(atveras jaunā logā) var redzēt, cik liela lietotnes ievades daļa tiek iegūta no kešatmiņas. Sekojiet trāpījumu īpatsvara izmaiņām laika gaitā un ievades sastāva diagrammā salīdziniet kešotās un nekešotās tekstvienības. Šie skati palīdz pamanīt kešatmiņas trāpījumu kritumu un novērtēt, kā lietotnes izmaiņas ietekmē kešošanas veiktspēju.
Ja noticis negaidīts kešatmiņas netrāpījums, izmantojiet uzvedņu kešošanas diagnostikas rīku(atveras jaunā logā), lai noskaidrotu cēloni. Salīdziniet pieprasījumu ar nesenu atbildi, lai noteiktu modeļa, rīku, iestatījumu vai ievades izmaiņas, kuru dēļ atkārtota izmantošana nebija iespējama. Aptuvenais ietekmēto tekstvienību skaits palīdz novērtēt ietekmes apmēru un izlemt, kā optimizēt integrāciju, lai maksimāli palielinātu kešatmiņas trāpījumu īpatsvaru.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Izvēlieties, ko kešot. Skaidri norādīti kešatmiņas robežpunkti ļauj izvēlēties, kurus uzvednes prefiksus izmantot atkārtoti. Atjauninātajā uzvedņu kešošanas rokasgrāmatā(atveras jaunā logā) paskaidrots, kā tos izmantot, cik ilgi kešotie prefiksi ir piemēroti atkārtotai izmantošanai un kā to ietekmē rīku un ievades izmaiņas.
Mainiet spriestspējas līmeni, nezaudējot kešatmiņu. GPT‑6 modeļos tagad varat mainīt spriestspējas līmeni(atveras jaunā logā) starp atbildēm, nezaudējot kešatmiņu. Sarežģītākam uzdevumam paaugstiniet līmeni, bet vienkāršam papildjautājumam to pazeminiet, pievienojot configuration_update un nemainot pieprasījuma līmeņa spriestspējas iestatījumu. Tādējādi varat pielāgot uzdevumam vajadzīgo spriestspējas apjomu, vienlaikus saglabājot atkārtoti izmantojamo kontekstu.
Saglabājiet kešatmiņu, mainoties rīkiem un instrukcijām. Mainoties aģenta vajadzībām izmantot rīkus, saglabājiet nemainīgas rīku definīcijas, shēmas un secību, lai iepriekšējo kontekstu joprojām varētu izmantot atkārtoti. Izmantojiet allowed_tools, lai varētu izsaukt tikai atbilstošos rīkus, vai, ja rīki nav vajadzīgi, iestatiet tool_choice vērtību none, nevis noņemiet definīcijas. Ar jauniem izstrādātāja ziņojumiem konteksta beigās pievienojiet jaunas instrukcijas, kas aizstāj iepriekšējās. Skatiet mūsu ieteikumus par rīku izmaiņu pārvaldību(atveras jaunā logā).
Iepriekš iesildiet kešatmiņu, lai samazinātu aizkavi. Iepriekšēja iesildīšana(atveras jaunā logā) laikus sagatavo zināmo kontekstu, lai pēc pieprasījuma saņemšanas modelis varētu ātrāk sākt atbildēt. Piemēram, lietotne palaišanas laikā var iepriekš iesildīt kopīgās instrukcijas, rīku definīcijas vai uzziņu materiālus, pirms lietotājs uzdod pirmo jautājumu. Tādējādi apstrāde nenotiek laikā, kad lietotājs gaida.
Šīs izvēles vadīklas papildina programmas pamatdarbību un palīdz pielāgot kešošanu konkrētajai darba slodzei.
Pārraugiet kešatmiņas trāpījumu īpatsvaru uzvedņu kešošanas informācijas panelī(atveras jaunā logā).
Izpētiet negaidītus netrāpījumus ar diagnostikas rīku(atveras jaunā logā).
Izpildiet uzvedņu kešošanas rokasgrāmatā(atveras jaunā logā) sniegtos norādījumus, lai uzlabotu konfigurāciju, vai izmantojiet Codex(atveras jaunā logā), lai pārskatītu kodu, ieviestu uzlabojumus un izmērītu rezultātus.
