Bolje predmemoriranje upita za GPT‑6
Više stope pogodaka predmemorije i novi alati pomažu trajnim agentima da rade brže i uz niže troškove.
GPT‑6 omogućuje trajnim agentima da satima rade na složenim zadacima, od refaktoriranja baza koda do izrade temeljito istraženih dokumenata i prezentacija. Aplikacije na kojima se ti agenti temelje šalju niz API zahtjeva koji se nadovezuju jedan na drugi, često prenoseći iste upute, definicije alata i kontekst iz prethodnih razmjena. OpenAI predmemorira taj zajednički kontekst kako bi ponovno upotrijebio rezultate obrade u različitim zahtjevima, skratio vrijeme odgovora i razvojnim programerima omogućio popust do 90 % na predmemorirane ulazne tokene.
S obitelji GPT‑6 predstavili smo poboljšani sustav predmemoriranja upita koji prema zadanim postavkama pruža više stope pogodaka predmemorije. Sada odobravamo popuste za predmemoriranje prihvatljivih zajedničkih prefiksa koji se ponovno upotrijebe unutar 30 minuta. Uvodimo i nove alate koji razvojnim programerima pomažu pratiti učinkovitost predmemorije, dijagnosticirati promašaje i odabrati koji će se dio upita predmemorirati.
Nova nadzorna ploča za predmemoriranje upita(otvara se u novom prozoru) prikazuje koliki se dio ulaznih podataka vaše aplikacije poslužuje iz predmemorije. Pratite stope pogodaka tijekom vremena i grafikonom sastava ulaznih podataka usporedite predmemorirane i nepredmemorirane tokene. Ti vam prikazi pomažu uočiti pad stope pogodaka predmemorije i procijeniti kako promjene aplikacije utječu na učinkovitost predmemoriranja.
Kada primijetite neočekivani promašaj predmemorije, upotrijebite alat za dijagnostiku predmemoriranja upita(otvara se u novom prozoru) kako biste saznali što se dogodilo. Usporedite zahtjev s nedavnim odgovorom kako biste utvrdili koje su promjene modela, alata, postavki ili ulaznih podataka spriječile ponovnu upotrebu. Procijenjeni broj zahvaćenih tokena pomaže vam utvrditi opseg učinka i odlučiti kako optimizirati integraciju da biste povećali stopu pogodaka predmemorije.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Odaberite što želite predmemorirati. Eksplicitne točke prekida predmemorije omogućuju vam da odaberete prefikse upita za ponovnu upotrebu. Ažurirani vodič za predmemoriranje upita(otvara se u novom prozoru) objašnjava kako ih upotrebljavati, koliko dugo predmemorirani prefiksi ostaju prihvatljivi te kako promjene alata i ulaznih podataka utječu na ponovnu upotrebu.
Prilagodite razinu rasuđivanja bez prekidanja predmemorije. Na modelima GPT‑6 sada možete promijeniti razinu rasuđivanja(otvara se u novom prozoru) između odgovora bez prekidanja predmemorije. Povećajte razinu za teži zadatak ili je smanjite za rutinski nastavak dodavanjem postavke configuration_update, a da pritom ne mijenjate razinu rasuđivanja na razini zahtjeva. Tako možete prilagoditi količinu rasuđivanja potrebnu za zadatak, a istodobno sačuvati kontekst za ponovnu upotrebu.
Sačuvajte predmemoriju dok se alati i upute mijenjaju. Kako se mijenjaju potrebe vašeg agenta za upotrebom alata, održavajte definicije alata, sheme i njihov redoslijed stabilnima kako bi prethodni kontekst ostao dostupan za ponovnu upotrebu. Upotrijebite allowed_tools kako bi se mogli pozivati samo relevantni alati ili postavite tool_choice na none kada alati nisu potrebni, umjesto da uklanjate njihove definicije. Novim porukama razvojnog programera dodajte nove upute pri kraju konteksta kako biste nadjačali starije upute. Pogledajte naše smjernice za upravljanje promjenama alata(otvara se u novom prozoru).
Unaprijed pripremite predmemoriju kako biste smanjili latenciju. Priprema predmemorije unaprijed(otvara se u novom prozoru) unaprijed obrađuje poznati kontekst kako bi model mogao početi odgovarati ranije kada zahtjev stigne. Primjerice, aplikacija pri pokretanju može unaprijed pripremiti zajedničke upute, definicije alata ili referentne materijale, prije nego što korisnik postavi prvo pitanje. Time se obrada premješta izvan vremena koje korisnik provodi čekajući.
Te se neobavezne kontrole nadovezuju na zadane performanse sustava i pomažu vam prilagoditi predmemoriranje svojem radnom opterećenju.
Pratite stope pogodaka predmemorije na nadzornoj ploči za predmemoriranje upita(otvara se u novom prozoru).
Istražite neočekivane promašaje pomoću dijagnostičkog alata(otvara se u novom prozoru).
Slijedite vodič za predmemoriranje upita(otvara se u novom prozoru) kako biste poboljšali svoje postavke ili upotrijebite Codex(otvara se u novom prozoru) za pregled koda, primjenu poboljšanja i mjerenje rezultata.
