Panyimpenan pituduh sing luwih apik kanggo GPT‑6
Tingkat cache hit sing luwih dhuwur lan alat anyar supaya agen persisten bisa mlaku luwih cepet kanthi biaya luwih murah.
GPT‑6 ngidini agen persisten nggarap tugas rumit nganti pirang-pirang jam, saka ngrefaktor basis kode nganti nggawe dokumen lan presentasi kanthi riset sing jero. Aplikasi ing mburi agen-agen iki nggawe rerangken panjaluk API sing sambung-sinambung, lan kerep nerusake pituduh, definisi alat, lan konteks sing padha saka giliran sadurunge. OpenAI nyimpen konteks bebarengan kasebut ing cache kanggo nggunakake maneh komputasi ing antarane panjaluk, nyuda wektu tanggapan, lan menehi diskon nganti 90% kanggo token input sing wis di-cache.
Kanthi kulawarga GPT‑6, kita ngluncurake sistem panyimpenan pituduh sing luwih apik lan kanthi gawan ngasilake tingkat cache hit luwih dhuwur. Saiki kita menehi diskon cache kanggo prefiks bebarengan sing layak lan digunakake maneh sajrone wektu 30 menit. Kita uga ngenalake alat anyar kanggo mbantu pangembang ngawasi kinerja cache, ndeteksi panyebab cache miss, lan milih sepira akehe prompt sing arep di-cache.
Dasbor panyimpenan pituduh(mbukak ing jendhela anyar) anyar nuduhake sepira akehe input aplikasi sampeyan sing dilayani saka cache. Lacak tingkat cache hit saka wektu ke wektu lan gunakake grafik komposisi input kanggo mbandhingake token sing di-cache lan sing ora di-cache. Tampilan iki mbantu sampeyan ndeleng nalika cache hit mudhun lan ngevaluasi pengaruh owah-owahan aplikasi marang kinerja panyimpenan cache.
Nalika nemoni cache miss sing ora samesthine, gunakake alat diagnostik panyimpenan pituduh(mbukak ing jendhela anyar) kanggo mangerteni apa sing kedadeyan. Bandhingake sawijining panjaluk karo tanggapan paling anyar kanggo ngenali owah-owahan ing model, alat, setelan, utawa input sing ngalangi panggunaan maneh. Prakiraan jumlah token sing kena pengaruh mbantu sampeyan netepake gedhene dampak lan mutusake cara ngoptimalake integrasi supaya tingkat cache hit bisa maksimal.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Pilih apa sing arep di-cache. Breakpoint cache eksplisit ngidini sampeyan milih prefiks prompt sing arep digunakake maneh. Pandhuan panyimpenan pituduh(mbukak ing jendhela anyar) sing dianyari nerangake cara nggunakake breakpoint kasebut, suwene prefiks sing di-cache tetep layak, lan pengaruh owah-owahan alat lan input marang panggunaan maneh.
Setel upaya nalar tanpa ngganggu cache. Ing model GPT‑6, saiki sampeyan bisa ngowahi upaya nalar(mbukak ing jendhela anyar) ing antarane tanggapan tanpa ngganggu cache. Tambah upaya kanggo tugas sing luwih angel utawa suda kanggo tindak lanjut rutin kanthi nambahake configuration_update, tanpa ngowahi upaya nalar ing tingkat panjaluk. Kanthi iki, sampeyan bisa nyetel sepira akehe nalar sing dibutuhake tugas tanpa ngilangi konteks sing bisa digunakake maneh.
Jaga cache nalika alat lan pituduh owah. Nalika kabutuhan panggunaan alat dening agen sampeyan owah, jaga supaya definisi, skema, lan urutan alat tetep stabil supaya konteks sadurunge isih bisa digunakake maneh. Gunakake allowed_tools supaya mung alat sing relevan sing bisa ditimbali, utawa setel tool_choice dadi none nalika ora mbutuhake alat, tinimbang mbusak definisine. Gunakake pesen pangembang anyar kanggo nambahake pituduh anyar ing pungkasan konteks supaya ngganti pituduh lawas. Waca pandhuan kanggo ngatur owah-owahan alat(mbukak ing jendhela anyar) saka kita.
Angetake cache luwih dhisik kanggo nyuda latensi. Pemanasan awal(mbukak ing jendhela anyar) nyiapake konteks sing wis dingerteni luwih dhisik supaya model bisa miwiti nanggapi luwih cepet nalika panjaluk teka. Contone, aplikasi bisa ngangetake luwih dhisik pituduh bebarengan, definisi alat, utawa materi referensi nalika wiwitan, sadurunge pangguna takon kapisan. Iki mindhah proses metu saka wektu tunggu pangguna.
Kontrol opsional iki nglengkapi kinerja gawan mesin lan mbantu sampeyan nyetel panyimpenan cache miturut beban kerja.
Awasi tingkat cache hit ing Dasbor panyimpenan pituduh(mbukak ing jendhela anyar).
Selidiki cache miss sing ora samesthine nganggo alat diagnostik(mbukak ing jendhela anyar).
Tindakake pandhuan panyimpenan pituduh(mbukak ing jendhela anyar) kanggo ningkatake konfigurasi sampeyan, utawa gunakake Codex(mbukak ing jendhela anyar) kanggo mriksa kode, ngetrapake dandan, lan ngukur asile.
