GPT‑6‑д зориулсан сайжруулсан промптын кэшлэлт
Кэшийн олдцын өндөр хувь болон шинэ хэрэгслүүд нь тогтвортой агентуудыг илүү хурдан, бага зардлаар ажиллуулна.
GPT‑6 нь кодын санг дахин зохион байгуулахаас эхлээд сайтар судалсан баримт бичиг, танилцуулга бэлтгэх хүртэлх нарийн төвөгтэй даалгавар дээр тогтвортой агентуудыг олон цагаар ажиллах боломжтой болгодог. Эдгээр агентын ард ажилладаг хэрэглээнүүд нь өмнөх харилцан үйлдлийн ижил заавар, хэрэгслийн тодорхойлолт, контекстыг ихэвчлэн үргэлжлүүлэн ашиглаж, нэг нэгэндээ тулгуурласан цуврал API хүсэлт илгээдэг. OpenAI уг хуваалцсан контекстыг кэшилж, хүсэлтүүдийн хооронд тооцооллыг дахин ашигласнаар хариулах хугацааг богиносгож, кэшлэгдсэн оролтын токенд хөгжүүлэгчдэд 90% хүртэлх хөнгөлөлт олгодог.
GPT‑6 бүл загварын хамт анхдагч тохиргоогоороо кэшийн олдцын илүү өндөр хувьтай промптын кэшлэлтийн сайжруулсан системийг нэвтрүүллээ. Одоо 30 минутын дотор дахин ашигласан шаардлага хангасан хуваалцсан угтваруудад кэшийн хөнгөлөлт олгодог. Мөн хөгжүүлэгчдэд кэшийн гүйцэтгэлийг хянах, алдагдлыг оношлох, өгөгдлийн хэдий хэмжээг кэшлэхээ сонгоход туслах шинэ хэрэгслүүдийг нэвтрүүлж байна.
Шинэ Промптын кэшлэлтийн хяналтын самбар(шинэ цонхонд нээгдэнэ) нь таны хэрэглээний оролтын хэдэн хувь кэшээс ирж байгааг харуулна. Олдцын хувийг хугацааны явцад хянаж, оролтын бүтцийн графикаар кэшлэгдсэн болон кэшлэгдээгүй токенуудыг харьцуулна уу. Эдгээр харагдац нь кэшийн олдцын бууралтыг илрүүлж, хэрэглээнд хийсэн өөрчлөлт кэшлэлтийн гүйцэтгэлд хэрхэн нөлөөлснийг үнэлэхэд тусална.
Кэшийн гэнэтийн алдагдал илэрвэл юу болсныг ойлгохын тулд промптын кэшлэлтийн оношилгооны хэрэгсэл(шинэ цонхонд нээгдэнэ) ашиглана уу. Дахин ашиглахад саад болсон загвар, хэрэгсэл, тохиргоо эсвэл оролтын өөрчлөлтийг илрүүлэхийн тулд хүсэлтийг саяхны хариутай харьцуулна уу. Нөлөөлөлд өртсөн токены тооцоолсон тоо нь нөлөөллийн хэмжээг үнэлж, кэшийн олдцын хувийг дээд түвшинд хүргэхийн тулд интеграцаа хэрхэн оновчлохоо шийдэхэд тусална.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Юуг кэшлэхээ сонгоно уу. Кэшийн тодорхой зааглах цэгүүдээр өгөгдлийн аль угтварыг дахин ашиглахаа сонгож болно. Шинэчилсэн промптын кэшлэлтийн гарын авлага(шинэ цонхонд нээгдэнэ)-д тэдгээрийг хэрхэн ашиглах, кэшлэгдсэн угтварууд хэр удаан ашиглах боломжтой хэвээр байх, мөн хэрэгсэл ба оролтын өөрчлөлт дахин ашиглалтад хэрхэн нөлөөлөхийг тайлбарласан.
Кэшийг алдагдуулахгүйгээр сэтгэн бодох хүчин чармайлтыг тохируулна уу. GPT‑6 загваруудад одоо кэшийг алдагдуулахгүйгээр хариултуудын хооронд сэтгэн бодох хүчин чармайлтыг өөрчлөх(шинэ цонхонд нээгдэнэ) боломжтой. Хүсэлтийн түвшний сэтгэн бодох хүчин чармайлтыг өөрчлөхгүйгээр configuration_update-ийг нэмж, хүнд даалгаварт хүчин чармайлтыг ихэсгэх эсвэл энгийн үргэлжлэлд багасгана уу. Ингэснээр дахин ашиглах боломжтой контекстыг хадгалангаа тухайн даалгаварт шаардагдах сэтгэн бодох хэмжээг тохируулж болно.
Хэрэгсэл, заавар өөрчлөгдөхөд кэшийг хадгална уу. Агентын хэрэгсэл ашиглах хэрэгцээ өөрчлөгдөх үед өмнөх контекстыг дахин ашиглах боломжтой байлгахын тулд хэрэгслийн тодорхойлолт, схем, дарааллыг тогтвортой хадгална уу. Тодорхойлолтуудыг устгахын оронд зөвхөн холбогдох хэрэгслүүдийг дуудах боломжтой болгохын тулд allowed_tools ашиглах эсвэл хэрэгсэл шаардлагагүй үед tool_choice-ийг none гэж тохируулна уу. Хуучин зааврыг дарахын тулд хөгжүүлэгчийн шинэ мессежээр шинэ зааврыг контекстын төгсгөлд нэмнэ үү. Манай хэрэгслийн өөрчлөлтийг удирдах зөвлөмж(шинэ цонхонд нээгдэнэ)-ийг үзнэ үү.
Хүлээлтийг багасгахын тулд кэшийг урьдчилан бэлтгэнэ үү. Урьдчилан бэлтгэх(шинэ цонхонд нээгдэнэ) нь мэдэгдэж буй контекстыг урьдчилан боловсруулдаг тул хүсэлт ирэхэд загвар илүү хурдан хариулж эхэлнэ. Жишээлбэл, хэрэглэгч эхний асуултаа асуухаас өмнө хэрэглээг эхлүүлэх явцад хуваалцсан заавар, хэрэгслийн тодорхойлолт эсвэл лавлах материалыг урьдчилан бэлтгэж болно. Ингэснээр боловсруулалт хэрэглэгчийн хүлээх хугацаанд явагдахгүй.
Эдгээр нэмэлт удирдлага нь системийн анхдагч гүйцэтгэлд тулгуурлан кэшлэлтийг ажлын ачаалалдаа тохируулахад тусална.
Кэшийн олдцын хувийг Промптын кэшлэлтийн хяналтын самбар(шинэ цонхонд нээгдэнэ)-аас хянаарай.
Кэшийн гэнэтийн алдагдлыг оношилгооны хэрэгслээр(шинэ цонхонд нээгдэнэ) шалгаарай.
Тохиргоогоо сайжруулахын тулд промптын кэшлэлтийн гарын авлага(шинэ цонхонд нээгдэнэ)-ыг дагах эсвэл кодоо хянуулж, сайжруулалт хийлгэн, үр дүнг хэмжихийн тулд Codex ашиглаарай(шинэ цонхонд нээгдэнэ).
