Geresnis GPT‑6 užklausų podėliavimas
Didesnis podėlio pataikymų rodiklis ir nauji įrankiai, padedantys ilgai veikiantiems agentams dirbti sparčiau ir pigiau.
GPT‑6 suteikia ilgai veikiantiems agentams galimybę valandų valandas atlikti sudėtingas užduotis – nuo programinio kodo bazių pertvarkymo iki išsamiais tyrimais pagrįstų dokumentų ir pateikčių rengimo. Šiuos agentus valdančios programos siunčia viena kita grindžiamų API užklausų seką, dažnai pakartotinai perduodamos tas pačias instrukcijas, įrankių apibrėžtis ir ankstesnių sąveikų kontekstą. OpenAI šį bendrą kontekstą laiko podėlyje, kad skaičiavimus būtų galima pakartotinai naudoti skirtingoms užklausoms. Taip trumpėja atsako laikas, o kūrėjams podėlyje laikomiems įvesties žetonams taikoma iki 90 % nuolaida.
Kartu su GPT‑6 šeima pristatėme patobulintą užklausų podėliavimo sistemą, kuri pagal numatytuosius nustatymus užtikrina didesnį podėlio pataikymų rodiklį. Dabar nuolaidos taikomos tinkamiems bendriems prefiksams, pakartotinai panaudotiems per 30 minučių laikotarpį. Taip pat pristatome naujus įrankius, padedančius kūrėjams stebėti podėlio našumą, nustatyti nepataikymų priežastis ir pasirinkti, kokią užklausos dalį laikyti podėlyje.
Naujajame užklausų podėliavimo valdymo skydelyje(atsidaro naujame lange) rodoma, kokia programos įvesties dalis pateikiama iš podėlio. Stebėkite pataikymų rodiklio pokyčius ir įvesties sudėties diagramoje palyginkite podėlyje laikomus bei nelaikomus žetonus. Šie rodiniai padeda pastebėti podėlio pataikymų sumažėjimą ir įvertinti, kaip programos pakeitimai veikia podėliavimo našumą.
Pastebėję netikėtą podėlio nepataikymą, pasinaudokite užklausų podėliavimo diagnostikos įrankiu(atsidaro naujame lange), kad suprastumėte, kas nutiko. Palyginkite užklausą su neseniai gautu atsakymu ir nustatykite, kokie modelio, įrankių, nustatymų ar įvesties pakeitimai sutrukdė duomenis panaudoti pakartotinai. Apytikris paveiktų žetonų skaičius padeda įvertinti poveikio mastą ir nuspręsti, kaip optimizuoti integraciją, kad podėlio pataikymų rodiklis būtų kuo didesnis.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Pasirinkite, ką laikyti podėlyje. Aiškiai nustatyti podėlio skaidymo taškai leidžia pasirinkti, kuriuos užklausos prefiksus naudoti pakartotinai. Atnaujintame užklausų podėliavimo vadove(atsidaro naujame lange) paaiškinta, kaip juos naudoti, kiek laiko podėlyje esantys prefiksai išlieka tinkami ir kaip įrankių bei įvesčių pakeitimai veikia pakartotinį naudojimą.
Keiskite protavimo intensyvumą nesutrikdydami podėlio. GPT‑6 modeliuose dabar galima keisti protavimo intensyvumą(atsidaro naujame lange) tarp atsakymų nesutrikdant podėlio. Sudėtingesnei užduočiai intensyvumą padidinkite, o įprastam tolesniam veiksmui – sumažinkite, pridėdami configuration_update ir nekeisdami užklausos lygmens protavimo intensyvumo. Taip galite nustatyti užduočiai reikalingą protavimo intensyvumą ir išsaugoti pakartotinai naudojamą kontekstą.
Išsaugokite podėlį keičiantis įrankiams ir instrukcijoms. Keičiantis agento įrankių naudojimo poreikiams, nekeiskite įrankių apibrėžčių, schemų ir jų tvarkos, kad ankstesnį kontekstą būtų galima naudoti pakartotinai. Užuot šalinę apibrėžtis, naudokite allowed_tools, kad būtų galima iškviesti tik reikiamus įrankius, arba nustatykite tool_choice reikšmę none, kai įrankių nereikia. Naujas instrukcijas pridėkite konteksto pabaigoje naujais kūrėjo pranešimais, kad jos pakeistų ankstesnes. Žr. mūsų rekomendacijas, kaip valdyti įrankių pakeitimus(atsidaro naujame lange).
Iš anksto paruoškite podėlį, kad sumažintumėte delsą. Išankstinis podėlio paruošimas(atsidaro naujame lange) leidžia iš anksto apdoroti žinomą kontekstą, kad gavęs užklausą modelis galėtų greičiau pradėti atsakyti. Pavyzdžiui, paleidžiama programa gali iš anksto paruošti bendras instrukcijas, įrankių apibrėžtis ar informacinę medžiagą, dar prieš naudotojui užduodant pirmąjį klausimą. Taip apdorojimas nebeužima naudotojo laukimo laiko.
Šios pasirenkamos valdymo priemonės papildo numatytąjį sistemos variklio našumą ir padeda pritaikyti podėliavimą prie darbo krūvio.
Stebėkite podėlio pataikymų rodiklį užklausų podėliavimo valdymo skydelyje(atsidaro naujame lange).
Netikėtų nepataikymų priežastis nustatykite naudodami diagnostikos įrankį(atsidaro naujame lange).
Vadovaukitės užklausų podėliavimo vadovu(atsidaro naujame lange), kad patobulintumėte sąranką, arba naudokite Codex(atsidaro naujame lange) programiniam kodui peržiūrėti, patobulinimams pritaikyti ir rezultatams įvertinti.
