GPT‑6 parem viipade vahemällu salvestamine
Suurem vahemälu tabamusmäär ja uued tööriistad aitavad püsivatel agentidel töötada kiiremini ja väiksemate kuludega.
GPT‑6 võimaldab püsivatel agentidel töötada keerukate ülesannetega tundide kaupa, alates koodibaaside refaktoreerimisest kuni põhjalikult uuritud dokumentide ja esitluste koostamiseni. Nende agentide taga olevad rakendused teevad järjestikuseid API-päringuid, millest igaüks tugineb eelmistele ning kasutab sageli edasi samu juhiseid, tööriistade määratlusi ja varasemate voorude konteksti. OpenAI salvestab selle ühise konteksti vahemällu, et arvutustulemusi päringute vahel uuesti kasutada. See lühendab vastamisaega ja annab arendajatele vahemällu salvestatud sisendtokenitelt kuni 90% allahindlust.
Koos GPT‑6 mudeliperega tõime turule täiustatud viipade vahemällu salvestamise süsteemi, mis tagab vaikimisi suurema tabamusmäära. Nüüd anname vahemälusoodustust nõuetele vastavatele ühistele prefiksitele, mida kasutatakse uuesti 30 minuti jooksul. Samuti tutvustame uusi tööriistu, mis aitavad arendajatel jälgida vahemälu jõudlust, tuvastada möödalaskude põhjuseid ja valida, kui suur osa viibast vahemällu salvestada.
Uus viipade vahemällu salvestamise juhtpaneel(avaneb uues aknas) näitab, kui suur osa teie rakenduse sisendist pärineb vahemälust. Jälgige tabamusmäära muutumist ajas ning võrrelge sisendi koosseisu diagrammil vahemällu salvestatud ja salvestamata tokeneid. Need vaated aitavad märgata vahemälu tabamuste vähenemist ja hinnata, kuidas rakenduse muudatused mõjutavad vahemällu salvestamise jõudlust.
Kui märkate ootamatut vahemälu möödalasku, kasutage põhjuse väljaselgitamiseks viipade vahemällu salvestamise diagnostikatööriista(avaneb uues aknas). Võrrelge päringut hiljutise vastusega, et tuvastada mudelis, tööriistades, seadetes või sisendis tehtud muudatused, mis takistasid taaskasutamist. Mõjutatud tokenite hinnanguline arv aitab hinnata mõju ulatust ja otsustada, kuidas integratsiooni optimeerida, et vahemälu tabamusmäära maksimeerida.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Valige, mida vahemällu salvestada. Selgesõnalised vahemälu katkestuspunktid võimaldavad valida, milliseid viiba prefikseid uuesti kasutada. Uuendatud viipade vahemällu salvestamise juhend(avaneb uues aknas) selgitab, kuidas katkestuspunkte kasutada, kui kaua saab vahemällu salvestatud prefikseid uuesti kasutada ning kuidas tööriistade ja sisendite muudatused taaskasutamist mõjutavad.
Kohandage arutluse põhjalikkust vahemälu katkestamata. GPT‑6 mudelite puhul saate nüüd vastuste vahel muuta arutluse põhjalikkust(avaneb uues aknas) ilma vahemälu katkestamata. Suurendage keerulisema ülesande jaoks põhjalikkust või vähendage seda tavapärase jätkuküsimuse korral, lisades configuration_update, kuid jättes päringu tasandi arutluse põhjalikkuse muutmata. Nii saate kohandada ülesande jaoks vajalikku arutluse mahtu, säilitades samal ajal taaskasutatava konteksti.
Säilitage vahemälu ka tööriistade ja juhiste muutumisel. Kui agendi vajadused tööriistade kasutamisel muutuvad, hoidke tööriistade määratlused, skeemid ja järjestus stabiilsena, et varasemat konteksti saaks jätkuvalt kasutada. Määrake allowed_tools abil kutsutavaks ainult asjakohased tööriistad või seadke tool_choice väärtuseks none, kui tööriistu pole vaja, selle asemel et määratlusi eemaldada. Vanemate juhiste alistamiseks lisage uued juhised uute arendajasõnumitena konteksti lõpuossa. Vaadake meie juhiseid tööriistade muudatuste haldamiseks(avaneb uues aknas).
Viivituse vähendamiseks eelsoojendage vahemälu. Eelsoojendamine(avaneb uues aknas) valmistab teadaoleva konteksti ette, et mudel saaks päringu saabumisel kiiremini vastama hakata. Näiteks saab rakendus käivitamise ajal ja enne kasutaja esimest küsimust eelsoojendada ühised juhised, tööriistade määratlused või viitematerjalid. Nii ei toimu töötlemine kasutaja ooteajal.
Need valikulised juhtelemendid täiendavad süsteemi vaikimisi jõudlust ning aitavad kohandada vahemällu salvestamist teie töökoormusele.
Jälgige vahemälu tabamusmäära viipade vahemällu salvestamise juhtpaneelil(avaneb uues aknas).
Uurige ootamatuid möödalaske diagnostikatööriistaga(avaneb uues aknas).
Täiustage oma seadistust viipade vahemällu salvestamise juhendi(avaneb uues aknas) järgi või kasutage Codexit(avaneb uues aknas), et kood üle vaadata, täiustused rakendada ja tulemusi mõõta.
