Parempi kehotteiden tallentaminen välimuistiin GPT‑6:ssa
Paremmat osumaprosentit ja uudet työkalut auttavat pitkäkestoisia agentteja toimimaan nopeammin ja edullisemmin.
GPT‑6:n avulla pitkäkestoiset agentit voivat työskennellä tuntikausia monimutkaisten tehtävien parissa aina koodipohjien refaktoroinnista perusteellisesti tutkittujen asiakirjojen ja esitysten tuottamiseen. Näiden agenttien taustalla toimivat sovellukset tekevät sarjan toisiinsa perustuvia API-pyyntöjä, joissa kulkevat usein mukana samat ohjeet, työkalumääritykset ja aiempien vuorojen konteksti. OpenAI tallentaa jaetun kontekstin välimuistiin, jotta laskentaa voidaan käyttää uudelleen eri pyynnöissä. Tämä lyhentää vasteaikoja ja antaa kehittäjille jopa 90 prosentin alennuksen välimuistista haetuista syötetokeneista.
GPT‑6‑malliperheen yhteydessä julkaisimme parannetun kehotteiden välimuistijärjestelmän, jonka osumaprosentti on oletusarvoisesti entistä parempi. Välimuistialennuksen saa nyt ehdot täyttävistä jaetuista etuliitteistä, joita käytetään uudelleen 30 minuutin kuluessa. Tuomme käyttöön myös uusia työkaluja, joilla kehittäjät voivat seurata välimuistin suorituskykyä, selvittää huteja ja valita, kuinka suuri osa kehotteesta tallennetaan välimuistiin.
Uusi kehotteiden välimuistin hallintapaneeli(avautuu uudessa ikkunassa) näyttää, kuinka suuri osa sovelluksesi syötteestä palvellaan välimuistista. Seuraa osumaprosenttia ajan mittaan ja vertaa syötteen koostumuskaaviosta välimuistissa olevia ja sen ulkopuolisia tokeneita. Näiden näkymien avulla huomaat osumaprosentin laskun ja voit arvioida, miten sovelluksesi muutokset vaikuttavat välimuistin suorituskykyyn.
Jos kohtaat odottamattoman välimuistihudin, selvitä tapahtunut kehotteiden välimuistidiagnostiikkatyökalulla(avautuu uudessa ikkunassa). Vertaamalla pyyntöä äskettäiseen vastaukseen voit tunnistaa malliin, työkaluihin, asetuksiin tai syötteeseen tehdyt muutokset, jotka estivät uudelleenkäytön. Arvio vaikutuksen kohteena olevien tokenien määrästä auttaa hahmottamaan vaikutuksen laajuuden ja päättämään, miten integraatiota kannattaa optimoida välimuistin osumaprosentin maksimoimiseksi.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Valitse, mitä tallennetaan välimuistiin. Eksplisiittisten välimuistirajakohtien avulla voit valita uudelleen käytettävät kehotteen etuliitteet. Päivitetty kehotteiden välimuistiopas(avautuu uudessa ikkunassa) kertoo, miten rajakohtia käytetään, kuinka kauan välimuistiin tallennetut etuliitteet voidaan käyttää uudelleen ja miten työkalujen sekä syötteiden muutokset vaikuttavat uudelleenkäyttöön.
Säädä päättelyn tasoa rikkomatta välimuistia. GPT‑6‑malleissa voit nyt muuttaa päättelyn tasoa(avautuu uudessa ikkunassa) vastausten välillä rikkomatta välimuistia. Nosta tasoa vaativaa tehtävää varten tai laske sitä tavanomaisessa jatkotehtävässä lisäämällä configuration_update ja jättämällä pyyntötason päättely ennalleen. Näin voit mukauttaa tehtävän vaatiman päättelyn määrää ja säilyttää uudelleen käytettävän kontekstin.
Säilytä välimuisti työkalujen ja ohjeiden muuttuessa. Kun agenttisi työkalutarpeet muuttuvat, pidä työkalumääritykset, skeemat ja järjestys vakaina, jotta aiempi konteksti säilyy uudelleen käytettävänä. Määritä vain olennaiset työkalut kutsuttaviksi käyttämällä allowed_tools-asetusta tai aseta tool_choice arvoksi none, kun työkaluja ei tarvita, sen sijaan että poistaisit määrityksiä. Lisää uudet ohjeet kontekstin loppupuolelle uusilla kehittäjäviesteillä, jotta ne ohittavat vanhemmat ohjeet. Tutustu ohjeisiimme työkalumuutosten hallinnasta(avautuu uudessa ikkunassa).
Vähennä viivettä esilämmittämällä välimuisti. Esilämmitys(avautuu uudessa ikkunassa) valmistelee tunnetun kontekstin etukäteen, jotta malli voi aloittaa vastaamisen nopeammin pyynnön saapuessa. Sovellus voi esimerkiksi esilämmittää jaetut ohjeet, työkalumääritykset tai viitemateriaalin käynnistyksen aikana, ennen kuin käyttäjä esittää ensimmäisen kysymyksensä. Näin käsittely ei kuluta käyttäjän odotusaikaa.
Nämä valinnaiset säädöt täydentävät järjestelmän oletussuorituskykyä ja auttavat mukauttamaan välimuistin käytön työmäärääsi.
Seuraa välimuistin osumaprosenttia kehotteiden välimuistin hallintapaneelissa(avautuu uudessa ikkunassa).
Tutki odottamattomia huteja diagnostiikkatyökalulla(avautuu uudessa ikkunassa).
Paranna määrityksiä kehotteiden välimuistioppaan(avautuu uudessa ikkunassa) avulla tai käytä Codexia(avautuu uudessa ikkunassa) koodin tarkistamiseen, parannusten toteuttamiseen ja tulosten mittaamiseen.
