GPT‑5.6 juhend arendajale

GPT‑5.6 mudelipere muudab agentide tipptasemel jõudluse märksa taskukohasemaks, laiendades samal ajal võimalikkuse piire.

Selles juhendis näitame, kuidas idufirmad loovad nutikama mudelivaliku ning arutluse järjepidevust, mitme agendi orkestreerimist ja programmilist tööriistakutsumist toetavate uute API juhtelementide abil kiiremaid ja võimekamaid agente palju väiksemate kuludega.

Alates GPT‑5‑st on iga mudelipõlvkonna eesmärk olnud lahendada pikemaajalisi ülesandeid vähemate tokenitega. GPT‑5.6 jätkab samal kursil: agentide jõudlus on parem ja kulud väiksemad, kuid aluseks olev täitmiskeskkond vajab vaid minimaalseid muudatusi.

Üldisele kulutõhususe kasvule lisandub suurem täpsus väiksema arutluspingutuse juures. Näiteks edestas GPT‑5.6 Sol testis Agents’ Last Exami puhul väikese arutluspingutusega GPT‑5.5, mis kasutas suurt arutluspingutust, kusjuures täitmiskeskkond jäi samaks. Sarnaseid edulugusid oleme näinud tootmiskatsetes, kus idufirmad on varasemate vaikeseadetega võrreldes arutluspingutust vähendades saavutanud paljudes töövoogudes märkimisväärse kulude kokkuhoiu.

Varem on pikaajaliste kasutusjuhtude puhul olnud parim valik minna üle lipulaeva mudelile ja kasutada suurimat saadaolevat arutluspingutust. Peamiselt seetõttu, et need mudelid said pikema konteksti ja tööriistakutsumisega märksa paremini hakkama kui kuludele optimeeritud mudelid. 5.6 mudelipere on seda muutnud: suurema järeldusaegse arvutusmahuga suudavad Luna ja Terra sageli pakkuda GPT‑5.4 ning GPT‑5.5‑ga võrreldavat jõudlust palju odavamalt.

Vaatleme BrowseCompi ülesandeid: see on otsingupõhine võrdlustest, mis mõõdab mudeli võimet leida raskesti leitavaid fakte. Kolm kuud tagasi sai GPT‑5.5 (Väga kõrge) selles võrdlustestis tulemuseks 84,36% kogukuluga 33,27 $. Turuletoomisel pakub GPT‑5.6 Luna (Väga kõrge) sisuliselt sama jõudlust: tulemus on 84,04% ja kulu 1,33 $. Pärast seda oleme hindu veelgi langetanud. Loe lähemalt meie viimaste hinnalangetuste kohta.

5.6 mudelipere väiksemad mudelid sobivad hästi suure mahuga töökoormustele, viivitustundlikele interaktsioonidele ja agentsete töövoogude korduvatele etappidele. Näiteks kui sinu õigustehnoloogia idufirma töötleb enne agentset analüüsi käsitsi kirjutatud memosid, saad kogu kasutusjuhu jaoks tipptasemel mudeli kasutamise asemel rakendada andmete eraldamiseks Terrat või Lunat ning kulusid märkimisväärselt vähendada.

Peale GPT‑5.6 algse jõudluse parandamise lisasime Responses API-le ka uued põhifunktsioonid, mis võimaldavad jõudlust veelgi suurendada. Treenisime GPT‑5.6 algusest lõpuni kolme üksteist täiendava arhitektuurilise lahendusega, mis aitavad agentidel tõhusamalt töötada:

1. Juba tehtud töö taaskasutamine: mudel saab pikemate ülesannete vältel säilitada töö sidususe ilma segadusse sattumata või varasemat konteksti taastamata, kui arutlus säilitatakse⁠(avaneb uues aknas) mudeli voorude vahel ja pikaajalisi vestlusi tihendatakse sisseehitatud tihendamisega⁠(avaneb uues aknas).

2. Vajaduse korral paralleelne osadeks jagamine: sisseehitatud mitme agendi orkestreerimine⁠(avaneb uues aknas) võimaldab koordineerida mitut agenti paralleelsetes töövoogudes, et keerukad ülesanded kiiremini lõpetada.

3. Deterministliku töö viimine koodi: programmiline tööriistakutsumine⁠(avaneb uues aknas) võimaldab filtreerida, koondada ja orkestreerida tööriistade väljundeid väljaspool mudeli kontekstivaadet, jättes mudeli tokenid otsustamiseks ning vähendades kulusid, viivitust ja konteksti halvenemist.

Koos kasutades võivad need anda väga suure erinevuse. Näiteks sai GPT‑5.6 Sol ARC-AGI-3 testis standardse täitmiskeskkonnaga tulemuseks 13,3%. Pärast säilitatud arutluse ja tihendamise lubamist tõusis tulemus aga 38,3%-ni, kusjuures väljundtokeneid kasutati ligikaudu kuus korda vähem. Mudel ei muutunud, kuid jõudlus peaaegu kolmekordistus. Lisateavet leiate meie ARC-AGI-3 täitmiskeskkonna analüüsist.

Agentsed töövood hõlmavad sageli kaht liiki tööd:

1. Otsustusvõimet nõudvad ülesanded

2. Töö, mis seisneb peamiselt andmete teisaldamises, filtreerimises ja ühendamises

Kui agent hangib 100 aruannet, filtreerib neid kuupäeva järgi ja tuvastab asjakohased tehingud, ei peaks mudel oma kontekstivaates iga vahetulemust läbi analüüsima. Programmiline tööriistakutsumine võimaldab GPT‑5.6‑l kirjutada JavaScripti, et orkestreerida tööriistu, teha sõltumatuid kutseid paralleelselt ja töödelda nende väljundeid väljaspool kontekstivaadet. Nii saab mudel keskenduda nutikust nõudvale osale: otsustamisele.

Keerukate ja paralleeltöötluseks sobivate ülesannete puhul võimaldab tegevuste ning arutluse jaotamine mitme agendi töövoogude vahel ülesandeid kiiremini ja nutikamalt lahendada. Sellistes lahendustes vastutab põhiagent alamagentide orkestreerimise ja neile ülesannete delegeerimise eest. Alamagendid täidavad oma eesmärke paralleelselt ja edastavad lõpuks väljundi põhiagendile, kes koostab lõpptulemuse. Meeskonnad saavad Responses API-s mitme agendi funktsiooni lubades⁠(avaneb uues aknas) seda kohe kasutada. Samamoodi töötab ka ChatGPT Ultra võimekuse säte.

Kuigi GPT‑5.6 oskab hästi hinnata, kui palju alamagente on vaja ja millal neid käivitada, saab mitme agendi käitumist väga täpselt suunata. Kui anda mudelile juhised, millal alamagent käivitada, suureneb tõenäosus, et agente luuakse ainult olukordades, kus täiendav tokenikulu parandab tulemust.

Kogu mudelipere viipade vahemälu minimaalne TTL on nüüd 30 minutit ning vahemälu katkestuspunkte saab mudeli kontekstivaates deterministlikult määrata. See on võimaldanud idufirmadel vahemälu tabamusmäära märkimisväärselt parandada.

Vahemälu katkestuspunktide määramise kõrval suurendab sobiva võtme prompt_cache_key⁠(avaneb uues aknas) jätkuv kasutamine tõenäosust, et päring jõuab samasse järeldusmootorisse, mis varem sama prefiksit töötles, vähendades seeläbi viivitust.

Nende näidete juures torkab silma, kui palju on agentide loomise majanduslik tasuvus muutunud.

Kasutusjuhud, mis varem nõudsid igas etapis tipptasemel mudelit, võivad nüüd saavutada võrreldavaid või paremaid tulemusi murdosa kuludega, kui kasutada väiksemaid mudeleid, kohandada arutluspingutust ja teha tõhusaid arhitektuurivalikuid.

Ootame põnevusega, mida te kõik loote!