Vodnik za razvijalce po GPT‑5.6

Družina modelov GPT‑5.6 močno znižuje stroške delovanja agentov na prelomni ravni, obenem pa premika meje mogočega.

V tem vodniku predstavljamo, kako zagonska podjetja s pametnejšo izbiro modelov in novimi kontrolniki API-ja, ki podpirajo neprekinjenost sklepanja, orkestracijo več agentov in programsko klicanje orodij, izdelujejo hitrejše in zmogljivejše agente po bistveno nižji ceni.

Od GPT‑5 naprej si vsaka generacija modelov prizadeva obvladovati dolgotrajnejše naloge z manj žetoni. GPT‑5.6 nadaljuje to smer: zmogljivejši agenti in nižji stroški ob minimalnih spremembah osnovnega ogrodja.

Boljšo splošno stroškovno učinkovitost dodatno krepi večja natančnost pri manj intenzivnem sklepanju. Na preizkusu Agents’ Last Exam je na primer GPT‑5.6 Sol z »nizko« ravnjo sklepanja ob nespremenjenem ogrodju presegel GPT‑5.5 z »visoko« ravnjo sklepanja. Podobne uspehe smo opazili tudi pri produkcijskem preizkušanju, kjer zagonska podjetja poročajo o občutnem znižanju stroškov v različnih delovnih tokovih, potem ko so raven sklepanja znižala glede na prejšnje privzete nastavitve.

V preteklosti je bila za dolgotrajnejše primere uporabe najboljša možnost nadgradnja na osrednji model z najvišjo razpoložljivo ravnjo sklepanja. Predvsem zato, ker so bili ti modeli pri obdelavi daljšega konteksta in klicanju orodij bistveno zmogljivejši od stroškovno optimiziranih modelov. Z družino 5.6 se je to spremenilo: Luna in Terra lahko z več računanja med izvajanjem pogosto dosegata rezultate, podobne GPT‑5.4 in 5.5, vendar ob bistveno nižjih stroških.

Oglejmo si naloge v preizkusu BrowseComp, ki temelji na iskanju in preverja sposobnost modela, da poišče težko dostopna dejstva. Pred tremi meseci je GPT‑5.5 (Zelo visoko) na tem preizkusu dosegel 84,36 % pri skupnem strošku 33,27 USD. Ob uvedbi GPT‑5.6 Luna (Zelo visoko) zagotavlja praktično enako zmogljivost: 84,04 % pri strošku 1,33 USD. Od takrat smo cene še dodatno znižali. Preberite več o naših najnovejših znižanjih cen.

Manjši modeli družine 5.6 so odlična izbira za obsežne delovne obremenitve, interakcije, občutljive na zakasnitev, in ponavljajoče se korake v delovnih tokovih agentov. Če na primer vodite zagonsko podjetje s področja pravne tehnologije, ki pred analizo z agenti razčlenjuje ročno napisane zaznamke, lahko zdaj za pridobivanje podatkov namesto prelomnega modela v celotnem postopku uporabite model Terra ali Luna in občutno prihranite.

Poleg izboljšane privzete zmogljivosti GPT‑5.6 smo v API Responses dodali tudi nove gradnike, ki omogočajo nadaljnje izboljšave. GPT‑5.6 smo celovito usposabljali s tremi dopolnjujočimi se arhitekturnimi posegi, ki agentom omogočajo učinkovitejše delovanje:

1. Ponovna uporaba že opravljenega dela: z možnostjo ohranjanja sklepanja⁠(odpre se v novem oknu) med potezami modela in uporabo izvornega kompaktiranja⁠(odpre se v novem oknu) za stiskanje dolgotrajnih pogovorov lahko model pri daljših nalogah ohrani doslednost, ne da bi se zmedel ali moral rekonstruirati prejšnji kontekst.

2. Vzporedna razčlenitev, kjer je smiselna: uporaba izvorne orkestracije več agentov⁠(odpre se v novem oknu) omogoča usklajevanje več agentov v vzporednih delovnih tokovih, da se zapletene naloge končajo hitreje.

3. Premik determinističnega dela v kodo: uporaba programskega klicanja orodij⁠(odpre se v novem oknu) omogoča filtriranje, združevanje in orkestracijo rezultatov orodij zunaj kontekstnega okna modela. Tako se žetoni modela prihranijo za presojo, zmanjšajo pa se stroški, zakasnitev in propadanje konteksta.

Skupni učinek je lahko izjemen. Na preizkusu ARC-AGI-3 je na primer GPT‑5.6 Sol s standardnim ogrodjem dosegel 13,3 %. Ko smo omogočili ohranjeno sklepanje in kompaktiranje, pa je rezultat poskočil na 38,3 % – ob približno šestkrat manj izhodnih žetonih. Brez sprememb modela, vendar s skoraj trikrat boljšim rezultatom. Več lahko preberete v naši raziskavi ogrodja ARC-AGI-3.

Delovni tokovi agentov pogosto vključujejo dve vrsti dela:

1. Naloge, ki zahtevajo presojo

2. Delo, ki večinoma obsega premikanje, filtriranje in združevanje podatkov

Ko agent pridobi 100 poročil, jih filtrira po datumu in poišče ustrezne transakcije, modelu ne bi bilo treba sklepati o vsakem vmesnem rezultatu v svojem kontekstnem oknu. Programsko klicanje orodij omogoča GPT‑5.6, da napiše kodo JavaScript za orkestracijo orodij, vzporedno izvede neodvisne klice in njihove rezultate obdela zunaj kontekstnega okna. Model se tako lahko osredotoči na tisto, kar zahteva inteligenco: presojo.

Pri zapletenih nalogah, ki jih je mogoče izvajati vzporedno, porazdelitev dejanj in sklepanja med več delovnih tokov agentov omogoča hitrejše dokončanje nalog in večjo inteligenco. V takšnih postavitvah glavni agent orkestrira podagente in jim dodeljuje naloge. Podagenti vzporedno sledijo svojim ciljem, nato pa rezultate posredujejo glavnemu agentu za končno sintezo. Ekipe lahko začnejo izvorno uporabljati več agentov tako, da v API-ju Responses omogočijo večagentno delovanje⁠(odpre se v novem oknu). Tako deluje tudi nastavitev zmogljivosti Ultra v ChatGPT.

Čeprav GPT‑5.6 dobro presodi primerno število podagentov in trenutek za njihovo vzpostavitev, je večagentno vedenje mogoče zelo natančno usmerjati. Z navodili modelu, kdaj naj prikliče podagente, lahko povečamo verjetnost, da bo agente vzpostavil le takrat, ko dodatna poraba žetonov prinese boljše rezultate.

Za celotno družino modelov je najkrajši čas veljavnosti predpomnilnika pozivov podaljšan na 30 minut, prekinitvene točke predpomnilnika pa je zdaj mogoče deterministično nastaviti znotraj kontekstnega okna modela. Tako so lahko zagonska podjetja občutno izboljšala delež zadetkov v predpomnilniku.

Poleg nastavitve prekinitvenih točk predpomnilnika nadaljnja uporaba ustreznega ključa prompt_cache_key⁠(odpre se v novem oknu) poveča verjetnost, da bodo zahteve prispele v isti mehanizem sklepanja, ki je že obdelal isto predpono, s čimer se zmanjša zakasnitev.

V vseh teh primerih najbolj izstopa, kako močno se je spremenila ekonomika razvoja agentov.

Primeri uporabe, ki so nekoč na vsakem koraku zahtevali prelomni model, lahko zdaj z manjšimi modeli, prilagajanjem ravni sklepanja in učinkovitimi arhitekturnimi odločitvami dosežejo primerljive ali boljše rezultate za bistveno nižjo ceno.

Komaj čakamo, da vidimo, kaj boste ustvarili!