GPT-6.1Sol

Predstavljamo GPT-6.1 Sol, nadgradnjo modela GPT-6 Sol, ki se pri agentskem kodiranju, uporabi računalnika in strokovnem delu po inteligenci skoraj kosa z modelom GPT-6 Astra, in sicer po petini standardnih cen vhodnih in izhodnih žetonov modela Astra. Predpomnjeni vhod stane le 0,10 $ na milijon žetonov– 95 % manj od standardne cene vhoda in 50 % manj od cene predpomnjenega vhoda modela GPT-6 Sol. Razvijalcem tako omogoča več prostora za ustvarjanje in izvajanje zmogljivih agentov, ki znova uporabljajo kontekst pri različnih zahtevah.

Zmogljivejši Sol za različne naloge

GPT-6.1 Sol ponuja novo razmerje med zmogljivostjo in stroški za pomembno vsakdanje delo. Pri zahtevnih strokovnih nalogah prinaša občutne izboljšave v primerjavi z modelom GPT-6 Sol, od pisanja in razhroščevanja kode do razumevanja dokumentov in izvajanja večstopenjskih poslovnih delovnih tokov. Pri več teh ocenjevanjih se približa zmogljivosti modela GPT-6 Astra ob bistveno nižjih stroških.

Kodiranje

Na preizkusu DeepSWE v1.1, ki ocenjuje zahtevne naloge programskega inženirstva v resničnih zbirkah kode, se GPT-6.1 Sol izenači z modelom GPT-6 Astra ob približno petini stroškov. Obenem najboljši rezultat modela GPT-6 Sol preseže za 6,4 odstotne točke, in to ob nižji ravni napora pri sklepanju in nižjih stroških.

Strokovno delo

Na preizkusu GDP.pdf, ki meri, kako natančno modeli odgovarjajo na strokovna vprašanja na podlagi zahtevnih dokumentov PDF, vključno s tabelami, grafikoni, diagrami in podrobnostmi v drobnem tisku, GPT-6.1 Sol dosega boljši rezultat od modela Opus 5.5 z rezervnimi modeli ob manj kot polovici stroškov na nalogo pri preizkušenih nastavitvah sklepanja. Približa se tudi vrhunski zmogljivosti modela GPT-6 Astra ob približno petini stroškov na nalogo.

Na preizkusu AutomationBench, ki meri, ali agenti pravilno opravijo večstopenjske poslovne delovne tokove, GPT-6.1 Sol pri srednji ravni napora pri sklepanju dosega za 2,2 odstotne točke boljši rezultat od modela Opus 5.5 ob približno tretjini stroškov. Ta rezultat je tudi za 4,8 odstotne točke višji od rezultata modela GPT-6 Sol pri isti nastavitvi.

Uporaba računalnika

GPT-6.1 Sol občutno napreduje tudi pri nalogah, ki zahtevajo interakcijo z računalniškimi aplikacijami. Na naboru brez povezave preizkusa OSWorld 2.0, ki agente ocenjuje pri zahtevnih delovnih tokovih z uporabo računalnika, GPT-6.1 Sol pri najvišji ravni napora pri sklepanju preseže GPT-6 Sol za sedem odstotnih točk ob manj kot polovici stroškov. Pri najvišji ravni napora pri sklepanju za rezultatom Astre zaostane le za 2,1 odstotne točke ob približno sedmini stroškov na nalogo.

Znanstveno raziskovanje

Na preizkusu Terminal-Bench Science 0.1, ki ocenjuje znanstvene delovne tokove, vključno z analizo podatkov, simulacijami in dokazovanjem izrekov, GPT-6.1 Sol pri najvišji ravni napora pri sklepanju doseže več kot dvakratnik rezultata modela GPT-6 Sol ob manj kot polovici stroškov na nalogo. Pri najvišji ravni napora GPT-6.1 Sol v povprečju stane 5,47 $ na nalogo, v primerjavi s 23,21 $ za Opus 5.5 in 23,80 $ za Astro. Tako zagotavlja visoko zmogljivost pri znanstvenih nalogah ob več kot 75 % nižjih stroških od obeh modelov.

GPT-6 Astra z 68,1 % še vedno dosega najvišji rezultat med preizkušenimi modeli in je priporočena izbira za najzahtevnejše znanstvenoraziskovalne naloge.

Stvarna pravilnost

GPT-6.1 Sol izboljšuje tudi stvarno pravilnost pri zahtevnih pozivih. Njegovo največje izboljšanje stvarne oz. faktografske pravilnosti v primerjavi z GPT-6 Sol se pokaže pri nizki ravni napora pri sklepanju, kjer zmanjša delež odgovorov, ki vsebujejo faktografsko napako, z 11,4 % na 7,7 % – kar pomeni približno 32-odstotno zmanjšanje. Pri vseh preizkušenih ravneh napora pri sklepanju njegova stopnja napak ostaja največ 1,9 odstotne točke oddaljena od stopnje napak modela GPT-6 Astra, pri čemer strošek na nalogo znaša manj kot petino stroška modela GPT-6 Astra.

To ocenjevanje meri delež odgovorov z vsaj eno stvarno napako v pogovorih z odstranjenimi identifikacijskimi podatki, v katerih so uporabniki označili napako prejšnjega modela. Ti namerno zahtevni pozivi niso reprezentativni za običajno uporabo.

Varna uvedba modela GPT-6.1 Sol

GPT-6.1 Sol pri naših ocenjevanjih usklajenosti kaže občutne izboljšave glede na GPT-6 Sol in se tako približuje modelu GPT-6 Astra.

GPT-6.1 Sol bolj odkrito razkriva svoje omejitve ter zanesljiveje upošteva uporabnikov namen in varnostne omejitve. Pri zahtevnih ocenjevanjih ima nižje deleže napak kot GPT-6 Sol pri razkrivanju težav z nedelujočimi iskalnimi orodji, upoštevanju izrecnih omejitev in preprečevanju nepooblaščenih izidov med agentskimi nalogami. Nismo opazili nobenega poskusa izogibanja samodejnemu varnostnemu pregledovalniku, enako kot pri modelih GPT-6 Astra in GPT-6 Sol. Celotne podrobnosti so na voljo v dodatku k sistemskemu dokumentu GPT-6.1 Sol⁠(odpre se v novem oknu).

Spodnja ocenjevanja namerno preizkušajo zahtevne situacije in ne merijo deležev napak pri običajni uporabi.

Cene in razpoložljivost

GPT-6.1 Sol je od danes na voljo vsem uporabnikom paketov Plus, Pro, Business, Enterprise in Edu v načinu ChatGPT Work in orodju Codex. GPT-6.1 Sol še ni na voljo v načinu Chat. Razvijalci lahko do njega dostopajo tudi prek API-ja OpenAI kot gpt-6.1-sol. Njegove standardne cene v API-ju so 2 $ na milijon vhodnih žetonov, 0,10 $ na milijon predpomnjenih vhodnih žetonov in 10 $ na milijon izhodnih žetonov. V prihodnjih dneh bomo ponudili tudi izjemno hitri GPT-6.1 Sol Ultrafast⁠, ki v primerjavi s standardno hitrostjo v Codexu omogoča do 8-krat hitrejše generiranje z žetoni.