GPT-6.1Sol

Predstavljamo GPT-6.1 Sol, nadogradnju modela GPT-6 Sol koja se po inteligenciji u kodiranju s agentima, korištenju računara i stručnom radu gotovo može mjeriti sa modelom GPT-6 Astra, uz petinu Astrinih standardnih cijena ulaznih i izlaznih tokena. Keširani ulaz košta samo 0,10 USD po milionu tokena— 95% manje od standardne cijene ulaza i 50% manje od cijene keširanog ulaza modela GPT-6 Sol — čime programerima daje više prostora za razvoj i pokretanje sposobnih agenata koji ponovo koriste kontekst u više zahtjeva.

Sposobniji Sol za različite zadatke

GPT-6.1 Sol nudi novi odnos sposobnosti i troškova za važne svakodnevne poslove. Donosi značajna poboljšanja u odnosu na GPT-6 Sol u složenim stručnim zadacima, od pisanja koda i otklanjanja grešaka do razumijevanja dokumenata i izvršavanja poslovnih procesa sa više koraka. U nekoliko ovih evaluacija približava se performansama modela GPT-6 Astra uz znatno niže troškove.

Kodiranje

Na testu DeepSWE v1.1, koji procjenjuje složene zadatke softverskog inženjerstva u stvarnim bazama koda, GPT-6.1 Sol postiže isti rezultat kao GPT-6 Astra uz približno petinu troška, a najbolji rezultat modela GPT-6 Sol nadmašuje za 6,4 procentna poena uz manji napor pri rezonovanju i niži trošak.

Stručni rad

Na testu GDP.pdf, koji mjeri koliko tačno modeli odgovaraju na stručna pitanja koristeći složene PDF dokumente, uključujući tabele, grafikone, dijagrame i detalje pisane sitnim slovima, GPT-6.1 Sol postiže bolji rezultat od modela Opus 5.5 s rezervnim modelima, uz manje od polovine troška po zadatku pri testiranim postavkama rezonovanja. Također se približava vodećim performansama modela GPT-6 Astra uz približno petinu troška po zadatku.

Na testu AutomationBench, koji mjeri izvršavaju li agenti ispravno poslovne procese s više koraka, GPT-6.1 Sol uz srednji napor pri rezonovanju postiže rezultat za 2,2 procentna poena bolji od modela Opus 5.5, uz približno trećinu troška. Taj rezultat je i za 4,8 procentnih poena bolji od rezultata modela GPT-6 Sol pri istoj postavci.

Korištenje računara

GPT-6.1 Sol također ostvaruje značajan napredak u zadacima koji zahtijevaju interakciju s računarskim aplikacijama. Na vanmrežnom skupu testa OSWorld 2.0, koji procjenjuje agente u zahtjevnim radnim procesima na računaru, GPT-6.1 Sol nadmašuje GPT-6 Sol za sedam procentnih poena uz maksimalan napor pri rezonovanju i manje od polovine troška. Uz maksimalan napor pri rezonovanju zaostaje za Astrinim rezultatom za samo 2,1 procentni poen, uz približno sedminu troška po zadatku.

Naučno istraživanje

Na testu Terminal-Bench Science 0.1, koji procjenjuje naučne radne procese, uključujući analizu podataka, simulaciju i dokazivanje teorema, GPT-6.1 Sol postiže više nego dvostruko bolji rezultat od modela GPT-6 Sol uz maksimalan napor pri rezonovanju i manje od polovine troška po zadatku. Uz maksimalan napor pri rezonovanju, GPT-6.1 Sol u prosjeku košta 5,47 USD po zadatku, u poređenju sa 23,21 USD za Opus 5.5 i 23,80 USD za Astru, pružajući snažne naučne sposobnosti uz preko 75% niži trošak od oba modela.

GPT-6 Astra i dalje postiže najbolji rezultat među testiranim modelima, 68,1%, te ga treba koristiti za najteže naučnoistraživačke zadatke.

Činjenična tačnost

GPT-6.1 Sol također poboljšava činjeničnu tačnost odgovora na zahtjevne upite. Njegovo najveće poboljšanje činjenične tačnosti u odnosu na GPT-6 Sol ostvaruje se uz nizak napor pri rezonovanju, pri čemu smanjuje udio odgovora koji sadrže činjeničnu grešku sa 11,4% na 7,7% — smanjenje od približno 32%. Pri svim testiranim postavkama rezonovanja, njegova stopa grešaka ostaje unutar 1,9 procentnih poena od GPT-6 Astre, uz manje od jedne petine troška po zadatku.

Ova evaluacija mjeri udio odgovora koji sadrže barem jednu činjeničnu grešku u razgovorima iz kojih su uklonjeni identifikacijski podaci, a u kojima su korisnici označili grešku ranijeg modela. Ovi namjerno zahtjevni upiti nisu reprezentativni za uobičajenu upotrebu.

Sigurno uvođenje modela GPT-6.1 Sol

GPT-6.1 Sol pokazuje značajna poboljšanja u odnosu na GPT-6 Sol u našim evaluacijama usklađenosti, čime se približava modelu GPT-6 Astra.

GPT-6.1 Sol otvorenije govori o svojim ograničenjima i pouzdanije poštuje namjeru korisnika i sigurnosna ograničenja. U zahtjevnim evaluacijama ima niže stope propusta od modela GPT-6 Sol kada je riječ o obavještavanju o neispravnim alatima za pretragu, poštovanju izričitih ograničenja i izbjegavanju neovlaštenih ishoda tokom agentskih zadataka. Nismo uočili pokušaje zaobilaženja automatizovanog sistema za sigurnosnu provjeru, kao ni kod modela GPT-6 Astra i GPT-6 Sol. Potpuni detalji mogu se pronaći u dodatku kartice sistema za GPT-6.1 Sol⁠(otvara se u novom prozoru).

Evaluacije u nastavku namjerno ispituju zahtjevne situacije i ne mjere stope propusta u uobičajenoj upotrebi.

Cijene i dostupnost

GPT-6.1 Sol je od danas dostupan svim korisnicima planova Plus, Pro, Business, Enterprise i Edu u načinu rada ChatGPT Work i alatu Codex. GPT-6.1 Sol još nije dostupan u načinu rada Chat. Programeri mu mogu pristupiti i putem OpenAI API-ja pod nazivom gpt-6.1-sol. Njegove standardne API cijene iznose 2 USD po milionu ulaznih tokena, 0,10 USD po milionu keširanih ulaznih tokena i 10 USD po milionu izlaznih tokena. U narednim danima ponudit ćemo i GPT-6.1 Sol Ultrafast⁠, sa do 8 puta bržim generiranjem tokena u odnosu na njegovu standardnu brzinu u Codexu.