GPT-6.1Sol

Představujeme GPT-6.1 Sol, vylepšenou verzi GPT-6 Sol, která se v agentním programování, ovládání počítače a odborné práci téměř vyrovná inteligenci modelu GPT-6 Astra, a to za pětinu standardních cen vstupních a výstupních tokenů modelu Astra. Vstup uložený v mezipaměti stojí pouhých 0,10 $ za milion tokenů– o 95 % méně než standardní vstup a o 50 % méně než vstup uložený v mezipaměti u GPT-6 Sol. Vývojářům tak dává více prostoru vytvářet a provozovat schopné agenty, kteří znovu využívají kontext v rámci různých požadavků.

Schopnější Sol v nejrůznějších úkolech

GPT-6.1 Sol nabízí nový poměr schopností a ceny pro důležitou každodenní práci. Oproti GPT-6 Sol přináší výrazné zlepšení při náročných odborných úkolech, od psaní a ladění kódu přes porozumění dokumentům až po provádění vícekrokových firemních postupů. V několika z těchto hodnocení se blíží výkonu modelu GPT-6 Astra při podstatně nižších nákladech.

Kódování

V testu DeepSWE v1.1, který hodnotí složité úkoly softwarového inženýrství ve skutečných kódových základnách, se GPT-6.1 Sol vyrovná modelu GPT-6 Astra za zhruba pětinové náklady. Zároveň překonává nejlepší skóre modelu GPT-6 Sol o 6,4 procentního bodu při nižší intenzitě uvažování i nižších nákladech.

Odborná práce

Test GDP.pdf měří, jak přesně modely odpovídají na odborné otázky pomocí složitých dokumentů PDF, včetně tabulek, grafů, diagramů a detailů psaných drobným písmem. GPT-6.1 Sol v něm napříč testovanými nastaveními uvažování dosahuje vyššího skóre než Opus 5.5 se záložními postupy, a to za méně než poloviční náklady na úkol. Zároveň se blíží špičkovému výkonu modelu GPT-6 Astra za zhruba pětinové náklady na úkol.

V testu AutomationBench, který měří, zda agenti správně provádějí vícekrokové firemní postupy, dosahuje GPT-6.1 Sol při střední intenzitě uvažování skóre o 2,2 procentního bodu vyššího než Opus 5.5, a to za zhruba třetinové náklady. Toto skóre je také o 4,8 procentního bodu vyšší než u GPT-6 Sol při stejném nastavení.

Ovládání počítače

GPT-6.1 Sol výrazně pokročil také v úkolech, které vyžadují práci s počítačovými aplikacemi. Na offline testovací sadě OSWorld 2.0, která hodnotí agenty při náročných pracovních postupech vyžadujících ovládání počítače, překonává GPT-6.1 Sol model GPT-6 Sol o sedm procentních bodů při maximální intenzitě uvažování a za méně než poloviční náklady. Při maximální intenzitě uvažování zaostává za skóre modelu Astra jen o 2,1 procentního bodu, a to za zhruba sedminové náklady na úkol.

Vědecký výzkum

V testu Terminal-Bench Science 0.1, který hodnotí vědecké postupy včetně analýzy dat, simulací a dokazování teorémů, dosahuje GPT-6.1 Sol při maximální intenzitě uvažování více než dvojnásobného skóre oproti GPT-6 Sol, a to za méně než poloviční náklady na úkol. Při maximální intenzitě uvažování stojí GPT-6.1 Sol v průměru 5,47 $ na úkol, oproti 23,21 $ u Opus 5.5 a 23,80 $ u modelu Astra. Nabízí tak značné schopnosti pro vědeckou práci za náklady o více než 75 % nižší než u obou těchto modelů.

GPT-6 Astra nadále dosahuje nejvyššího skóre mezi testovanými modely, a to 68,1 %, a měl by se používat pro nejnáročnější úkoly vědeckého výzkumu.

Faktická správnost

GPT-6.1 Sol také zlepšuje faktickou správnost odpovědí na náročné prompty. Největšího zlepšení faktické správnosti oproti GPT-6 Sol dosahuje při nízké intenzitě uvažování, kdy snižuje podíl odpovědí obsahujících faktickou chybu z 11,4 % na 7,7 % – tedy přibližně o 32 %. Ve všech testovaných nastaveních uvažování zůstává jeho míra chybovosti do 1,9 procentního bodu od modelu GPT-6 Astra, a to při nákladech na úkol nižších než jedna pětina.

Toto hodnocení měří podíl odpovědí s alespoň jednou faktickou chybou v konverzacích zbavených identifikačních údajů, v nichž uživatelé upozornili na chybu dřívějšího modelu. Tyto záměrně náročné prompty nejsou reprezentativní pro běžné používání.

Bezpečné nasazení GPT-6.1 Sol

V našich hodnoceních sladění modelů vykazuje GPT-6.1 Sol oproti GPT-6 Sol výrazné zlepšení a přibližuje se modelu GPT-6 Astra.

GPT-6.1 Sol otevřeněji informuje o svých omezeních a spolehlivěji respektuje záměr uživatele i bezpečnostní omezení. V náročných hodnoceních vykazuje ve srovnání s GPT-6 Sol nižší míru selhání při informování o nefunkčních vyhledávacích nástrojích, respektování výslovných omezení a předcházení neoprávněným výsledkům při agentních úkolech. Nezaznamenali jsme žádné pokusy o obejití automatizované bezpečnostní kontroly, stejně jako u GPT-6 Astra a GPT-6 Sol. Úplné podrobnosti najdete v dodatku ke kartě systému GPT-6.1 Sol⁠(otevře se v novém okně).

Níže uvedená hodnocení záměrně testují náročné situace a neměří míru selhání při běžném používání.

Ceny a dostupnost

GPT-6.1 Sol je ode dneška dostupný všem uživatelům tarifů Plus, Pro, Business, Enterprise a Edu v ChatGPT Work a Codexu. GPT-6.1 Sol zatím není dostupný v Chat. Vývojáři k němu mají přístup také prostřednictvím API OpenAI pod označením gpt-6.1-sol. Standardní ceny API jsou 2 USD za milion vstupních tokenů, 0,10 USD za milion vstupních tokenů v mezipaměti a 10 USD za milion výstupních tokenů. V nadcházejících dnech také nabídneme GPT-6.1 Sol Ultrarychlý⁠ s až 8× rychlejším generováním tokenů oproti standardní rychlosti v Codexu.