Nejnovější pokroky našich modelů přinášejí lepší schopnosti při vývoji a migraci softwaru v programovacích jazycích s omezeným množstvím trénovacích dat, jako jsou COBOL, Fortran a Visual Basic. Pro tyto jazyky je k dispozici méně kódu a dokumentace, ze kterých se modely mohou učit, než pro jazyky jako Python a JavaScript. Přesto na nich stojí kritická infrastruktura a základní služby po celém světě. COBOL zajišťuje chod(otevře se v novém okně) více než 40 % systémů internetového bankovnictví, 80 % transakcí kreditními kartami na fyzických prodejních místech a 95 % transakcí v bankomatech. Fortran se zase používá při předpovídání počasí(otevře se v novém okně) a analýze bezpečnosti jaderných reaktorů(otevře se v novém okně). Lepší schopnost AI pracovat v těchto jazycích by mohla týmům pomoci udržovat a modernizovat software, na kterém závisejí základní služby.
V této práci vycházíme ze zpětné vazby vývojářů a firemních zákazníků, kteří nám sdělili, že programovací modely mají s těmito jazyky často potíže. Údržba a modernizace takového softwaru může být náročná: dokumentace bývá neúplná, původní vývojáři už mohli firmu opustit a důležitá obchodní pravidla mohou být zachycena pouze v kódu. Ať už týmy opravují chyby, nebo migrují do jiného jazyka, musejí zachovat chování, na kterém jejich systémy závisejí.
Abychom mohli měřit pokrok, vyvinuli jsme dvě hodnocení. MultiLangBench testuje, zda model dokáže od základu vytvořit databázový engine kompatibilní se SQLite ve 20 různých programovacích jazycích. Naše hodnocení migrace z COBOLu testuje, zda model dokáže převést stávající programy do jiného jazyka a přitom zachovat jejich chování. Společně ověřují dvě vzájemně se doplňující dovednosti: tvorbu nového softwaru a zachování funkcí toho stávajícího.
Naše nejnovější modely vykazují v obou hodnoceních výrazné zlepšení a dosahují mnohem vyšší přesnosti při nižších nákladech.
V hodnocení MultiLangBench dosahuje GPT‑6 Astra průměrné úspěšnosti v testech 87,4 % napříč 20 programovacími jazyky oproti 26,8 % u GPT‑5.6 Sol. Zlepšení se projevuje v každém testovaném jazyce. GPT‑6 Luna rovněž překonává GPT‑5.6 Sol: dosahuje 40,3 % při přibližně o 78 % nižších odhadovaných nákladech na API.
V našem hodnocení migrace z COBOLu dosahuje GPT‑6.1 Sol při nízké míře uvažování přesnosti 86,6 % oproti pouhým 5,4 % u GPT‑5.6 Sol, a to při o 39 % nižších nákladech. Při vyšší míře uvažování dosahuje přesnost 97,9 %, tedy téměř maxima, které toto hodnocení dokáže měřit.
Tyto výsledky společně ukazují, že naše modely pracují s širokou škálou programovacích jazyků výrazně lépe a zároveň hospodárněji.
V hodnocení MultiLangBench má model za úkol vytvořit databázový engine kompatibilní se SQLite v zadaném programovacím jazyce. Model musí uspořádat kódovou základnu, spravovat stav, ošetřovat chyby a přidávat nové funkce při zachování těch stávajících.
Abychom mohli porovnávat implementace v různých jazycích, používáme jako společné rozhraní databázové soubory. Testovaný program obdrží výchozí databázi a SQL dotaz a následně vytvoří upravenou databázi. Pomocí referenční implementace SQLite ověřujeme, zda výsledná databáze obsahuje očekávaná data. Díky tomu můžeme použít stejné testy bez ohledu na jazyk, ve kterém je engine napsán.
Tomuto formátu jsme přizpůsobili testy ze stávající testovací sady SQLite. Hodnocení měří, kolik funkčních prvků dokáže model vytvořit během delšího programování, a uvádí jak úspěšnost v testech, tak náklady na API.
Při maximální míře uvažování dosahuje GPT‑6 Astra průměrné úspěšnosti v testech 87,4 % napříč 20 jazyky oproti 26,8 % u GPT‑5.6 Sol. Zlepšení se projevuje v každém testovaném jazyce včetně COBOLu (z 10,9 % na 72,1 %), OCamlu (z 25,6 % na 85,8 %), Fortranu (z 21,4 % na 83,5 %) a Visual Basicu (z 27,5 % na 89,4 %). Astra dosahuje skóre přes 83 % v 19 z 20 jazyků. Nejnáročnější zůstává COBOL se 72 %.
GPT‑6 Luna nabízí levnější variantu, která rovněž překonává GPT‑5.6 Sol v každém testovaném jazyce. Při maximální míře uvažování dosahuje průměrné úspěšnosti v testech 40,3 %. Zlepšení zahrnuje COBOL (z 10,9 % na 17,1 %), OCaml (z 25,6 % na 34,1 %), Fortran (z 21,4 % na 31,4 %) a Visual Basic (z 27,5 % na 41,6 %). Těchto zlepšení dosahuje při odhadovaných průměrných nákladech na API ve výši 0,77 USD na vzorek oproti 3,48 USD u GPT‑5.6 Sol, tedy přibližně o 78 % levněji.
Na GitHubu(otevře se v novém okně) zveřejňujeme prostředí pro hodnocení MultiLangBench a jeho testovací sadu spolu s výsledky pro jednotlivé jazyky. Vývojáři si mohou prohlédnout, co hodnocení testuje, prostudovat výsledky v jazycích, které používají, a zjistit, jaké nedostatky jsou podstatné pro jejich vlastní práci.
V našem druhém hodnocení mají modely za úkol převést programy z COBOLu do C++, Javy, Kotlinu, Pythonu nebo Rustu a přitom zachovat funkce každého programu.
Úspěšná migrace vyžaduje porozumění jak obchodní logice programu, tak specifickému chování jazyka COBOL. Programy v COBOLu často zpracovávají finanční transakce a obchodní záznamy, u nichž podrobnosti jako pravidla zaokrouhlování a způsob zacházení s chybějícími záznamy odrážejí obchodní požadavky. Například aritmetika s pevnou řádovou čárkou v COBOLu zahazuje přebytečné desetinné číslice, pokud není výslovně požadováno zaokrouhlení. Přepsaný program, který tyto hodnoty místo toho zaokrouhluje, může běžet bez chyb, a přesto poskytovat odlišné finanční výsledky.
Abychom ověřili, zda se toto chování zachovalo, hodnotíme naše modely pomocí skrytých testů, které vyžadují shodu pozorovatelných výstupů bajt po bajtu. Migraci považujeme za úspěšnou pouze tehdy, pokud program projde všemi testy. Tyto schopnosti zachovat chování jsou užitečné pro týmy, které udržují a modernizují starší systémy. Jejich využití u produkčního softwaru však stále vyžaduje odbornou kontrolu a testování vůči obchodním pravidlům a závislostem systému.
V tomto hodnocení dosahuje GPT‑6.1 Sol při nízké míře uvažování přesnosti 86,6 % oproti 5,4 % u GPT‑5.6 Sol při stejném nastavení, a to za pouhých 61 % nákladů na API. Při vyšší míře uvažování dosahuje přesnost 97,9 %, čímž se blíží maximu, které toto hodnocení dokáže měřit. Výsledky tohoto hodnocení dokládají pokrok směrem k přesnější a cenově dostupnější migraci kódu pro týmy, které modernizují software nezbytný pro fungování svých firem.
Tato hodnocení spolu s přímou zpětnou vazbou od vývojářů a firemních zákazníků nám pomáhají zjistit, v čem se naše modely zlepšují a kde mají stále nedostatky.
Naším cílem je pomoci modelům uplatňovat dovednosti softwarového inženýrství ve více jazycích: orientovat se v neznámých úložištích, plánovat změny, používat nástroje pro sestavení, spouštět testy a odstraňovat chyby.
Naše nejnovější modely si můžete vyzkoušet prostřednictvím API na programovacích úlohách v jazycích, které váš tým používá. Vaše zpětná vazba o tom, co funguje, s čím mají modely potíže a na které jazyky či pracovní postupy se máme zaměřit příště, pomáhá utvářet způsob, jakým modely trénujeme a hodnotíme, aby lépe podporovaly software, na kterém závisíte.
