S Ironclad posouváme schopnosti AI používat počítače

Když jsme představili GPT‑6 Astra, ukázali jsme, jak daleko naše modely pokročily v používání počítačů pro odbornou práci, od přípravy dokumentů po testování webů. Naším dalším cílem je zlepšit schopnosti a efektivitu agentů při používání specializovaného softwaru k řešení složitých firemních problémů. Zkoumáme, jak modely trénovat, aby rozuměly firemním pravidlům, prováděly vícekrokové pracovní postupy a ověřovaly, že jejich práce splňuje původní požadavky.

Abychom tento výzkum urychlili, spolupracujeme přímo s několika softwarovými společnostmi, které těmto pracovním postupům rozumějí nejlépe. Společně vybíráme náročné úkoly s velkým přínosem a převádíme je na výzkumné problémy pro trénování a hodnocení našich modelů. Díky tomu budou naše modely schopnější a užitečnější při reálném využití ve firmách.

Naším prvním partnerem je Ironclad, přední společnost v oblasti správy smluv s využitím AI. V úzké spolupráci s týmem společnosti Ironclad jsme vytvořili úkoly, v nichž agenti musí nastavovat smlouvy, schvalovací postupy a opakovaně použitelné smluvní podmínky, a ukázali jsme pokrok ve zvládání těchto složitých pracovních postupů. Odborné znalosti společnosti Ironclad byly zásadní pro vymezení toho, co znamená úspěšný výsledek, i pro přímé promítnutí skutečných potřeb zákazníků do vývoje průkopnických modelů. Za toto partnerství jsme vděční a těší nás, že se můžeme podělit o to, čeho jsme společně dosáhli.

GPT‑6 Astra je náš první průkopnický model trénovaný na úkolech z platformy Ironclad. V našem výzkumném hodnocení dosáhl průměrného skóre o 32 % vyššího než GPT‑5.6 Sol, zatímco odhadovaný čas na jeden pokus byl o 48 % kratší.¹

Představte si tým zajišťující provoz právního oddělení, který nastavuje proces nákupu softwaru. Nákupy nad určitou částku může být nutné nechat schválit finančním oddělením, některé žádosti musí posoudit bezpečnostní tým a nestandardní podmínky může být potřeba předložit právnímu oddělení. Člověk, který proces nastavuje, musí tento stručný seznam převést do formuláře pro zadávání žádostí, šablon dokumentů, schvalovacích pravidel a záznamu konečné smlouvy.

AI agent, který vykonává tutéž práci, musí mít tyto požadavky na paměti po celou dobu práce v softwaru. Musí například nastavit schvalování finančním oddělením při překročení výdajového limitu a ověřit, že žádosti nad i pod tímto limitem procházejí správnými postupy. Nestačí správně provést jednotlivé kroky: hotový proces musí fungovat ve všech situacích, pro které byl navržen.

Zaměstnanci společnosti Ironclad a lidé, kteří její platformu používají v OpenAI, pomohli našim výzkumníkům vybrat 11 úkolů z oblasti práva, obchodu a nákupu. Patřilo mezi ně například nastavení dohod o mlčenlivosti, vytváření schvalovacích procesů pro nákup nebo úprava opakovaně použitelné smluvní doložky tak, aby odpovídala jurisdikci zvolené žadatelem. Odhadujeme, že zkušenému uživateli by tato práce zabrala v průměru přibližně 30 až 40 minut na úkol.

Každý úkol jsme podle jeho složitosti hodnotili na základě 8 až 50 kritérií. Díky tomu jsme viděli, které části model zvládl správně a kde měl nedostatky. Ironclad také poskytl hostovaná prostředí svého produktu, v nichž si modely mohly tyto úkoly procvičovat. Naši výzkumníci vytvořili syntetické trénovací úkoly² založené na typických pracovních postupech a pomocí učení posilováním modelům umožnili zlepšovat se procvičováním a zpětnou vazbou. Kombinace úkolů vybraných s lidmi, kteří danou práci znají, podrobných kritérií a prostředí pro procvičování zajišťuje, že modely zlepšujeme v reálných úkolech, které jsou pro naše zákazníky nejdůležitější.

Porovnali jsme modely Astra a GPT‑5.6 Sol, přičemž u modelu Astra jsme použili úroveň uvažování Max a u modelu Sol úroveň Vysoká. S těmito nastaveními dosáhl každý z modelů nejvyššího skóre. V 11 výzkumných úkolech dosáhl model Astra průměrného skóre 55,0 % oproti 41,6 % u GPT‑5.6 Sol, zatímco odhadovaný průměrný čas na jeden pokus klesl z 37,0 minut u modelu Sol na 19,2 minuty u modelu Astra.³ Interní model používaný při vývoji modelu Astra dosáhl v těchto úkolech ještě lepšího výsledku 63,7 %. Naším cílem je přenést tato další zlepšení do budoucích modelů.

Model Astra splnil více požadavků úkolů za kratší simulovaný čas na jeden pokus. Dvě videa níže ukazují, jak si modely poradily se stejným výzkumným úkolem. Model Astra (v prvním videu) splnil přibližně 94 % kritérií úkolu za odhadovaných 20 minut; GPT‑5.6 Sol (ve druhém videu) splnil přibližně 85 % za odhadovaných 32 minut.

Role společnosti Ironclad v tomto výzkumu odráží problém, který její zákazníci dobře znají: smluvní proces musí zvládat výjimky a zároveň zachovávat pravidla, na nichž fungování firmy závisí. Pokud agent v průběhu úkolu některé z těchto pravidel ztratí ze zřetele, omezuje to rozsah činností, které mu softwarová společnost může s důvěrou svěřit. To ukazuje, proč je lidský dohled důležitý i v době, kdy agenti zvládají složité smluvní úkoly stále lépe, a proč je komplexní platforma pro správu smluv i nadále nezbytná. Spolupráce s našimi výzkumníky umožňuje společnosti Ironclad přenést tyto problémy přímo do vývoje samotného modelu, kde je můžeme společně zkoumat.

S rostoucími schopnostmi modelů má Ironclad příležitost využívat je ve více vlastních produktech. Pro právní a obchodní týmy by to mohlo znamenat, že AI převezme větší část práce spojené se složitými smluvními procesy a přitom zachová kontrolní mechanismy, na které se tyto týmy spoléhají.

Zveme omezený počet softwarových společností k přímé spolupráci s našimi výzkumnými a technickými týmy na důležitých odborných úkolech, které dnešní agenti ještě nedokážou spolehlivě dokončit. Pokud váš tým takový úkol řeší, rádi bychom viděli konkrétní příklad: co od agenta požadujete, doložení toho, kde selhává, a podle čeho byste posuzovali úspěšný výsledek. Partneři by také měli být schopni zapojit lidi s hlubokou znalostí dané práce, poskytnout zabezpečené prostředí pro testování a data, která lze bezpečně využít pro výzkum. Tím získáme výchozí bod pro zkoumání příčin selhání a měření toho, zda se model zlepšuje.

Pokud to odpovídá možnostem vašeho týmu, přihlaste se a prozkoumejte s námi možnosti výzkumné spolupráce.