Napredek pri uporabi računalnikov s podjetjem Ironclad

Ko smo predstavili GPT‑6 Astra, smo pokazali, kako daleč so naši modeli napredovali pri uporabi računalnikov za strokovno delo, od priprave dokumentov do preizkušanja spletnih mest. Naš naslednji cilj je izboljšati sposobnost in učinkovitost agentov pri uporabi specializirane programske opreme za reševanje zapletenih poslovnih problemov. Raziskujemo, kako modele naučiti razumeti poslovna pravila podjetja, izvajati večstopenjske delovne tokove in preverjati, ali njihovo delo izpolnjuje prvotne zahteve.

Da bi pospešili te raziskave, neposredno sodelujemo z manjšim številom podjetij za razvoj programske opreme, ki te delovne tokove najbolje razumejo. Skupaj opredeljujemo zahtevne naloge z veliko dodano vrednostjo in jih pretvarjamo v raziskovalne probleme za učenje in vrednotenje naših modelov. S tem modeli postajajo zmogljivejši in uporabnejši v dejanskih poslovnih okoljih.

Naš prvi partner je Ironclad, vodilno podjetje na področju upravljanja pogodb z umetno inteligenco. V tesnem sodelovanju z ekipo podjetja Ironclad smo razvili naloge, pri katerih morajo agenti nastaviti pogodbe, odobritve in pravne določbe za večkratno uporabo, ter pokazali napredek pri teh zapletenih delovnih tokovih. Strokovno znanje podjetja Ironclad je bilo ključno pri opredelitvi uspešnega rezultata in neposrednem vključevanju dejanskih potreb strank v razvoj prelomnih modelov. Hvaležni smo za njihovo sodelovanje in z veseljem predstavljamo, kaj smo skupaj dosegli.

GPT‑6 Astra je naš prvi prelomni model, učen na nalogah v platformi Ironclad. Pri našem raziskovalnem vrednotenju je dosegel 32 % višjo povprečno oceno kot GPT‑5.6 Sol, ocenjeni čas na poskus pa je bil 48 % krajši.¹

Predstavljajte si ekipo za pravno operativno podporo, ki vzpostavlja postopek za nakup programske opreme. Finančni oddelek bo morda moral odobriti nakupe nad določenim zneskom, varnostni oddelek pregledati določene zahtevke, pravni oddelek pa pregledati nestandardne pogoje. Oseba, ki vzpostavlja postopek, mora ta kratek seznam pretvoriti v obrazec za oddajo zahtevkov, predloge dokumentov, pravila odobritve in evidenco končne pogodbe.

Agent umetne inteligence, ki opravlja isto delo, mora te zahteve ves čas upoštevati, ko se pomika po programski opremi. Nastaviti mora na primer odobritev finančnega oddelka za nakupe nad mejno vrednostjo in preveriti, ali zahtevki nad in pod njo potekajo po ustreznih poteh. Pravilna izvedba posameznih korakov ni dovolj: vzpostavljeni postopek mora delovati v vseh situacijah, za katere je zasnovan.

Zaposleni v podjetju Ironclad in uporabniki platforme Ironclad v podjetju OpenAI so našim raziskovalcem pomagali opredeliti 11 nalog s pravnega, komercialnega in nabavnega področja. Med njimi so bile naloge, kot so priprava sporazumov o nerazkritju informacij, vzpostavljanje postopkov odobritve nabave in posodobitev pravne klavzule za večkratno uporabo, tako da ustreza jurisdikciji, ki jo izbere vlagatelj zahtevka. Ocenjujemo, da bi izkušen uporabnik za to delo v povprečju potreboval približno 30 do 40 minut na nalogo.

Vsako nalogo smo ovrednotili po 8 do 50 merilih, odvisno od njene zahtevnosti. Tako smo lahko ugotovili, katere dele je model opravil pravilno in kje ni dosegel pričakovanj. Ironclad je zagotovil tudi gostovana programska okolja svojega izdelka, v katerih so modeli lahko vadili te naloge. Naši raziskovalci so na podlagi reprezentativnih delovnih tokov razvili sintetične učne naloge² in z okrepljenim učenjem pomagali modelom napredovati z vajo in povratnimi informacijami. Ta kombinacija – naloge, izbrane skupaj z ljudmi, ki delo poznajo, podrobna merila in okolje za vajo modelov – zagotavlja napredek pri nalogah iz prakse, ki so za naše stranke najpomembnejše.

Primerjali smo modela Astra in GPT‑5.6 Sol, pri čemer smo za model Astra uporabili nastavitev sklepanja Najvišje, za model Sol pa Visoko – nastavitvi, pri katerih je vsak model dosegel najboljšo oceno. Pri 11 raziskovalnih nalogah je model Astra dosegel povprečno oceno 55,0 %, GPT‑5.6 Sol pa 41,6 %. Ocenjeni povprečni čas na poskus se je s 37,0 minute pri modelu Sol skrajšal na 19,2 minute pri modelu Astra.³ Interni model, uporabljen pri razvoju modela Astra, je pri teh nalogah dosegel še boljših 63,7 %, te dodatne izboljšave pa nameravamo vključiti v prihodnje modele.

Model Astra je izpolnil več zahtev nalog ob krajšem simuliranem času na poskus. Spodnja posnetka prikazujeta, kako sta modela opravila isto raziskovalno nalogo. Model Astra (prvi posnetek) je izpolnil približno 94 % meril naloge v ocenjenih 20 minutah, GPT‑5.6 Sol (drugi posnetek) pa približno 85 % v ocenjenih 32 minutah.

Vloga podjetja Ironclad pri tem delu odraža izziv, ki ga njegove stranke dobro poznajo: postopek sklepanja pogodb mora omogočati obravnavo izjem in hkrati ohranjati pravila, na katerih temelji poslovanje. Če agent med izvajanjem naloge pozabi na katero od teh pravil, to omeji nabor nalog, ki mu jih lahko podjetje za razvoj programske opreme brez zadržkov zaupa. To poudarja, zakaj je človeški nadzor še vedno pomemben, čeprav agenti vse bolje opravljajo zahtevne pogodbene naloge, in zakaj celovita platforma za upravljanje pogodb ostaja nepogrešljiva. Sodelovanje z našimi raziskovalci podjetju Ironclad omogoča, da te izzive vključi v razvoj osnovnega modela, kjer jih lahko preučujemo skupaj.

Ko modeli postajajo zmogljivejši, jih lahko Ironclad vključi v več svojih izdelkov. Za pravne in poslovne ekipe bi to lahko pomenilo, da umetna inteligenca prevzame več dela pri zahtevnih pogodbenih postopkih, hkrati pa ohrani nadzorne mehanizme, na katere se te ekipe zanašajo.

Manjše število podjetij za razvoj programske opreme vabimo k neposrednemu sodelovanju z našimi raziskovalnimi in inženirskimi ekipami pri pomembnih strokovnih nalogah, ki jih današnji agenti še ne morejo zanesljivo opraviti. Če se vaša ekipa srečuje s takšno nalogo, bi si želeli ogledati konkreten primer: kaj naj agent naredi, dokaze o tem, kje mu spodleti, in kako bi presodili, ali je rezultat uspešen. Partnerji naj bi zagotovili tudi sodelavce, ki delo dobro poznajo, varno okolje za preizkušanje in podatke, ki jih je mogoče varno uporabiti za raziskave. To nam daje izhodišče za preučevanje neuspeha in merjenje napredka modela.

Če to velja za vašo ekipo, se prijavite za pogovor o možnostih raziskovalnega sodelovanja.