Kompiuterių naudojimo tobulinimas su „Ironclad“

Pristatydami GPT‑6 Astra, parodėme, kiek mūsų modeliai pažengė naudodamiesi kompiuteriais profesinėms užduotims atlikti – nuo dokumentų rengimo iki svetainių testavimo. Kitas mūsų tikslas – padėti agentams geriau ir efektyviau naudotis specializuota programine įranga sudėtingoms verslo problemoms spręsti. Tiriame, kaip išmokyti modelius suprasti įmonės verslo taisykles, vykdyti kelių etapų darbo eigas ir patikrinti, ar jų darbas atitinka pradinius reikalavimus.

Siekdami paspartinti šiuos tyrimus, tiesiogiai bendradarbiaujame su nedideliu skaičiumi programinės įrangos bendrovių, kurios geriausiai išmano šias darbo eigas. Kartu atrenkame sudėtingas, didelę vertę kuriančias užduotis ir paverčiame jas tyrimo uždaviniais modeliams mokyti ir vertinti. Taip siekiame išplėsti modelių galimybes ir padidinti jų naudą praktiniam taikymui versle.

Pirmoji mūsų partnerė – „Ironclad“, DI pagrįsto sutarčių valdymo lyderė. Glaudžiai bendradarbiaudami su „Ironclad“ komanda, sukūrėme užduočių, kuriose agentai turi konfigūruoti sutartis, patvirtinimus ir pakartotinai naudojamas teisines sąlygas, ir parodėme pažangą vykdant šias sudėtingas darbo eigas. „Ironclad“ patirtis buvo itin svarbi apibrėžiant sėkmės kriterijus ir tiesiogiai įtraukiant tikruosius klientų poreikius į priešakinių modelių kūrimą. Esame dėkingi už partnerystę ir džiaugiamės galėdami pasidalyti tuo, ką pasiekėme kartu.

GPT‑6 Astra – pirmasis mūsų priešakinis modelis, mokytas atlikti „Ironclad“ užduotis. Mūsų tyrimo vertinime jo vidutinis įvertis buvo 32 % aukštesnis nei GPT‑5.6 Sol, o numatoma vieno bandymo trukmė – 48 % trumpesnė.¹

Įsivaizduokite teisinių operacijų komandą, kuri rengia programinės įrangos pirkimo procesą. Finansų skyriui gali reikėti patvirtinti pirkimus, viršijančius tam tikrą sumą, saugumo skyriui – peržiūrėti tam tikras užklausas, o teisės skyriui – nestandartines sąlygas. Procesą rengiantis žmogus pagal šį trumpą sąrašą turi sukurti užklausos formą, dokumentų šablonus, patvirtinimo taisykles ir galutinės sutarties įrašą.

Tą patį darbą atliekantis DI agentas, veikdamas programinėje įrangoje, turi nuolat atsižvelgti į šiuos reikalavimus. Pavyzdžiui, jis turi nustatyti, kad viršijus išlaidų ribą būtų būtinas finansų skyriaus patvirtinimas, ir patikrinti, ar tiek šią ribą viršijančios, tiek jos nesiekiančios užklausos nukreipiamos tinkamai. Neužtenka teisingai atlikti atskirus žingsnius: sukurtas procesas turi veikti visose situacijose, kurioms jis skirtas.

„Ironclad“ darbuotojai ir „OpenAI“ dirbantys „Ironclad“ naudotojai padėjo mūsų tyrėjams atrinkti 11 teisės, komercijos ir pirkimų sričių užduočių. Tarp jų buvo konfidencialumo susitarimų konfigūravimas, pirkimų patvirtinimo procesų kūrimas ir pakartotinai naudojamos sutarties nuostatos atnaujinimas pagal užklausos teikėjo pasirinktą jurisdikciją. Mūsų vertinimu, patyrusiam naudotojui viena tokia užduotis vidutiniškai užtruktų apie 30–40 minučių.

Kiekvieną užduotį vertinome pagal 8–50 kriterijų, priklausomai nuo jos sudėtingumo. Taip galėjome pamatyti, kurias dalis modelis atliko teisingai, o kur jam nepavyko. „Ironclad“ taip pat suteikė prieglobos paslaugomis pagrįstas savo produkto programines aplinkas, kuriose modeliai galėjo praktikuotis atlikti šias užduotis. Mūsų tyrėjai sukūrė sintetines mokymo užduotis² pagal būdingas darbo eigas ir taikė skatinamąjį mokymąsi, kad modeliai tobulėtų praktikuodamiesi ir gaudami grįžtamąjį ryšį. Su šį darbą išmanančiais žmonėmis atrinktos užduotys, išsamūs kriterijai ir aplinka modeliams praktikuotis – visa tai užtikrina, kad geriname gebėjimą atlikti praktines užduotis, kurios svarbiausios mūsų klientams.

Palyginome „Astra“ ir GPT‑5.6 Sol, pasirinkę „Astra“ protavimo nuostatą „Maksimalus“, o „Sol“ – „Aukštas“. Su šiomis nuostatomis kiekvienas modelis pasiekė geriausią rezultatą. Atliekant 11 tyrimo užduočių, „Astra“ vidutinis įvertis buvo 55,0 %, o GPT‑5.6 Sol – 41,6 %. Numatoma vidutinė vieno bandymo trukmė sumažėjo nuo 37,0 minučių naudojant „Sol“ iki 19,2 minutės naudojant „Astra“.³ Kuriant „Astra“ naudotas vidinis modelis šiose užduotyse pasiekė dar geresnį – 63,7 % – rezultatą. Siekiame, kad šie papildomi patobulinimai būtų įdiegti būsimuose modeliuose.

„Astra“ atitiko daugiau užduočių reikalavimų, o vienas bandymas simuliacijoje užtruko trumpiau. Toliau pateiktuose dviejuose vaizdo įrašuose parodyta, kaip modeliai atliko tą pačią tyrimo užduotį. „Astra“ (pirmasis įrašas) atitiko apie 94 % užduoties kriterijų per apytikriai 20 minučių, o GPT‑5.6 Sol (antrasis) – apie 85 % per apytikriai 32 minutes.

„Ironclad“ vaidmuo šiame darbe atspindi jos klientams gerai pažįstamą iššūkį: sutarčių valdymo procese turi būti numatytos išimtys, kartu laikantis verslui svarbių taisyklių. Jei agentas, įpusėjęs užduotį, pamiršta kurią nors iš šių taisyklių, programinės įrangos bendrovė gali jam patikimai pavesti mažiau darbų. Tai parodo, kodėl žmonių priežiūra išlieka svarbi net ir agentams vis geriau atliekant sudėtingas sutarčių valdymo užduotis ir kodėl vis dar būtina visavertė sutarčių valdymo platforma. Bendradarbiaudama su mūsų tyrėjais, „Ironclad“ gali įtraukti šias problemas į pagrindinio modelio kūrimo procesą, kad galėtume jas nagrinėti kartu.

Augant modelių galimybėms, „Ironclad“ gali juos panaudoti vis daugiau savo produktų. Teisės ir verslo komandoms tai galėtų reikšti, kad DI perims daugiau sudėtingo sutarčių valdymo darbo, kartu išlaikydamas kontrolės priemones, kuriomis šios komandos remiasi.

Kviečiame nedidelį skaičių programinės įrangos bendrovių tiesiogiai bendradarbiauti su mūsų tyrėjų ir inžinierių komandomis sprendžiant svarbias profesines užduotis, kurių dabartiniai agentai vis dar negali patikimai atlikti. Jei jūsų komanda turi tokią užduotį, norėtume pamatyti konkretų pavyzdį: ką prašote agento atlikti, įrodymus, kur jam nepavyksta, ir kaip vertintumėte sėkmingą rezultatą. Partneriai taip pat turėtų galėti pasitelkti šį darbą puikiai išmanančius žmones, suteikti saugią bandymų aplinką ir duomenų, kuriuos būtų galima saugiai naudoti tyrimams. Tai suteikia mums pagrindą tirti nesėkmės priežastis ir įvertinti, ar modelis tobulėja.

Jei jūsų komanda atitinka šį aprašymą, pateikite paraišką aptarti bendradarbiavimo tyrimuose galimybes.