Унапређење коришћења рачунара уз Ironclad

Када смо представили GPT‑6 Astra, показали смо колико су наши модели напредовали у коришћењу рачунара за професионалне задатке, од припреме докумената до тестирања веб-сајтова. Наш следећи циљ је да агенти постану способнији и ефикаснији у коришћењу специјализованог софтвера за решавање сложених пословних проблема. Истражујемо како да обучимо моделе да разумеју пословна правила компаније, извршавају радне токове с више корака и провере да ли њихов рад испуњава првобитне захтеве.

Да бисмо убрзали ово истраживање, директно сарађујемо с малим бројем софтверских компанија које најбоље разумеју ове радне токове. Заједно препознајемо захтевне задатке од великог значаја и претварамо их у истраживачке проблеме за обучавање и евалуацију наших модела. Тиме наши модели постају способнији и кориснији у стварним пословним применама.

Наш први партнер је Ironclad, лидер у примени ВИ у раду са уговорима. У блиској сарадњи с тимом компаније Ironclad развили смо задатке који од агената захтевају да подесе уговоре, одобрења и правне одредбе за вишекратну употребу, и показали напредак у овим сложеним радним токовима. Стручност компаније Ironclad била је кључна за дефинисање успешног исхода и непосредно укључивање стварних потреба клијената у развој граничних модела. Захвални смо на овом партнерству и радујемо се што можемо да поделимо оно што смо заједно постигли.

GPT‑6 Astra је наш први гранични модел обучен на задацима у платформи Ironclad. У нашој истраживачкој евалуацији његов просечан резултат био је за 32% виши од резултата модела GPT‑5.6 Sol, док је процењено време по покушају било за 48% краће.¹

Замислите тим за правне операције који успоставља процес набавке софтвера. Може бити потребно да финансијски сектор одобри набавке изнад одређеног износа, да сектор безбедности размотри одређене захтеве, а да правни сектор прегледа нестандардне одредбе. Особа која успоставља процес мора да преточи тај кратак списак у образац за подношење захтева, шаблоне докумената, правила одобравања и евиденцију коначног уговора.

ВИ агент који обавља исти посао мора да има те захтеве у виду све време док ради у софтверу. На пример, мора да подеси одобрење финансијског сектора за трошкове изнад задатог прага и да провери да ли се захтеви изнад и испод тог прага усмеравају одговарајућим током. Није довољно исправно извршити појединачне кораке: успостављени процес мора да функционише у свим ситуацијама за које је осмишљен.

Запослени у компанији Ironclad и људи који користе Ironclad у компанији OpenAI помогли су нашим истраживачима да издвоје 11 задатака из области правних и комерцијалних послова и набавке. Међу њима су били подешавање уговора о поверљивости, креирање процеса одобравања набавке и ажурирање правне клаузуле за вишекратну употребу тако да одговара јурисдикцији коју подносилац захтева изабере. Процењујемо да би искусном кориснику за овај рад у просеку било потребно око 30 до 40 минута по задатку.

Сваки задатак смо оцењивали према 8 до 50 критеријума, у зависности од његове сложености. То нам је омогућило да видимо које је делове модел урадио исправно, а где није испунио очекивања. Ironclad је такође обезбедио хостована софтверска окружења свог производа у којима су модели могли да вежбају ове задатке. Наши истраживачи су развили синтетичке задатке за обучавање² засноване на репрезентативним радним токовима и користили подстицајно учење како би помогли моделима да напредују кроз вежбу и повратне информације. Ова комбинација — задаци одабрани с људима који познају посао, детаљни критеријуми и окружење у ком модели могу да вежбају — осигурава да унапређујемо учинак на стварним задацима који су најважнији нашим клијентима.

Упоредили смо моделе Astra и GPT‑5.6 Sol, уз ниво резоновања Max за модел Astra и високо резоновање за модел Sol — подешавања с којима је сваки модел постигао најбољи резултат. На 11 истраживачких задатака просечан резултат модела Astra био је 55,0%, наспрам 41,6% за GPT‑5.6 Sol, док је процењено просечно време по покушају смањено са 37,0 минута за модел Sol на 19,2 минута за модел Astra.³ Интерни модел коришћен у развоју модела Astra постигао је још бољи резултат од 63,7% на овим задацима, а циљ нам је да овај додатни напредак пренесемо на будуће моделе.

Astra је испунио више захтева задатака уз краће симулирано време по покушају. Два снимка у наставку показују како су модели решавали исти истраживачки задатак. Astra (на првом снимку) је испунио око 94% критеријума задатка за процењених 20 минута; GPT‑5.6 Sol (на другом) је испунио око 85% за процењена 32 минута.

Улога компаније Ironclad у овом раду одражава изазов који њени клијенти добро познају: процес рада са уговорима мора да омогући обраду изузетака, а да притом очува правила на која се предузеће ослања. Ако агент усред задатка изгуби из вида неко од тих правила, то ограничава послове које софтверска компанија може с поверењем да му повери. То показује зашто је људски надзор и даље важан, чак и када агенти постају бољи у сложеним задацима везаним за уговоре, и зашто је свеобухватна платформа за рад са уговорима и даље неопходна. Сарадња с нашим истраживачима омогућава компанији Ironclad да ове проблеме уведе у развој основног модела, где можемо заједно да их проучавамо.

Како модели постају способнији, Ironclad добија прилику да их користи у већем броју својих производа. За правне и пословне тимове то би могло да значи да ВИ преузима већи део сложеног рада са уговорима, уз очување контролних механизама на које се ти тимови ослањају.

Позивамо мали број софтверских компанија да директно сарађују с нашим истраживачким и инжењерским тимовима на важним професионалним задацима које данашњи агенти још не могу поуздано да заврше. Ако ваш тим има такав задатак, желели бисмо да видимо конкретан пример: шта тражите од агента да уради, доказе о томе где не успева и како бисте проценили да ли је резултат успешан. Партнери би такође требало да могу да обезбеде људе који темељно познају тај посао, безбедно окружење за тестирање и податке који се могу безбедно користити за истраживање. То нам даје полазну основу за истраживање узрока неуспеха и мерење напретка модела.

Ако ваш тим одговара овом опису, пријавите се да размотримо могућност истраживачке сарадње.