Navvanzaw l-użu tal-kompjuters ma’ Ironclad
Kif kollaborazzjoni fir-riċerka dwar il-ħidma fuq il-kuntratti qed tgħinna nħarrġu u nevalwaw aġenti tal-AI fuq xogħol professjonali kumpless.
Meta introduċejna GPT‑6 Astra, urejna kemm il-mudelli tagħna avvanzaw fl-użu tal-kompjuters għal xogħol professjonali, mit-tħejjija tad-dokumenti sal-ittestjar tas-siti web. L-għan li jmiss tagħna huwa li nagħmlu lill-aġenti aktar kapaċi u effiċjenti fl-użu ta’ software speċjalizzat biex isolvu problemi kumplessi tan-negozju. Qed nesploraw kif inħarrġu l-mudelli biex jifhmu r-regoli tan-negozju ta’ kumpanija, iwettqu flussi tax-xogħol b’diversi passi, u jivverifikaw li xogħolhom jissodisfa r-rekwiżiti oriġinali.
Biex inħaffu din ir-riċerka, qed nissieħbu direttament ma’ għadd żgħir ta’ kumpaniji tas-software li jifhmu l-aħjar dawn il-flussi tax-xogħol. Flimkien, qed nidentifikaw kompiti diffiċli u ta’ valur kbir u nbiddluhom fi problemi tar-riċerka biex inħarrġu u nevalwaw il-mudelli tagħna. B’hekk, fl-aħħar mill-aħħar, nagħmlu l-mudelli tagħna aktar kapaċi u utli f’applikazzjonijiet kummerċjali fid-dinja reali.
L-ewwel sieħeb tagħna huwa Ironclad, mexxej fil-ħidma fuq il-kuntratti bl-AI. B’ħidma mill-qrib mat-tim ta’ Ironclad, żviluppajna kompiti li jeħtieġu li l-aġenti jikkonfiguraw ftehimiet, approvazzjonijiet u termini legali li jistgħu jerġgħu jintużaw, u wrejna progress f’dawn il-flussi tax-xogħol kumplessi. L-għarfien espert ta’ Ironclad kien kruċjali biex niddefinixxu x’jikkostitwixxi suċċess u ndaħħlu l-ħtiġijiet reali tal-klijenti direttament fl-iżvilupp tal-aktar mudelli avvanzati. Aħna grati għal din is-sħubija u ħerqana li naqsmu magħkom dak li ksibna flimkien.
GPT‑6 Astra huwa l-ewwel mudell tagħna mill-aktar ġenerazzjoni avvanzata li tħarreġ fuq kompiti ta’ Ironclad. Fl-evalwazzjoni tar-riċerka tagħna, il-punteġġ medju tiegħu kien 32% ogħla minn dak ta’ GPT‑5.6 Sol, filwaqt li l-ħin stmat għal kull tentattiv kien 48% inqas.1
Immaġina tim tal-operazzjonijiet legali li qed jistabbilixxi proċess għax-xiri tas-software. Id-dipartiment tal-Finanzi jista’ jkollu bżonn japprova xiri ’l fuq minn ċertu ammont, dak tas-Sigurtà jista’ jkollu bżonn jeżamina ċerti talbiet, u dak Legali jista’ jkollu bżonn jeżamina termini mhux standard. Il-persuna li tistabbilixxi l-proċess trid tittrasforma dik il-lista qasira f’formola għat-tressiq tat-talbiet, mudelli ta’ dokumenti, regoli ta’ approvazzjoni, u rekord tal-ftehim finali.
Aġent tal-AI li jagħmel l-istess xogħol irid iżomm f’moħħu dawk ir-rekwiżiti waqt li juża s-software. Pereżempju, irid jikkonfigura l-approvazzjoni mill-Finanzi għal ammonti ’l fuq mil-limitu tal-infiq, u jiċċekkja li t-talbiet ’il fuq u ’l isfel minn dak il-limitu jsegwu l-proċeduri t-tajbin. Mhux biżżejjed li kull pass individwali jsir sew: il-proċess komplut irid jaħdem fis-sitwazzjonijiet kollha li tfassal għalihom.
L-impjegati ta’ Ironclad u n-nies li jużaw Ironclad f’OpenAI għenu lir-riċerkaturi tagħna jidentifikaw 11-il kompitu fl-oqsma legali, kummerċjali u tal-akkwist. Dawn kienu jinkludu kompiti bħat-twaqqif ta’ ftehimiet ta’ kunfidenzjalità, il-ħolqien ta’ proċessi ta’ approvazzjoni tal-akkwist, u l-aġġornament ta’ klawżola legali li tista’ terġa’ tintuża biex tirrifletti l-ġuriżdizzjoni magħżula minn min jagħmel it-talba. Nistmaw li utent b’esperjenza kien jieħu medja ta’ madwar 30 sa 40 minuta għal kull kompitu biex jagħmel dan ix-xogħol.
Evalwajna kull kompitu skont 8 sa 50 kriterju, skont kemm kien kumpless. Dan ippermettilna naraw liema partijiet mudell wettaq sew u fejn ma laħaqx il-livell meħtieġ. Ironclad ipprovda wkoll ambjenti ospitati tas-software tal-prodott tiegħu fejn il-mudelli setgħu jipprattikaw dawn il-kompiti. Ir-riċerkaturi tagħna żviluppaw kompiti sintetiċi ta’ taħriġ2 ibbażati fuq flussi tax-xogħol rappreżentattivi u użaw l-apprendiment ta' tisħiħ biex jgħinu lill-mudelli jitjiebu permezz tal-prattika u l-feedback. Din it-taħlita — kompiti magħżula flimkien ma’ nies li jafu x-xogħol, kriterji dettaljati, u ambjent fejn il-mudelli jistgħu jipprattikaw — tiżgura li ntejbu l-prestazzjoni fil-kompiti tad-dinja reali li huma l-aktar importanti għall-klijenti tagħna.
Qabbilna lil Astra ma’ GPT‑5.6 Sol billi użajna l-livell ta’ raġunament Max għal Astra u Għoli għal Sol, is-settings li bihom kull mudell kiseb l-ogħla punteġġ. Fil-11-il kompitu tar-riċerka, il-punteġġ medju ta’ Astra kien 55.0%, meta mqabbel ma’ 41.6% għal GPT‑5.6 Sol, filwaqt li l-ħin medju stmat għal kull tentattiv niżel minn 37.0 minuta għal Sol għal 19.2 minuta għal Astra.3 Mudell intern użat fl-iżvilupp ta’ Astra kiseb riżultat saħansitra aħjar ta’ 63.7% f’dawn il-kompiti, u l-għan tagħna hu li nwasslu dan it-titjib addizzjonali fil-mudelli futuri.
Kejl | GPT‑5.6 Sol | GPT‑6 Astra |
Punteġġ medju skont il-kriterji | 41.6% | 55.0% |
Ħin medju stmat għal kull tentattiv | 37.0 minuta | 19.2 minuta |
Astra ssodisfa aktar mir-rekwiżiti tal-kompiti b’inqas ħin simulat għal kull tentattiv. Iż-żewġ filmati hawn taħt juru kif il-mudelli wettqu l-istess kompitu tar-riċerka. Astra (l-ewwel filmat) issodisfa madwar 94% tal-kriterji tal-kompitu fi żmien stmat ta’ 20 minuta; GPT‑5.6 Sol (it-tieni filmat) issodisfa madwar 85% fi żmien stmat ta’ 32 minuta.
GPT‑6 Astra issodisfa madwar 94% tal-kriterji tal-kompitu fi żmien stmat ta’ 20 minuta.
GPT‑5.6 Sol issodisfa madwar 85% tal-kriterji tal-kompitu fi żmien stmat ta’ 32 minuta.
Ir-rwol ta’ Ironclad f’din il-ħidma jirrifletti sfida li l-klijenti tiegħu jafuha sew: proċess għall-ħidma fuq il-kuntratti jrid ikun kapaċi jittratta l-eċċezzjonijiet filwaqt li jħares ir-regoli li negozju jiddependi fuqhom. Jekk aġent jinsa waħda minn dawk ir-regoli waqt li jkun qed iwettaq kompitu, dan jillimita x’tista’ titolbu jagħmel b’fiduċja kumpanija tas-software. Dan jenfasizza għaliex is-sorveljanza umana tibqa’ importanti hekk kif l-aġenti jsiru aktar kapaċi jwettqu kompiti kumplessi relatati mal-kuntratti, u għaliex pjattaforma komprensiva għall-ħidma fuq il-kuntratti tibqa’ essenzjali. Il-kollaborazzjoni mar-riċerkaturi tagħna tippermetti lil Ironclad idaħħal dawn il-problemi fl-iżvilupp tal-mudell sottostanti, fejn nistgħu nistudjawhom flimkien.
Hekk kif il-mudelli jsiru aktar kapaċi, Ironclad għandu l-opportunità li jużahom f’aktar mill-prodotti tiegħu stess. Għat-timijiet legali u tan-negozju, dan jista’ jfisser li l-AI tieħu f’idejha aktar mix-xogħol involut fi proċessi kumplessi relatati mal-kuntratti, filwaqt li żżomm il-kontrolli li dawk it-timijiet jiddependu fuqhom.
Qed nistiednu għadd żgħir ta’ kumpaniji tas-software biex jaħdmu direttament mat-timijiet tagħna tar-riċerka u tal-inġinerija fuq kompiti professjonali importanti li l-aġenti tal-lum għadhom ma jistgħux iwettqu b’mod affidabbli. Jekk it-tim tagħkom għandu kompitu bħal dan, nixtiequ naraw eżempju konkret: x’qed titolbu lill-aġent jagħmel, evidenza ta’ fejn ifalli, u kif tevalwaw jekk ir-riżultat ikunx ta’ suċċess. Is-sħab għandhom ikunu jistgħu jipprovdu wkoll nies b’għarfien profond tax-xogħol, ambjent sigur għall-ittestjar, u dejta li tista’ tintuża b’mod sigur għar-riċerka. Dan jagħtina punt tat-tluq biex ninvestigaw il-falliment u nkejlu jekk il-mudell jitjiebx.
Jekk din id-deskrizzjoni taqbel mat-tim tagħkom, applikaw biex tesploraw kollaborazzjoni fir-riċerka.
Awtur
Noti ta’ qiegħ il-paġna
- 1
- 2
Ħloqna kompiti simulati minn kuntratti disponibbli pubblikament fil-bażi tad-dejta EDGAR tas-SEC, wara li applikajna filtri mfassla biex ineħħu l-informazzjoni personali. Għat-taħriġ jew għall-evalwazzjoni ma użajniex dejta tal-klijenti ta’ OpenAI, kuntratti interni ta’ OpenAI, jew dejta jew kuntratti tal-klijenti ta’ Ironclad li mhumiex pubbliċi.
- 3


