Përparimi i përdorimit të kompjuterëve me Ironclad

Kur prezantuam GPT‑6 Astra, treguam sa kanë përparuar modelet tona në përdorimin e kompjuterëve për punë profesionale, nga përgatitja e dokumenteve deri te testimi i faqeve të internetit. Synimi ynë i radhës është t’i bëjmë agjentët më të aftë dhe më efikasë në përdorimin e softuerëve të specializuar për të zgjidhur probleme komplekse të biznesit. Po shqyrtojmë si t’i trajnojmë modelet që të kuptojnë rregullat e biznesit të një kompanie, të zbatojnë rrjedha pune me shumë hapa dhe të verifikojnë nëse puna e tyre i përmbush kërkesat fillestare.

Për ta përshpejtuar këtë kërkim, po bashkëpunojmë drejtpërdrejt me një numër të vogël kompanish softuerike që i njohin më së miri këto rrjedha pune. Së bashku, po identifikojmë detyra sfiduese me vlerë të lartë dhe po i kthejmë në probleme kërkimore për trajnimin dhe vlerësimin e modeleve tona, me synimin për t’i bërë ato më të afta e më të dobishme në zbatime reale në biznes.

Partneri ynë i parë është Ironclad, një kompani udhëheqëse në kontraktimin me IA. Duke punuar ngushtë me ekipin e Ironclad, kemi zhvilluar detyra që u kërkojnë agjentëve të konfigurojnë marrëveshje, miratime dhe kushte ligjore të ripërdorshme, dhe kemi treguar përparim në këto rrjedha komplekse pune. Ekspertiza e Ironclad ka qenë vendimtare për të përcaktuar se çfarë përbën sukses dhe për t’i përfshirë nevojat reale të klientëve drejtpërdrejt në zhvillimin e modeleve avangardë. Jemi mirënjohës për partneritetin e tyre dhe të entuziazmuar të ndajmë me ju atë që kemi arritur së bashku.

GPT‑6 Astra është modeli ynë i parë avangardë i trajnuar me detyra të Ironclad. Në vlerësimin tonë kërkimor, rezultati i tij mesatar ishte 32% më i lartë se ai i GPT‑5.6 Sol, ndërsa koha e vlerësuar për çdo përpjekje ishte 48% më e shkurtër.¹

Mendoni për një ekip të operacioneve ligjore që po ngre një proces për blerjen e softuerëve. Departamentit të Financës mund t’i duhet të miratojë blerjet mbi një shumë të caktuar, atij të Sigurisë të shqyrtojë disa kërkesa dhe atij Ligjor të shqyrtojë kushtet jostandarde. Personi që ngre procesin duhet ta kthejë këtë listë të shkurtër në një formular për pranimin e kërkesave, shabllone dokumentesh, rregulla miratimi dhe një regjistër të marrëveshjes përfundimtare.

Një agjent i IA-së që kryen të njëjtën punë duhet t’i mbajë parasysh këto kërkesa gjatë përdorimit të softuerit. Për shembull, duhet të konfigurojë miratimin nga Financa për shpenzimet mbi pragun e caktuar dhe të kontrollojë që kërkesat mbi dhe nën këtë prag të ndjekin rrugët e duhura. Nuk mjafton që hapat e veçantë të kryhen siç duhet: procesi i përfunduar duhet të funksionojë në të gjitha situatat për të cilat është hartuar.

Punonjësit e Ironclad dhe përdoruesit e Ironclad brenda OpenAI i ndihmuan studiuesit tanë të identifikonin 11 detyra në punën ligjore, tregtare dhe të prokurimit. Këtu përfshiheshin detyra si përgatitja e marrëveshjeve të konfidencialitetit, krijimi i proceseve të miratimit të prokurimeve dhe përditësimi i një klauzole ligjore të ripërdorshme, në mënyrë që të pasqyrojë juridiksionin që zgjedh kërkuesi. Vlerësojmë se një përdoruesi me përvojë do t’i duheshin mesatarisht rreth 30 deri në 40 minuta për çdo detyrë.

E vlerësuam çdo detyrë sipas 8 deri në 50 kritereve, në varësi të kompleksitetit të saj. Kjo na mundësoi të shihnim cilat pjesë modeli i kryente saktë dhe ku kishte mangësi. Ironclad ofroi gjithashtu mjedise të hostuara të produktit të vet, ku modelet mund të ushtroheshin me këto detyra. Studiuesit tanë zhvilluan detyra sintetike trajnimi² bazuar në rrjedha pune përfaqësuese dhe përdorën trajnim përforcues për t’i ndihmuar modelet të përmirësoheshin përmes praktikës dhe reagimeve vlerësuese. Ky kombinim — detyra të përzgjedhura me njerëz që e njohin punën, kritere të hollësishme dhe një mjedis ku modelet mund të ushtrohen — siguron që përmirësimet tona të prekin detyrat e botës reale që kanë më shumë rëndësi për klientët tanë.

Krahasuam Astra dhe GPT‑5.6 Sol duke përdorur nivelin e arsyetimit Max për Astra dhe High për Sol, cilësimet me të cilat secili model arriti rezultatin më të lartë. Në 11 detyrat kërkimore, rezultati mesatar i Astra ishte 55,0%, krahasuar me 41,6% për GPT‑5.6 Sol, ndërsa koha mesatare e vlerësuar për çdo përpjekje ra nga 37,0 minuta për Sol në 19,2 minuta për Astra.³ Një model i brendshëm, i përdorur në zhvillimin e Astra, arriti një rezultat edhe më të lartë prej 63,7% në këto detyra dhe synojmë t’i përfshijmë këto përmirësime të mëtejshme në modelet e ardhshme.

Astra përmbushi më shumë kërkesa të detyrave me një kohë të simuluar më të shkurtër për çdo përpjekje. Dy videot e shkurtra më poshtë tregojnë se si modelet e trajtuan të njëjtën detyrë kërkimore. Astra (në të parën) përmbushi rreth 94% të kritereve të detyrës në një kohë të vlerësuar prej 20 minutash; GPT‑5.6 Sol (në të dytën) përmbushi rreth 85% në një kohë të vlerësuar prej 32 minutash.

Roli i Ironclad në këtë punë pasqyron një sfidë që klientët e saj e njohin mirë: procesi i kontraktimit duhet të trajtojë rastet përjashtimore pa cenuar rregullat nga të cilat varet biznesi. Nëse një agjent humbet nga vëmendja një prej këtyre rregullave gjatë kryerjes së një detyre, kjo kufizon punët që një kompani softuerike mund t’i besojë. Kjo nxjerr në pah pse mbikëqyrja njerëzore mbetet e rëndësishme teksa agjentët përmirësohen në detyrat komplekse të kontraktimit dhe pse një platformë e plotë kontraktimi mbetet thelbësore. Bashkëpunimi me studiuesit tanë i jep Ironclad mundësinë t’i përfshijë këto probleme në zhvillimin e modelit bazë, ku mund t’i studiojmë së bashku.

Teksa modelet bëhen më të afta, Ironclad ka mundësinë t’i përdorë ato në më shumë produkte të veta. Për ekipet ligjore dhe të biznesit, kjo mund të nënkuptojë që IA-ja të marrë përsipër më shumë nga puna e kontraktimit kompleks, duke ruajtur mekanizmat e kontrollit ku mbështeten këto ekipe.

Po ftojmë një numër të vogël kompanish softuerike të punojnë drejtpërdrejt me ekipet tona kërkimore dhe inxhinierike për detyra të rëndësishme profesionale, të cilat agjentët e sotëm ende nuk mund t’i kryejnë me besueshmëri. Nëse ekipi juaj ka një detyrë të tillë, do të donim të shihnim një shembull konkret: çfarë i kërkoni agjentit të bëjë, prova se ku dështon dhe si do ta vlerësonit një rezultat të suksesshëm. Partnerët duhet të jenë gjithashtu në gjendje të vënë në dispozicion njerëz që e njohin punën në thellësi, një mjedis të sigurt testimi dhe të dhëna që mund të përdoren në mënyrë të sigurt për kërkim. Kjo na jep një pikënisje për të hetuar dështimin dhe për të matur nëse modeli përmirësohet.

Nëse ekipi juaj i plotëson këto kushte, aplikoni për të shqyrtuar mundësinë e një bashkëpunimi kërkimor.