Tölvunotkun efld í samstarfi við Ironclad

Þegar við kynntum GPT‑6 Astra sýndum við hversu langt líkönin okkar eru komin í að nota tölvur við sérfræðistörf, allt frá skjalagerð til prófana á vefsvæðum. Næsta markmið okkar er að gera fulltrúa hæfari og skilvirkari í að nota sérhæfðan hugbúnað til að leysa flókin viðfangsefni fyrirtækja. Við erum að kanna hvernig hægt sé að þjálfa líkön til að skilja starfsreglur fyrirtækja, framkvæma margþætta verkferla og sannreyna að vinnan uppfylli upphaflegar kröfur.

Til að flýta fyrir þessum rannsóknum erum við í beinu samstarfi við fáein hugbúnaðarfyrirtæki sem þekkja þessa verkferla best. Saman finnum við krefjandi og verðmæt verkefni og gerum þau að rannsóknarviðfangsefnum til að þjálfa og meta líkönin okkar. Þannig verða líkönin að lokum öflugri og gagnlegri í raunverulegum rekstri fyrirtækja.

Fyrsti samstarfsaðili okkar er Ironclad, leiðandi fyrirtæki í samningagerð með gervigreind. Í nánu samstarfi við teymi Ironclad höfum við þróað verkefni þar sem fulltrúar þurfa að setja upp samninga, samþykktarferli og endurnýtanlega samningsskilmála. Við höfum jafnframt sýnt fram á framfarir í þessum flóknu verkferlum. Sérþekking Ironclad hefur skipt sköpum við að skilgreina hvað telst góður árangur og koma raunverulegum þörfum viðskiptavina beint inn í þróun háþróaðra líkana. Við erum þakklát fyrir samstarfið og hlökkum til að deila því sem við höfum áorkað saman.

GPT‑6 Astra er fyrsta háþróaða líkanið okkar sem er þjálfað á Ironclad-verkefnum. Í rannsóknarmati okkar var meðaleinkunn þess 32% hærri en hjá GPT‑5.6 Sol, en áætlaður tími á hverja tilraun var 48% styttri.¹

Hugsum okkur teymi sem sér um rekstur lögfræðideildar og er að setja upp ferli fyrir hugbúnaðarkaup. Fjármáladeild gæti þurft að samþykkja kaup yfir tiltekinni fjárhæð, öryggisdeild að fara yfir ákveðnar beiðnir og lögfræðideild að yfirfara skilmála sem víkja frá stöðluðum skilmálum. Sá sem setur upp ferlið þarf að útfæra þennan stutta lista sem beiðnieyðublað, skjalasniðmát, samþykktarreglur og skráningu á endanlegum samningi.

Gervigreindarfulltrúi sem vinnur sama verk þarf að hafa þessar kröfur í huga á öllum stigum vinnunnar í hugbúnaðinum. Hann þarf til dæmis að setja upp kröfu um samþykki fjármáladeildar fyrir kaupum yfir fjárhæðarmörkunum og ganga úr skugga um að beiðnir bæði yfir og undir mörkunum fari rétta leið í gegnum ferlið. Það nægir ekki að leysa einstök skref rétt: fullbúið ferli verður að virka við þær ólíku aðstæður sem því er ætlað að ráða við.

Starfsfólk Ironclad og þau sem nota Ironclad hjá OpenAI hjálpuðu rannsakendum okkar að velja 11 verkefni á sviði lögfræði, viðskipta og innkaupa. Þar á meðal voru verkefni á borð við að setja upp trúnaðarsamninga, búa til samþykktarferli fyrir innkaup og uppfæra endurnýtanlegt samningsákvæði þannig að það taki mið af því lögsagnarumdæmi sem beiðandi velur. Við áætlum að þessi vinna tæki reyndan notanda að meðaltali um 30 til 40 mínútur á hvert verkefni.

Við mátum hvert verkefni út frá 8 til 50 viðmiðum, eftir því hversu flókið það var. Þannig gátum við séð hvaða þætti líkan leysti rétt og hvar því var ábótavant. Ironclad útvegaði einnig hýst umhverfi fyrir hugbúnað sinn þar sem líkönin gátu æft sig á þessum verkefnum. Rannsakendur okkar bjuggu til tilbúin þjálfunarverkefni² út frá dæmigerðum verkferlum og notuðu styrkingarnám til að hjálpa líkönunum að bæta sig með æfingu og endurgjöf. Þessi samsetning — verkefni valin með fólki sem þekkir starfið, ítarleg viðmið og umhverfi þar sem líkön geta æft sig — tryggir að framfarirnar nýtist í þeim raunverulegu verkefnum sem skipta viðskiptavini okkar mestu máli.

Við bárum saman Astra og GPT‑5.6 Sol með rök stillt á Max hjá Astra og Hátt hjá Sol, en með þeim stillingum fékk hvort líkan hæstu einkunn sína. Í rannsóknarverkefnunum 11 var meðaleinkunn Astra 55,0%, samanborið við 41,6% hjá GPT‑5.6 Sol, en áætlaður meðaltími á hverja tilraun styttist úr 37,0 mínútum hjá Sol í 19,2 mínútur hjá Astra.³ Innanhússlíkan sem notað var við þróun Astra náði enn betri árangri, 63,7%, í þessum verkefnum og við stefnum að því að koma þeim framförum inn í framtíðarlíkön.

Astra uppfyllti fleiri kröfur verkefnanna á skemmri tíma í hverri tilraun samkvæmt hermun. Myndskeiðin tvö hér að neðan sýna hvernig líkönin tókust á við sama rannsóknarverkefnið. Astra (fyrra myndskeiðið) uppfyllti um 94% af viðmiðum verkefnisins á áætluðum 20 mínútum; GPT‑5.6 Sol (seinna myndskeiðið) uppfyllti um 85% á áætluðum 32 mínútum.

Hlutverk Ironclad í þessu starfi endurspeglar áskorun sem viðskiptavinir fyrirtækisins þekkja vel: samningaferli þarf að ráða við undantekningar án þess að víkja frá þeim reglum sem reksturinn byggir á. Ef fulltrúi missir sjónar á einni þessara reglna í miðju verkefni takmarkar það hvaða verkefnum hugbúnaðarfyrirtæki getur treyst honum fyrir. Þetta undirstrikar hvers vegna mannlegt eftirlit skiptir enn máli þótt fulltrúar verði betri í flóknum samningaverkefnum og hvers vegna heildstætt samningakerfi er áfram nauðsynlegt. Samstarfið við rannsakendur okkar gerir Ironclad kleift að koma þessum áskorunum að við þróun líkansins sem liggur að baki, þar sem við getum rannsakað þær saman.

Eftir því sem líkön verða öflugri gefst Ironclad tækifæri til að nýta þau í fleiri af eigin vörum. Fyrir lögfræði- og viðskiptateymi gæti þetta þýtt að gervigreind taki að sér stærri hluta vinnunnar við flókna samningagerð án þess að hrófla við því reglu- og eftirlitskerfi sem teymin reiða sig á.

Við bjóðum fáeinum hugbúnaðarfyrirtækjum að vinna beint með rannsókna- og verkfræðiteymum okkar að mikilvægum sérfræðiverkefnum sem fulltrúar nútímans geta enn ekki leyst með áreiðanlegum hætti. Ef teymið ykkar er með slíkt verkefni viljum við gjarnan sjá áþreifanlegt dæmi: hvað þið biðjið fulltrúann að gera, gögn sem sýna hvar hann bregst og hvernig þið mynduð meta hvort niðurstaðan væri fullnægjandi. Samstarfsaðilar þurfa einnig að geta lagt til fólk með djúpa þekkingu á starfinu, öruggt prófunarumhverfi og gögn sem óhætt er að nota við rannsóknir. Þetta gefur okkur útgangspunkt til að rannsaka hvað fór úrskeiðis og mæla hvort líkanið taki framförum.

Ef þetta á við um teymið ykkar, sækið um að kanna möguleika á rannsóknarsamstarfi.