Asana lækkar líkanakostnað 76-falt með GPT‑6.1 Sol

Með því að láta GPT‑6 Astra í Codex gera tilraunir fínstillti Asana vinnuflæði vafrafulltrúa síns á GPT‑6.1 Sol þannig að keyrslan varð 76-falt ódýrari og fimmfalt hraðari.

Asana hjálpar viðskiptavinum að sjálfvirknivæða vinnu þvert á viðskiptaforrit með StackAI⁠(opnast í nýjum glugga), vettvangi sem fyrirtækið keypti⁠(opnast í nýjum glugga). Með StackAI geta viðskiptavinir búið til vinnuflæði sem fara um vefsíður, fylla út eyðublöð og safna upplýsingum án þess að skrifa kóða. Í jafn umfangsmiklum rekstri og hjá Asana getur lítilsháttar óhagkvæmni í þessum vinnuflæðum orðið að verulegum kostnaði.

Dr. Frank Hidalgo, tæknistjóri StackAI hjá Asana, einsetti sér að gera vafrafulltrúann hraðari og ódýrari í rekstri. Hann fól GPT‑6 Astra í Codex að skoða fulltrúann, prófa endurbætur og bera saman niðurstöðurnar. Verk sem hann áætlar að hefði tekið einn til tvo mánuði í handavinnu tók um viku.

Í rannsókn Asana sem náði til 144 keyrslna⁠(opnast í nýjum glugga) voru GPT‑6.1 Sol og þrjú önnur háþróuð líkön prófuð, hér kölluð líkön A, B og C. Fínstillta vinnuflæðið sem varð til á GPT‑6.1 Sol kostaði að meðaltali áætlaða 0,47 Bandaríkjadali í líkananotkun og tók um fjórar mínútur í hverri keyrslu. Það var 76-falt ódýrara og fimmfalt hraðara en upprunalega uppsetningin á líkani B sem var notuð í rekstri.

Til að flýta fyrir byrjaði Hidalgo á að nota GPT‑6 Astra í Codex til að kortleggja kóðasafnið og útskýra hvernig fulltrúinn setti saman hverja beiðni til líkansins. GPT‑6 Astra komst að því að fulltrúinn setti fastar leiðbeiningar sínar og tóllýsingar í skyndiminni, en ekki sívaxandi safn af texta og skjámyndum af vefsíðum. Því var öll sú saga send aftur með hverri beiðni á fullu verði.

Fulltrúinn fjarlægði líka eldri skjámyndir og stytti texta í næstum hverju skrefi. Hver breyting breytti sögunni, svo það hefði ekki dugað eitt og sér að setja hana í skyndiminni. Upplýsingarnar sem töpuðust gátu líka gert fulltrúanum nauðsynlegt að heimsækja aftur síður sem hann hafði þegar lesið.

Hidalgo fór yfir tillögur GPT‑6 Astra að úrbótum og valdi þrjár til að prófa:

• Að láta skyndiminnið einnig geyma vafraferil fulltrúans

• Að auka magn texta sem fulltrúinn gat varðveitt

• Að fjarlægja skjámyndir í hópum fremur en í hverju skrefi

GPT‑6 Astra byrjaði á stuttum prófunum til að komast að því hvaða breytur skiptu máli. Þar sem kóðinn var ekki hannaður fyrir stýrðar tilraunir endurskipulagði líkanið hann síðan þannig að eitt framenda- og bakendakerfi gæti stutt mörg vinnuflæði samtímis, hvert með sínum stillingum.

Astra framkvæmdi alla rannsóknina: 120.000 og 480.000 stafa hámark á sögu og sex aðferðir við skyndiminnisnotkun og meðhöndlun skjámynda. Hver samsetning var prófuð þrisvar á hverju líkananna fjögurra (sjá töfluna hér að neðan). Aðferðin sem reyndist best leyfði skjámyndum að safnast upp í 20 áður en öllum nema þeirri nýjustu var eytt. Þannig hélst eldri saga óbreytt lengur í senn milli eyðinga. Þessi aðferð, ásamt hærra hámarki á sögu, varð að fínstillta vinnuflæðinu. Hver uppsetning sinnti sama verkefninu: að safna upplýsingum í sex reiti fyrir hverja af 32 bókum úr opinberri sýniskrá. Það er dæmigert fyrir verkefni sem sumir viðskiptavinir Asana keyra í StackAI.

GPT‑6 Astra keyrði vinnuflæðin og skoðaði beiðnir, notkunarskrár og úttak. Vinnan var síðan yfirfarin í aðskildum líkanalotum. Beiðnir, gagnaspor og niðurstöður hverrar lotu voru skráð í Command⁠(opnast í nýjum glugga), vettvang Asana fyrir afhendingu hugbúnaðar, svo teymið gæti farið yfir alla rannsóknina eftir á. Niðurstöðurnar í Command urðu að verkbeiðnum, síðan að samrunabeiðnum og að lokum fóru breytingarnar í rekstur.

Fínstillingin lækkaði áætlaðan líkanakostnað fyrir líkan B úr að minnsta kosti 36,21 Bandaríkjadal (sumar upphaflegu keyrslurnar náðu skrefahámarkinu áður en þeim lauk) í 1,24 dali á keyrslu, eða 29-falt. Fínstillta vinnuflæðið á GPT‑6.1 Sol var enn 2,6 sinnum ódýrara, eða 0,47 dalir. Í hverri keyrslu fínstillta vinnuflæðisins var verkefninu lokið og réttu svari skilað.

Þegar GPT‑6.1 Sol var skoðað eitt og sér, með hærra hámarkinu á sögu, lækkaði nýja aðferðin við skyndiminnisnotkun og meðhöndlun skjámynda kostnað fjórfalt, úr 1,97 í 0,47 dali á keyrslu. Hvert kall var um þrefalt ódýrara því 89% inntaksins komu úr skyndiminni á 5% af verði inntaks sem ekki var í skyndiminni. Keyrslurnar urðu líka hraðari: þær tóku að minnsta kosti 22,5 mínútur með upprunalegu uppsetningunni á líkani B, en um fjórar mínútur með fínstillta vinnuflæðinu á GPT‑6.1 Sol.

Rannsóknin sýndi líka hvernig meðhöndlun sögunnar hafði áhrif á hvort fulltrúinn skilaði yfirhöfuð svari. Með því að gefa GPT‑6.1 Sol meira svigrúm til að varðveita vafraferilinn fjölgaði keyrslum sem skiluðu svari úr þremur af 18 við lægra hámarkið í allar 18 við hærra hámarkið. Öll svörin voru rétt. Að mati Hidalgo felst viðskiptalegi ávinningurinn í því að veita viðskiptavinum aðgang að hraðari og öflugri líkönum án þess að rekstrarkostnaður verði of hár.

Asana hefur tekið breytingarnar á vafrastýringu í StackAI í notkun og vinnur að tólum sem auðvelda að endurtaka sambærilegar tilraunir. Með tímanum hyggst teymið fella þessar prófanir inn í matsferli vettvangsins, svo viðskiptavinir og innri teymi geti borið saman kostnað, keyrslutíma og gæði svara þegar þau stilla fulltrúa sína.

Asana notar nú GPT‑6 Astra í Codex til að prófa vörueiginleika fyrir útgáfu: Astra fer um vettvanginn, prófar mismunandi inntak og tilkynnir villur til starfsfólks sem annast gæðaprófanir. Hidalgo lítur á þetta sem grunn að nýju hugbúnaðarþróunarferli þar sem margar lotur fulltrúa í skýinu prófa eiginleika samtímis.

Rannsóknina í heild má finna á bloggsíðum Asana⁠(opnast í nýjum glugga) og StackAI⁠(opnast í nýjum glugga).