Asana ar GPT‑6.1 Sol testos samazina modeļa izmaksas 76 reizes
Ar GPT‑6 Astra rīkā Codex Asana testos samazināja pārlūka aģenta izmaksas 76 reizes un paātrināja tā darbību 5 reizes, lai piedāvātu klientiem spējīgākus modeļus.
76×
Zemākas aplēstās modeļa izmaksas ar optimizēto GPT-6.1 Sol darbplūsmu
5×
Ātrāka izpilde pārlūkā ar optimizēto GPT-6.1 Sol darbplūsmu
0,47 USD
Vidējās aplēstās modeļa izmaksas ar optimizēto GPT-6.1 Sol darbplūsmu
Veicot eksperimentus ar GPT‑6 Astra rīkā Codex, Asana optimizēja sava pārlūka aģenta darbplūsmu ar GPT‑6.1 Sol, padarot tās izpildi 76 reizes lētāku un 5 reizes ātrāku.
Asana palīdz klientiem automatizēt darbu dažādās uzņēmējdarbības lietotnēs, izmantojot StackAI(atveras jaunā logā) — platformu, ko uzņēmums iegādājās(atveras jaunā logā). Ar StackAI klienti var bez programmēšanas veidot darbplūsmas, kas pārvietojas pa vietnēm, aizpilda veidlapas un apkopo informāciju. Asana darbības mērogā pat nelielas šo darbplūsmu neefektivitātes summējas.
Asana StackAI tehnoloģiju direktors Franks Idalgo (Frank Hidalgo), PhD, apņēmās padarīt pārlūka aģenta darbību ātrāku un lētāku. Viņš uzdeva GPT‑6 Astra rīkā Codex izpētīt aģentu, pārbaudīt uzlabojumus un salīdzināt rezultātus. Darbs, kas pēc viņa aplēsēm manuāli būtu prasījis vienu līdz divus mēnešus, aizņēma aptuveni nedēļu.
Asana pētījumā ar 144 izpildēm(atveras jaunā logā) tika pārbaudīts GPT‑6.1 Sol un trīs citi robežšķirtnes modeļi, kas šeit apzīmēti kā modeļi A, B un C. Iegūtās optimizētās darbplūsmas ar GPT‑6.1 Sol aplēstās modeļa izmaksas bija vidēji 0,47 USD, bet izpildes laiks — aptuveni četras minūtes. Tas ir 76 reizes lētāk un 5 reizes ātrāk nekā sākotnējā produkcijas konfigurācija ar modeli B.
„Šādi cilvēku un aģentu komandas darbojas praksē. Inženieris noteica virzienu, GPT-6 Astra veica eksperimentus, un rezultāti caur Command nonāca produkcijas vidē. Tas parāda, kā Asana īsteno cilvēku un aģentu sadarbību komandās.“
Lai ātri virzītos uz priekšu, Idalgo vispirms izmantoja GPT‑6 Astra rīkā Codex, lai izpētītu koda bāzes struktūru un noskaidrotu, kā aģents veido katru modelim nosūtīto pieprasījumu. GPT‑6 Astra atklāja, ka aģents kešatmiņā glabāja nemainīgās instrukcijas un rīku definīcijas, bet ne uzkrāto lapu teksta un ekrānuzņēmumu vēsturi. Tāpēc ar katru pieprasījumu šī vēsture tika sūtīta atkārtoti par pilnu cenu.
Turklāt gandrīz katrā solī aģents dzēsa vecākos ekrānuzņēmumus un saīsināja tekstu. Katrs labojums mainīja vēsturi, tāpēc tās kešošana vien nebūtu palīdzējusi. Savukārt zaudētās informācijas dēļ aģentam varēja nākties atgriezties jau izlasītās lapās.
Idalgo izvērtēja GPT‑6 Astra piedāvātos labojumus un izvēlējās pārbaudīt trīs no tiem:
Kešot arī aģenta pārlūkošanas vēsturi
Palielināt saglabājamā teksta apjomu
Dzēst ekrānuzņēmumus grupās, nevis katrā solī
GPT‑6 Astra sāka ar ātriem testiem, lai noteiktu, kuri mainīgie ir būtiski. Tā kā kods nebija paredzēts kontrolētiem eksperimentiem, modelis to pārstrukturēja, lai viena priekšgalsistēma un aizmugursistēma varētu paralēli darbināt daudzas darbplūsmas — katru ar saviem iestatījumiem.
Astra veica visu pētījumu: ar vēstures apjoma limitiem 120 000 un 480 000 rakstzīmju un sešām kešošanas un ekrānuzņēmumu pārvaldības stratēģijām. Katra kombinācija tika pārbaudīta trīs reizes ar katru no četriem modeļiem (skatiet tabulu zemāk). Vislabākos rezultātus deva stratēģija, kas ļāva uzkrāt 20 ekrānuzņēmumus un tad atstāja tikai jaunāko. Tādējādi iepriekšējā vēsture starp dzēšanas reizēm ilgāk palika nemainīga. Apvienojumā ar lielāku vēstures apjoma limitu tā kļuva par optimizēto darbplūsmu. Katra konfigurācija veica vienu un to pašu uzdevumu: no publiska demonstrācijas kataloga apkopoja sešus laukus par katru no 32 grāmatām. Tas atbilda uzdevumiem, ko daļa Asana klientu veic ar StackAI.
Modelis | Apraksts | Cena |
|---|---|---|
Modelis A | Mazāks un lētāks modelis no citas robežšķirtnes MI laboratorijas, izlaists 2025. gada rudenī | Uz pusi lētāks nekā GPT‑6.1 Sol |
Modelis B | Sākotnēji produkcijas vidē izmantotais modelis no tās pašas laboratorijas, kas izstrādājusi modeli A; izlaists 2026. gada vasarā | Tāda pati cena kā GPT‑6.1 Sol |
Modelis C | Modeļa B atjaunināta versija, izlaista 2026. gada rudenī | Tāda pati cena kā GPT‑6.1 Sol |
GPT‑6.1 Sol | OpenAI modelis |
GPT‑6 Astra darbināja darbplūsmas un pārbaudīja pieprasījumus, lietojuma ierakstus un izvades, bet atsevišķās modeļa sesijās veiktais darbs tika pārskatīts. Katras sesijas pieprasījumi, datu izsekošanas ieraksti un rezultāti tika reģistrēti Asana programmatūras piegādes platformā Command(atveras jaunā logā), lai komanda pēc tam varētu pārskatīt visu pētījumu. Platformā Command secinājumi tika pārvērsti uzdevumos, pēc tam — koda izmaiņu pieprasījumos, un izmaiņas nonāca produkcijas vidē.
„Manuāli tas man būtu prasījis vienu līdz divus mēnešus. Ar GPT-6 Astra rīkā Codex tas aizņēma aptuveni nedēļu: pirms gulētiešanas iestatīju /goal un no rīta pārskatīju rezultātus.“
Modelim B optimizācija samazināja aplēstās modeļa izmaksas no vismaz 36,21 USD (dažas sākotnējās izpildes sasniedza soļu limitu pirms uzdevuma pabeigšanas) līdz 1,24 USD par izpildi — 29 reizes. Optimizētā darbplūsma ar GPT‑6.1 Sol bija vēl 2,6 reizes lētāka — 0,47 USD. Katrā optimizētās darbplūsmas izpildē uzdevums tika pabeigts un tika sniegta pareizā atbilde.
3 izpilžu vidējās vērtības. ≥: bāzes konfigurācijas datos ir iekļautas limita dēļ apturētas izpildes, tāpēc vidējā vērtība ir apakšējā robeža.
Abi koeficienti labajā pusē norāda salīdzinājumu ar modeļa B optimizēto konfigurāciju. Modelis B tika darbināts tā paša pētījuma 1. posmā, bet modelis C un Sol 6.1 — 2. posmā (punktētā līnija).
Izmantojot tikai GPT‑6.1 Sol ar lielāko vēstures apjoma limitu, jaunā kešošanas un ekrānuzņēmumu pārvaldības stratēģija samazināja izmaksas 4 reizes — no 1,97 līdz 0,47 USD par izpildi. Katrs izsaukums bija aptuveni 3 reizes lētāks, jo 89% ievades tika iegūti no kešatmiņas par 5% no nekešētas ievades cenas. Samazinājās arī izpildes laiks: no vismaz 22,5 minūtēm sākotnējā konfigurācijā ar modeli B līdz aptuveni četrām minūtēm optimizētajā darbplūsmā ar GPT‑6.1 Sol.
3 izpilžu vidējā vērtība; kļūdu nogriežņi norāda standartnovirzi. ≥: vidējā vērtībā ir iekļauta limita dēļ apturēta vai nepabeigta izpilde, tāpēc patiesā vērtība ir vismaz tik liela.
Stabiņi ir zilos toņos. Kešošanas ietekmi vērtējiet salīdzinājumā ar lielākā apjoma limita (480 tūkst.) stabiņu.
Izpilžu marķieri un standartnovirzes nogriežņi ir aptuveni rekonstruēti no avota attēla; sākotnējās izpilžu vērtības un standartnovirzes nebija pieejamas.
3 izpilžu vidējā vērtība; kļūdu nogriežņi norāda standartnovirzi. ≥: vidējā vērtībā ir iekļauta limita dēļ apturēta vai nepabeigta izpilde, tāpēc patiesā vērtība ir vismaz tik liela.
Stabiņi ir zilos toņos. Kešošanas ietekmi vērtējiet salīdzinājumā ar lielākā apjoma limita (480 tūkst.) stabiņu.
Izpilžu marķieri un standartnovirzes nogriežņi ir aptuveni rekonstruēti no avota attēla; sākotnējās izpilžu vērtības un standartnovirzes nebija pieejamas.
Izpēte arī parādīja, kā vēstures pārvaldība ietekmēja to, vai aģents vispār sniedza atbildi. Palielinot GPT‑6.1 Sol pārlūkošanas vēsturei atvēlēto vietu, izpilžu skaits, kurās tika sniegta atbilde, pieauga no trim no 18 ar mazāko limitu līdz visām 18 ar lielāko limitu. Visas šīs atbildes bija pareizas. Idalgo skatījumā ieguvums uzņēmējdarbībai ir iespēja piedāvāt klientiem ātrākus un spējīgākus modeļus, vienlaikus saglabājot ilgtermiņā pieņemamas darbības izmaksas.
„Agrāk izmaksas ierobežoja to, kādus modeļus varējām piedāvāt klientiem šiem uzdevumiem. Padarot aģentu efektīvāku, varam klientiem piedāvāt labāku un ātrāku modeli, vienlaikus samazinot savas darbības izmaksas.“
Asana ir ieviesusi pārlūka navigācijas izmaiņas platformā StackAI un izstrādā rīkus, kas atvieglos līdzīgu eksperimentu atkārtošanu. Laika gaitā komanda plāno iekļaut šo testēšanu platformas novērtējumos, lai klienti un iekšējās komandas, konfigurējot savus aģentus, varētu salīdzināt izmaksas, izpildes laiku un atbilžu kvalitāti.
„Galvenais ierobežojums vairs nav izstrādātā risinājuma piegādes ātrums, bet gan cilvēka uzmanība. Tuvojamies pasaulei, kurā katrs inženieris ir produktu vadītājs, kas vada veselu aģentu komandu.“
Tagad Asana izmanto GPT‑6 Astra rīkā Codex, lai pirms izlaišanas testētu produktu funkcijas: Astra pārvietojas pa platformu, izmēģina dažādus ievades datus un ziņo par kļūdām kvalitātes pārbaudes speciālistiem. Idalgo to uzskata par pamatu jaunam programmatūras izstrādes dzīves ciklam, kurā daudzas aģentu sesijas mākonī paralēli testē funkcijas.
Pilns pētījums ir pieejams Asana(atveras jaunā logā) un StackAI(atveras jaunā logā) emuāros.
