Asana uz GPT‑6.1 Sol: 76× niži troškovi modela u testovima
Uz GPT‑6 Astra u alatu Codex, Asana je u testovima učinila svog agenta za preglednik 76 puta jeftinijim i 5 puta bržim kako bi korisnicima ponudila sposobnije modele.
76×
Niži procijenjeni troškovi modela uz optimizirani tok rada na modelu GPT-6.1 Sol
5×
Brža izvršavanja u pregledniku uz optimizirani tok rada na modelu GPT-6.1 Sol
0,47 USD
Prosječni procijenjeni trošak modela uz optimizirani tok rada na modelu GPT-6.1 Sol
Uz GPT‑6 Astra koji je provodio eksperimente u alatu Codex, Asana je optimizirala tok rada svog agenta za preglednik na modelu GPT‑6.1 Sol, čime je njegovo izvršavanje postalo 76 puta jeftinije i 5 puta brže.
Asana pomaže korisnicima da automatiziraju rad u poslovnim aplikacijama putem platforme StackAI(otvara se u novom prozoru), koju je preuzela(otvara se u novom prozoru). Uz StackAI korisnici mogu kreirati tokove rada koji se kreću po web-stranicama, popunjavaju obrasce i prikupljaju informacije bez pisanja koda. Pri obimu poslovanja kompanije Asana, male neefikasnosti u tim tokovima rada se nagomilavaju.
Dr. Frank Hidalgo, tehnički direktor platforme StackAI u kompaniji Asana, odlučio je ubrzati rad agenta za preglednik i smanjiti troškove njegovog izvršavanja. Zadao je modelu GPT‑6 Astra u alatu Codex da ispita agenta, testira poboljšanja i uporedi rezultate. Posao za koji bi mu, prema njegovoj procjeni, ručno trebalo mjesec do dva završen je za otprilike sedmicu.
Studija kompanije Asana sa 144 izvršavanja(otvara se u novom prozoru) testirala je GPT‑6.1 Sol i tri druga granična modela, ovdje nazvana Model A, B i C. Dobiveni optimizirani tok rada na modelu GPT‑6.1 Sol imao je prosječne procijenjene troškove modela od 0,47 USD i trajao je oko četiri minute po izvršavanju — 76 puta jeftinije i 5 puta brže od originalne produkcijske konfiguracije na modelu Model B.
„Ovako timovi ljudi i agenata izgledaju u praksi. Inženjer je odredio smjer, GPT-6 Astra je proveo eksperimente, a rezultati su putem platforme Command uvedeni u produkciju. Ovo pokazuje kako Asana omogućava da timovi ljudi i agenata zaista rade zajedno.“
Da bi brzo napredovao, Hidalgo je prvo upotrijebio GPT‑6 Astra u alatu Codex da analizira strukturu baze koda i objasni kako agent sastavlja svaki zahtjev modelu. GPT‑6 Astra je otkrio da agent kešira stalne upute i definicije alata, ali ne i sve veću historiju prikupljenog teksta stranica i snimaka ekrana, pa se ta historija uz svaki zahtjev ponovo slala po punoj cijeni.
Agent je također uklanjao starije snimke ekrana i skraćivao tekst u gotovo svakom koraku. Svaka izmjena mijenjala je historiju, pa samo njeno keširanje ne bi pomoglo, a gubitak tih podataka mogao je prisiliti agenta da ponovo posjeti stranice koje je već pročitao.
Hidalgo je pregledao rješenja koja je predložio GPT‑6 Astra i odabrao tri za testiranje:
Proširenje keširanja na agentovu historiju pregledavanja
Povećanje količine teksta koju agent može zadržati
Uklanjanje snimaka ekrana u grupama umjesto u svakom koraku
GPT‑6 Astra je počeo brzim testovima kako bi utvrdio koje su varijable važne. Budući da kod nije bio osmišljen za kontrolirane eksperimente, zatim ga je refaktorirao kako bi jedan frontend i backend mogli podržati više paralelnih tokova rada, svaki s vlastitim postavkama.
Astra je proveo cijelu studiju: kapacitet historije od 120.000 i 480.000 znakova te šest politika keširanja i upravljanja snimcima ekrana, od kojih je svaka testirana tri puta na svakom od četiri modela (vidjeti tabelu ispod). Politika s najboljim rezultatima dopuštala je nakupljanje do 20 snimaka ekrana, nakon čega bi se zadržao samo najnoviji. Tako je ranija historija ostajala nepromijenjena tokom dužih perioda između uklanjanja. U kombinaciji s većim kapacitetom historije, to je postalo optimizirani tok rada. Svaka konfiguracija izvršavala je isti zadatak: prikupljanje šest polja podataka za svaku od 32 knjige iz javnog demonstracijskog kataloga, što je reprezentativno za zadatke koje neki korisnici kompanije Asana izvršavaju na platformi StackAI.
Model | Opis | Cijena |
|---|---|---|
Model A | Manji, jeftiniji model drugog laboratorija za granične modele, objavljen u jesen 2025. | Pola cijene modela GPT‑6.1 Sol |
Model B | Model prvobitno korišten u produkciji, iz istog laboratorija kao Model A, objavljen u ljeto 2026. | Ista cijena kao za GPT‑6.1 Sol |
Model C | Ažurirana verzija modela Model B, objavljena u jesen 2026. | Ista cijena kao za GPT‑6.1 Sol |
GPT‑6.1 Sol | Model kompanije OpenAI |
GPT‑6 Astra je izvršavao tokove rada i pregledao zahtjeve, evidenciju korištenja i izlazne rezultate, dok su zasebne sesije modela provjeravale obavljeni rad. Zahtjevi, tragovi podataka i rezultati svake sesije zabilježeni su na platformi Command(otvara se u novom prozoru), platformi kompanije Asana za isporuku softvera, kako bi tim naknadno mogao pregledati cijelu studiju. Na platformi Command nalazi su pretvoreni u radne naloge, zatim u zahtjeve za spajanje koda, a izmjene su uvedene u produkciju.
„Da sam ovo radio ručno, trebalo bi mi mjesec do dva. Uz GPT-6 Astra u alatu Codex, trebalo je otprilike sedmicu: prije spavanja bih postavio /goal, a ujutro pregledao rezultate.“
Za Model B optimizacija je smanjila procijenjeni trošak modela s najmanje 36,21 USD (neka originalna izvršavanja dostigla su ograničenje broja koraka prije završetka) na 1,24 USD po izvršavanju, što je smanjenje od 29 puta. Optimizirani tok rada na modelu GPT‑6.1 Sol bio je još 2,6 puta jeftiniji, uz trošak od 0,47 USD. Svako izvršavanje optimiziranog toka rada završilo je zadatak i vratilo tačan odgovor.
Prosjeci 3 izvršavanja. ≥: početna konfiguracija uključuje izvršavanja prekinuta zbog ograničenja, pa je njen prosjek donja granica.
Dva faktora s desne strane prikazuju poređenje s optimiziranom konfiguracijom modela Model B. Model B testiran je u fazi 1, a Model C i Sol 6.1 u fazi 2 iste studije (isprekidana linija).
Samo na modelu GPT‑6.1 Sol, uz veći kapacitet historije, nova politika keširanja i upravljanja snimcima ekrana smanjila je trošak 4 puta, s 1,97 na 0,47 USD po izvršavanju. Svaki poziv bio je oko 3 puta jeftiniji jer je 89% ulaznih podataka dolazilo iz keša po 5% cijene nekeširanih podataka. Izvršavanja su postala i brža: od najmanje 22,5 minuta na originalnoj konfiguraciji modela Model B do otprilike četiri minute uz optimizirani tok rada na modelu GPT‑6.1 Sol.
Prosjek 3 izvršavanja, crte standardne devijacije. ≥: prosjek uključuje izvršavanje prekinuto zbog ograničenja ili nezavršeno izvršavanje, pa je stvarna vrijednost najmanje ovolika.
Stubići su prikazani u nijansama plave. Učinke keširanja uporedite sa stubićem za veći kapacitet od 480.000 znakova.
Oznake izvršavanja i crte standardne devijacije približno su rekonstruirane s izvorne slike; izvorne vrijednosti izvršavanja i standardne devijacije nisu bile dostupne.
Prosjek 3 izvršavanja, crte standardne devijacije. ≥: prosjek uključuje izvršavanje prekinuto zbog ograničenja ili nezavršeno izvršavanje, pa je stvarna vrijednost najmanje ovolika.
Stubići su prikazani u nijansama plave. Učinke keširanja uporedite sa stubićem za veći kapacitet od 480.000 znakova.
Oznake izvršavanja i crte standardne devijacije približno su rekonstruirane s izvorne slike; izvorne vrijednosti izvršavanja i standardne devijacije nisu bile dostupne.
Istraživanje je također pokazalo kako upravljanje historijom utiče na to hoće li agent uopće dati odgovor. Kada je modelu GPT‑6.1 Sol omogućen veći prostor za zadržavanje historije pregledavanja, broj izvršavanja koja su dala odgovor porastao je s tri od 18 uz manji kapacitet historije na svih 18 uz veći kapacitet, svaki put s tačnim odgovorom. Za Hidalga poslovna vrijednost leži u tome da korisnicima omogući pristup bržim, sposobnijim modelima, uz održive operativne troškove.
„Trošak je ranije ograničavao izbor modela koje smo korisnicima mogli ponuditi za ove zadatke. Kada agenta učinimo efikasnijim, korisnicima možemo ponuditi bolji, brži model, a istovremeno smanjiti operativne troškove.“
Asana je uvela izmjene navigacije u pregledniku na platformi StackAI i razvija alate koji će olakšati ponavljanje sličnih eksperimenata. Tim planira s vremenom uključiti ovo testiranje u evaluacije platforme, kako bi korisnici i interni timovi pri konfiguriranju svojih agenata mogli uporediti trošak, vrijeme izvršavanja i kvalitet odgovora.
„Brzina isporuke više nije usko grlo; sada je to ljudska pažnja. Blizu smo svijeta u kojem je svaki inženjer menadžer proizvoda koji vodi tim agenata.“
Asana sada koristi GPT‑6 Astra u alatu Codex za testiranje funkcija proizvoda prije objave: Astra se kreće po platformi, isprobava različite unose i prijavljuje greške ljudima zaduženim za kontrolu kvaliteta. Hidalgo ovo vidi kao temelj novog životnog ciklusa razvoja softvera, u kojem brojne sesije agenata u oblaku paralelno testiraju funkcije.
Cijela studija dostupna je na blogovima Asana(otvara se u novom prozoru) i StackAI(otvara se u novom prozoru).
