Asana: spejjeż 76x inqas fit-testijiet tal-browser b’GPT‑6.1 Sol
B’GPT‑6 Astra f’Codex, Asana għamlet l-aġent tal-browser tagħha 76 darba orħos u 5 darbiet aktar veloċi fit-testijiet biex toffri lill-klijenti mudelli aktar kapaċi.
76x
Spejjeż stmati tal-mudell aktar baxxi bil-fluss tax-xogħol ottimizzat ta’ GPT-6.1 Sol
5x
Eżekuzzjonijiet aktar veloċi fil-browser bil-fluss tax-xogħol ottimizzat ta’ GPT-6.1 Sol
$0.47
Spiża medja stmata tal-mudell bil-fluss tax-xogħol ottimizzat ta’ GPT-6.1 Sol
B’GPT‑6 Astra f’Codex iwettaq l-esperimenti, Asana ottimizzat il-fluss tax-xogħol tal-aġent tal-browser tagħha fuq GPT‑6.1 Sol biex jaħdem 76 darba orħos u 5 darbiet aktar malajr.
Asana tgħin lill-klijenti jawtomatizzaw ix-xogħol f’applikazzjonijiet tan-negozju permezz ta’ StackAI(jinfetaħ f’tieqa ġdida), pjattaforma li akkwistat(jinfetaħ f’tieqa ġdida). Bi StackAI, il-klijenti jistgħu joħolqu flussi tax-xogħol li jinnavigaw siti web, jimlew formoli u jiġbru informazzjoni mingħajr ma jiktbu kodiċi. Fuq l-iskala ta’ Asana, ineffiċjenzi żgħar f’dawn il-flussi tax-xogħol jakkumulaw.
Frank Hidalgo, PhD, CTO ta’ StackAI f’Asana, beda jaħdem biex l-aġent tal-browser ikun aktar veloċi u jiswa inqas biex jitħaddem. Hu ta struzzjonijiet lil GPT‑6 Astra f’Codex biex jinvestiga l-aġent, jittestja titjib u jqabbel ir-riżultati. Xogħol li jistma li kien jieħu xahar jew xahrejn kieku sar manwalment ħa madwar ġimgħa.
L-istudju ta’ Asana b’144 eżekuzzjoni(jinfetaħ f’tieqa ġdida) ttestja GPT‑6.1 Sol u tliet mudelli avvanzati oħra, hawn imsejħa Mudelli A, B u C. Il-fluss tax-xogħol ottimizzat li rriżulta fuq GPT‑6.1 Sol kellu medja ta’ $0.47 fi spejjeż stmati tal-mudell u madwar erba’ minuti għal kull eżekuzzjoni: 76 darba orħos u 5 darbiet aktar veloċi mill-konfigurazzjoni oriġinali tal-produzzjoni fuq il-Mudell B.
“Hekk jaħdmu fil-prattika timijiet ta’ bnedmin u aġenti. Inġinier stabbilixxa d-direzzjoni, GPT-6 Astra wettaq l-esperimenti, u r-riżultati għaddew minn Command għall-produzzjoni. Dan juri kif Asana tagħmel it-timijiet ta’ bnedmin u aġenti realtà.”
Biex javvanza malajr, Hidalgo beda billi uża GPT‑6 Astra f’Codex biex jimmappja l-bażi tal-kodiċi u jispjega kif l-aġent kien jibni kull talba lill-mudell. GPT‑6 Astra skopra li l-aġent kien jaħżen fil-cache l-istruzzjonijiet fissi u d-definizzjonijiet tal-għodod, iżda mhux il-kronoloġija dejjem tikber tat-test tal-paġni u r-ritratti tal-iskrin li kien jiġbor. Għalhekk, kull talba kienet terġa’ tibgħat dik il-kronoloġija bil-prezz sħiħ.
L-aġent kien ineħħi wkoll ritratti eqdem tal-iskrin u jqassar it-test kważi f’kull pass. Kull bidla kienet tbiddel il-kronoloġija, għalhekk il-ħażna tagħha fil-cache waħedha ma kinitx tgħin. Barra minn hekk, it-telf ta’ dik l-informazzjoni seta’ jġiegħel lill-aġent jerġa’ jżur paġni li kien diġà qara.
Hidalgo eżamina s-soluzzjonijiet proposti minn GPT‑6 Astra u għażel tlieta biex jittestjahom:
L-estensjoni tal-ħażna fil-cache għall-kronoloġija tal-ibbrawżjar tal-aġent
Iż-żieda fl-ammont ta’ test li seta’ jżomm
It-tneħħija tar-ritratti tal-iskrin fi gruppi minflok f’kull pass
GPT‑6 Astra beda b’testijiet ta’ malajr biex jistabbilixxi liema varjabbli kellhom effett. Peress li l-kodiċi ma kienx iddisinjat għal esperimenti kkontrollati, imbagħad irristrutturah biex frontend wieħed u backend wieħed ikunu jistgħu jappoġġjaw ħafna flussi tax-xogħol b’mod parallel, kull wieħed bis-settings tiegħu.
Astra wettaq l-istudju sħiħ: limiti tal-kronoloġija ta’ 120,000 u 480,000 karattru u sitt politiki għall-ħażna fil-cache u r-ritratti tal-iskrin, kull waħda ttestjata tliet darbiet fuq kull wieħed mill-erba’ mudelli (ara t-tabella hawn taħt). Il-politika bl-aħjar prestazzjoni kienet tħalli r-ritratti tal-iskrin jakkumulaw sa 20 qabel tnaqqashom għall-aktar wieħed reċenti. B’hekk, il-kronoloġija preċedenti kienet tibqa’ l-istess għal perjodi itwal bejn tneħħija u oħra. Flimkien mal-limitu akbar tal-kronoloġija, din saret il-fluss tax-xogħol ottimizzat. Kull konfigurazzjoni wettqet l-istess kompitu: il-ġbir ta’ sitt oqsma għal kull wieħed minn 32 ktieb minn katalgu pubbliku ta’ dimostrazzjoni, rappreżentattiv ta’ dak li xi klijenti ta’ Asana jwettqu fi StackAI.
Mudell | Deskrizzjoni | Prezz |
|---|---|---|
Mudell A | Mudell iżgħar u orħos minn laboratorju ieħor tal-AI avvanzata, imniedi fil-ħarifa tal-2025 | Nofs il-prezz ta’ GPT‑6.1 Sol |
Mudell B | Il-mudell li oriġinarjament kien jintuża fil-produzzjoni, mill-istess laboratorju bħall-Mudell A, imniedi fis-sajf tal-2026 | L-istess prezz bħal GPT‑6.1 Sol |
Mudell C | Verżjoni aġġornata tal-Mudell B, imnedija fil-ħarifa tal-2026 | L-istess prezz bħal GPT‑6.1 Sol |
GPT‑6.1 Sol | Il-mudell ta’ OpenAI |
GPT‑6 Astra ħaddem il-flussi tax-xogħol u eżamina t-talbiet, ir-rekords tal-użu u r-riżultati, filwaqt li sessjonijiet separati tal-mudell irrevedew ix-xogħol. It-talbiet, it-traċċi tad-data u r-riżultati ta’ kull sessjoni ġew irreġistrati f’Command(jinfetaħ f’tieqa ġdida), il-pjattaforma ta’ Asana għat-twassil tas-software, biex it-tim ikun jista’ jirrevedi l-istudju sħiħ wara. Minn Command, is-sejbiet inbidlu f’biljetti tax-xogħol, imbagħad f’pull requests, u l-bidliet daħlu fil-produzzjoni.
“Kieku għamilt dan manwalment, kien jeħodli xahar jew xahrejn. B’GPT-6 Astra f’Codex, ħa madwar ġimgħa: kont nissettja /goal qabel norqod u nirrevedi r-riżultati filgħodu.”
Għall-Mudell B, l-ottimizzazzjoni naqqset l-ispiża stmata tal-mudell minn tal-inqas $36.21 (xi eżekuzzjonijiet oriġinali laħqu l-limitu tal-passi qabel spiċċaw) għal $1.24 għal kull eżekuzzjoni, tnaqqis b’fattur ta’ 29. Il-fluss tax-xogħol ottimizzat fuq GPT‑6.1 Sol kien 2.6 darbiet orħos minn hekk, għal $0.47. Kull eżekuzzjoni fil-fluss tax-xogħol ottimizzat lestiet il-kompitu u tat it-tweġiba t-tajba.
Medji ta’ 3 eżekuzzjonijiet. ≥: il-linja bażi tinkludi eżekuzzjonijiet imwaqqfa mil-limitu, għalhekk il-medja tagħha hija limitu inferjuri.
Iż-żewġ fatturi fuq il-lemin juru paragun mal-Mudell B ottimizzat. Il-Mudell B tħaddem fil-fażi 1, u l-Mudell C u Sol 6.1 fil-fażi 2 tal-istess studju (linja bit-tikek).
Fuq GPT‑6.1 Sol waħdu, bil-limitu akbar tal-kronoloġija, il-politika l-ġdida għall-ħażna fil-cache u r-ritratti tal-iskrin naqqset l-ispiża b’fattur ta’ 4, minn $1.97 għal $0.47 għal kull eżekuzzjoni. Kull sejħa kienet madwar 3 darbiet orħos, għax 89% tal-input kien ġej mill-cache b’5% tal-prezz tal-input mhux fil-cache. L-eżekuzzjonijiet saru aktar veloċi wkoll: minn tal-inqas 22.5 minuti bil-konfigurazzjoni oriġinali fuq il-Mudell B għal madwar erba’ minuti bil-fluss tax-xogħol ottimizzat fuq GPT‑6.1 Sol.
Medja ta’ 3 eżekuzzjonijiet, b’linji tad-devjazzjoni standard. ≥: il-medja tinkludi eżekuzzjoni mwaqqfa mil-limitu jew mhux lesta, għalhekk il-valur reali huwa tal-inqas daqshekk.
Il-kolonni jużaw it-tema blu. Qabbel l-effetti tal-ħażna fil-cache mal-kolonna tal-limitu akbar ta’ 480k.
Il-markaturi tal-eżekuzzjonijiet u l-linji tad-devjazzjoni standard huma rikostruzzjonijiet approssimattivi mill-immaġni oriġinali; il-valuri sottostanti tal-eżekuzzjonijiet u d-devjazzjonijiet standard ma kinux disponibbli.
Medja ta’ 3 eżekuzzjonijiet, b’linji tad-devjazzjoni standard. ≥: il-medja tinkludi eżekuzzjoni mwaqqfa mil-limitu jew mhux lesta, għalhekk il-valur reali huwa tal-inqas daqshekk.
Il-kolonni jużaw it-tema blu. Qabbel l-effetti tal-ħażna fil-cache mal-kolonna tal-limitu akbar ta’ 480k.
Il-markaturi tal-eżekuzzjonijiet u l-linji tad-devjazzjoni standard huma rikostruzzjonijiet approssimattivi mill-immaġni oriġinali; il-valuri sottostanti tal-eżekuzzjonijiet u d-devjazzjonijiet standard ma kinux disponibbli.
L-investigazzjoni wriet ukoll kif il-ġestjoni tal-kronoloġija kienet taffettwa jekk l-aġent jagħtix tweġiba jew le. Meta GPT‑6.1 Sol ingħata aktar spazju biex iżomm il-kronoloġija tal-ibbrawżjar, l-eżekuzzjonijiet li taw tweġiba żdiedu minn tlieta minn 18 bil-limitu iżgħar għat-18 kollha bil-limitu akbar, kull waħda bit-tweġiba t-tajba. Għal Hidalgo, il-valur għan-negozju jinsab fl-għoti ta’ aċċess lill-klijenti għal mudelli aktar veloċi u kapaċi, filwaqt li l-ispejjeż operattivi jibqgħu sostenibbli.
“L-ispiża kienet tillimita liema mudelli stajna noffru lill-klijenti għal dan ix-xogħol. Billi nagħmlu l-aġent aktar effiċjenti, nistgħu nagħtu lill-klijenti mudell aħjar u aktar veloċi filwaqt li nnaqqsu l-ispejjeż operattivi tagħna.”
Asana nediet il-bidliet fin-navigazzjoni tal-browser fi StackAI u qed tiżviluppa għodod biex ikun aktar faċli tirrepeti esperimenti simili. Maż-żmien, it-tim beħsiebu jinkorpora dan l-ittestjar fl-evalwazzjonijiet tal-pjattaforma, biex il-klijenti u t-timijiet interni jkunu jistgħu jqabblu l-ispiża, il-ħin tal-eżekuzzjoni u l-kwalità tat-tweġibiet meta jikkonfiguraw l-aġenti tagħhom.
“L-ostaklu m’għadux il-veloċità tat-tnedija; huwa l-attenzjoni tal-bniedem. Qed noqorbu lejn dinja fejn kull inġinier ikun maniġer tal-prodott li jmexxi grupp ta’ aġenti.”
Asana issa qed tuża GPT‑6 Astra f’Codex biex tittestja karatteristiċi tal-prodott qabel it-tnedija: Astra jinnaviga l-pjattaforma, jipprova inputs differenti u jirrapporta bugs lil reviżuri umani tal-assigurazzjoni tal-kwalità. Hidalgo jqis dan bħala l-pedament għal ċiklu ġdid tal-iżvilupp tas-software, b’ħafna sessjonijiet ta’ aġenti fil-cloud jittestjaw karatteristiċi b’mod parallel.
L-istudju sħiħ jinsab fuq il-blogs ta’ Asana(jinfetaħ f’tieqa ġdida) u StackAI(jinfetaħ f’tieqa ġdida).
