Asana ul kostot 76 herë në teste shfletuesi me GPT‑6.1 Sol
Me GPT‑6 Astra në Codex, Asana uli 76 herë koston dhe rriti 5 herë shpejtësinë e agjentit të shfletuesit në teste, për t’u ofruar klientëve modele më të afta.
76x
Kosto më të ulëta të përllogaritura të modelit me rrjedhën e optimizuar të punës në GPT-6.1 Sol
5x
Ekzekutime më të shpejta në shfletues me rrjedhën e optimizuar të punës në GPT-6.1 Sol
0,47 $
Kostoja mesatare e përllogaritur e modelit me rrjedhën e optimizuar të punës në GPT-6.1 Sol
Duke kryer eksperimente me GPT‑6 Astra në Codex, Asana optimizoi rrjedhën e punës së agjentit të saj të shfletuesit në GPT‑6.1 Sol, duke ulur koston 76 herë dhe rritur shpejtësinë 5 herë.
Asana i ndihmon klientët të automatizojnë punën në aplikacione biznesi përmes StackAI(hapet në një dritare të re), një platformë që e bleu(hapet në një dritare të re). Me StackAI, klientët mund të krijojnë rrjedha pune që lundrojnë në faqe interneti, plotësojnë formularë dhe mbledhin informacion pa shkruar kod. Në shkallën e veprimtarisë së Asana, mangësitë e vogla në efikasitetin e këtyre rrjedhave të punës grumbullohen.
Frank Hidalgo, PhD, drejtor i teknologjisë i StackAI në Asana, synoi ta bënte agjentin e shfletuesit më të shpejtë dhe më të lirë për t’u ekzekutuar. Ai udhëzoi GPT‑6 Astra në Codex të analizonte agjentin, të testonte përmirësime dhe të krahasonte rezultatet. Puna që, sipas tij, do të kërkonte një deri në dy muaj po të bëhej manualisht, zgjati rreth një javë.
Studimi i Asana me 144 ekzekutime(hapet në një dritare të re) testoi GPT‑6.1 Sol dhe tre modele të tjera avangardë, të quajtura këtu Modelet A, B dhe C. Rrjedha e optimizuar e punës në GPT‑6.1 Sol pati mesatarisht një kosto të përllogaritur modeli prej 0,47 $ dhe kohë rreth katër minuta për ekzekutim: 76 herë më lirë dhe 5 herë më shpejt se konfigurimi fillestar i prodhimit në Modelin B.
“Ja si funksionojnë në praktikë ekipet e përbëra nga njerëz dhe agjentë. Një inxhinier përcaktoi drejtimin, GPT-6 Astra kreu eksperimentet dhe rezultatet kaluan përmes Command në mjedisin e prodhimit. Kjo tregon se si Asana e bën realitet bashkëpunimin në ekipe mes njerëzve dhe agjentëve.”
Për të ecur shpejt, Hidalgo fillimisht përdori GPT‑6 Astra në Codex për të analizuar strukturën e kodit dhe për të shpjeguar si e ndërtonte agjenti çdo kërkesë për modelin. GPT‑6 Astra zbuloi se agjenti ruante në cache udhëzimet fikse dhe përkufizimet e mjeteve, por jo historikun gjithnjë në rritje të teksteve të faqeve dhe pamjeve të ekranit që mblidhte. Kështu, çdo kërkesë e ridërgonte atë historik me çmim të plotë.
Agjenti gjithashtu hiqte pamjet më të vjetra të ekranit dhe shkurtonte tekstin pothuajse në çdo hap. Çdo ndryshim prekte historikun, ndaj vetëm ruajtja e tij në cache nuk do të ndihmonte. Humbja e këtyre të dhënave mund ta detyronte agjentin të rihapte faqe që i kishte lexuar tashmë.
Hidalgo shqyrtoi zgjidhjet e propozuara nga GPT‑6 Astra dhe zgjodhi tre për t’i testuar:
Zgjerimin e ruajtjes në cache edhe te historiku i shfletimit të agjentit
Rritjen e sasisë së tekstit që mund të ruante
Heqjen e pamjeve të ekranit në grupe dhe jo në çdo hap
GPT‑6 Astra nisi me teste të shpejta për të përcaktuar cilat ndryshore kishin rëndësi. Meqë kodi nuk ishte projektuar për eksperimente të kontrolluara, më pas e ristrukturoi që një ndërfaqe dhe një sistem mbështetës të mund të përballonin shumë rrjedha pune paralelisht, secila me cilësimet e veta.
Astra kreu studimin e plotë: kufij historiku prej 120 000 dhe 480 000 karakteresh dhe gjashtë politika për cache dhe pamjet e ekranit, secila e testuar tri herë në secilin nga katër modelet (shih tabelën më poshtë). Politika me rezultatet më të mira lejonte grumbullimin e 20 pamjeve të ekranit, para se të mbante vetëm më të fundit. Kjo e mbante historikun e mëparshëm të pandryshuar për periudha më të gjata mes heqjeve. E kombinuar me kufirin më të madh të historikut, kjo u bë rrjedha e optimizuar e punës. Çdo konfigurim kryente të njëjtën detyrë: mblidhte gjashtë fusha të dhënash për secilin nga 32 libra në një katalog publik demonstrues, si shembull i punës që disa klientë të Asana kryejnë në StackAI.
Modeli | Përshkrimi | Çmimi |
|---|---|---|
Modeli A | Një model më i vogël e më i lirë nga një tjetër laborator avangardë, i publikuar në vjeshtë 2025 | Gjysma e çmimit të GPT‑6.1 Sol |
Modeli B | Modeli i përdorur fillimisht në mjedisin e prodhimit, nga i njëjti laborator si Modeli A, i publikuar në verë 2026 | I njëjti çmim si GPT‑6.1 Sol |
Modeli C | Një version i përditësuar i Modelit B, i publikuar në vjeshtë 2026 | I njëjti çmim si GPT‑6.1 Sol |
GPT‑6.1 Sol | Modeli i OpenAI |
GPT‑6 Astra ekzekutoi rrjedhat e punës dhe shqyrtoi kërkesat, regjistrat e përdorimit dhe rezultatet, ndërsa seanca të veçanta të modelit kontrolluan punën. Kërkesat, gjurmët e të dhënave dhe rezultatet e çdo seance u regjistruan në Command(hapet në një dritare të re), platformën e Asana për shpërndarjen e softuerit, që ekipi të mund ta shqyrtonte më pas të gjithë studimin. Në Command, gjetjet u kthyen në kërkesa pune, më pas në kërkesa për bashkim kodi, dhe ndryshimet kaluan në mjedisin e prodhimit.
“Kjo do të më kishte marrë një deri në dy muaj po ta bëja manualisht. Me GPT-6 Astra në Codex, zgjati rreth një javë: caktoja një /goal para se të flija dhe shqyrtoja rezultatet në mëngjes.”
Për Modelin B, optimizimi uli koston e përllogaritur të modelit nga të paktën 36,21 $ (disa ekzekutime fillestare arritën kufirin e hapave para se të përfundonin) në 1,24 $ për ekzekutim, një ulje prej 29 herësh. Rrjedha e optimizuar e punës në GPT‑6.1 Sol ishte edhe 2,6 herë më e lirë, me 0,47 $. Çdo ekzekutim i rrjedhës së optimizuar e përfundoi detyrën dhe ktheu përgjigjen e saktë.
Mesataret e 3 ekzekutimeve. ≥: konfigurimi bazë përfshin ekzekutime të ndalura në kufi, ndaj mesatarja e tij është një kufi i poshtëm.
Dy faktorët në të djathtë tregojnë krahasimin me Modelin B të optimizuar. Modeli B u ekzekutua në fazën 1, ndërsa Modeli C dhe Sol 6.1 në fazën 2 të të njëjtit studim (vija me pika).
Vetëm në GPT‑6.1 Sol, me kufirin më të madh të historikut, politika e re për cache dhe pamjet e ekranit uli koston 4 herë, nga 1,97 $ në 0,47 $ për ekzekutim. Çdo thirrje ishte rreth 3 herë më e lirë, sepse 89% e të dhënave hyrëse vinin nga cache, me 5% të çmimit të të dhënave të paruajtura në cache. Ekzekutimet u bënë edhe më të shpejta: nga të paktën 22,5 minuta me konfigurimin fillestar në Modelin B, në rreth katër minuta me rrjedhën e optimizuar në GPT‑6.1 Sol.
Mesatarja e 3 ekzekutimeve, me vija të devijimit standard. ≥: mesatarja përfshin një ekzekutim të ndalur në kufi ose të papërfunduar, ndaj vlera reale është të paktën kaq.
Shtyllat përdorin temën blu. Vlerësoni efektet e ruajtjes në cache duke i krahasuar me shtyllën e kufirit më të madh prej 480k.
Shënuesit e ekzekutimeve dhe vijat e devijimit standard janë rindërtime të përafërta nga imazhi burimor; vlerat bazë të ekzekutimeve dhe devijimet standarde nuk ishin të disponueshme.
Mesatarja e 3 ekzekutimeve, me vija të devijimit standard. ≥: mesatarja përfshin një ekzekutim të ndalur në kufi ose të papërfunduar, ndaj vlera reale është të paktën kaq.
Shtyllat përdorin temën blu. Vlerësoni efektet e ruajtjes në cache duke i krahasuar me shtyllën e kufirit më të madh prej 480k.
Shënuesit e ekzekutimeve dhe vijat e devijimit standard janë rindërtime të përafërta nga imazhi burimor; vlerat bazë të ekzekutimeve dhe devijimet standarde nuk ishin të disponueshme.
Analiza tregoi gjithashtu se menaxhimi i historikut ndikonte nëse agjenti arrinte të jepte përgjigje apo jo. Me më shumë hapësirë për të ruajtur historikun e shfletimit, numri i ekzekutimeve të GPT‑6.1 Sol që jepnin përgjigje u rrit nga tre në 18 me kufirin më të vogël, në të 18 me kufirin më të madh, secili me përgjigjen e saktë. Për Hidalgo, vlera për biznesin qëndron tek ofrimi i modeleve më të shpejta e më të afta për klientët, duke mbajtur kosto operative të përballueshme.
“Më parë, kostoja kufizonte modelet që mund t’u ofronim klientëve për këto ngarkesa pune. Duke e bërë agjentin më efikas, mund t’u ofrojmë klientëve një model më të mirë e më të shpejtë, duke ulur njëkohësisht kostot tona operative.”
Asana i ka vënë në përdorim ndryshimet e lundrimit në shfletues në StackAI dhe po zhvillon mjete që e bëjnë më të lehtë përsëritjen e eksperimenteve të ngjashme. Me kalimin e kohës, ekipi planifikon ta përfshijë këtë testim në vlerësimet e platformës, që klientët dhe ekipet e brendshme të krahasojnë koston, kohën e ekzekutimit dhe cilësinë e përgjigjeve kur konfigurojnë agjentët e tyre.
“Nuk na pengon më shpejtësia e nxjerrjes së softuerit, por vëmendja e kufizuar njerëzore. Po i afrohemi një bote ku çdo inxhinier është një menaxher produkti që drejton një grup agjentësh.”
Asana tani përdor GPT‑6 Astra në Codex për të testuar veçoritë e produktit para publikimit: Astra lundron në platformë, provon të dhëna hyrëse të ndryshme dhe raporton defekte për kontrolluesit njerëzorë të cilësisë. Hidalgo e sheh këtë si bazën e një cikli të ri zhvillimi softueri, ku shumë seanca agjentësh në cloud testojnë veçori paralelisht.
Studimi i plotë është i disponueshëm në blogjet e Asana(hapet në një dritare të re) dhe StackAI(hapet në një dritare të re).
