Asana: 76-odannyi modellköltség a GPT‑6.1 Sollal
A Codexben futó GPT‑6 Astrával az Asana böngészőügynöke a teszteken 76-odannyi költséggel, ötször gyorsabban futott, így jobb képességű modelleket kínálhat ügyfeleinek.
76×
Alacsonyabb becsült modellköltségek az optimalizált GPT-6.1 Sol-munkafolyamattal
5×
Gyorsabb böngészős futtatások az optimalizált GPT-6.1 Sol-munkafolyamattal
0,47 $
Átlagos becsült modellköltség az optimalizált GPT-6.1 Sol-munkafolyamattal
A Codexben futó GPT‑6 Astra kísérleteivel az Asana úgy optimalizálta böngészőügynökének GPT‑6.1 Sol-alapú munkafolyamatát, hogy az 76-odannyi költséggel és ötször gyorsabban fusson.
Az Asana az általa felvásárolt(új ablakban nyílik meg) StackAI(új ablakban nyílik meg) platformmal segíti ügyfeleit az üzleti alkalmazásokon átívelő munka automatizálásában. A StackAI segítségével az ügyfelek kódírás nélkül hozhatnak létre olyan munkafolyamatokat, amelyek weboldalakon navigálnak, űrlapokat töltenek ki és információkat gyűjtenek. Az Asana működési léptékében e munkafolyamatok apró hatékonysági hiányosságai is összeadódnak.
Frank Hidalgo, PhD, az Asana StackAI-részlegének technológiai igazgatója célul tűzte ki, hogy gyorsabbá és olcsóbbá teszi a böngészőügynök futtatását. Megbízta a Codexben futó GPT‑6 Astrát az ügynök vizsgálatával, a fejlesztések tesztelésével és az eredmények összehasonlításával. A munka, amely becslése szerint kézzel egy-két hónapot vett volna igénybe, körülbelül egy hét alatt elkészült.
Az Asana 144 futtatásból álló vizsgálata(új ablakban nyílik meg) a GPT‑6.1 Sol mellett három másik élvonalbeli modellt is tesztelt; ezekre itt A, B és C modellként hivatkozunk. Az így kialakított, GPT‑6.1 Solon futó optimalizált munkafolyamat becsült modellköltsége futtatásonként átlagosan 0,47 dollár, futásideje pedig körülbelül négy perc volt: 76-odannyi költség és ötszörös sebesség a B modellre épülő eredeti éles konfigurációhoz képest.
„Így működnek a gyakorlatban az emberekből és ügynökökből álló csapatok. Egy mérnök kijelölte az irányt, a GPT-6 Astra elvégezte a kísérleteket, az eredmények pedig a Commandon keresztül bekerültek az éles rendszerbe. Ez megmutatja, hogyan valósítja meg az Asana az emberek és ügynökök csapatmunkáját.”
A gyors haladás érdekében Hidalgo először a Codexben futó GPT‑6 Astrával térképeztette fel a kódbázist, és magyaráztatta el, hogyan állítja össze az ügynök a modellnek küldött egyes kéréseket. A GPT‑6 Astra feltárta, hogy az ügynök gyorsítótárazza az állandó utasításait és eszközdefinícióit, de az összegyűjtött oldalszövegekből és képernyőképekből álló, egyre bővülő előzményeket nem, így minden kérés teljes áron küldte el újra ezeket.
Az ügynök emellett szinte minden lépésnél törölte a régebbi képernyőképeket és rövidítette a szöveget. Minden módosítás megváltoztatta az előzményeket, így önmagában azok gyorsítótárazása nem segített volna. Ráadásul az elveszett információk miatt az ügynöknek újra fel kellett keresnie a már elolvasott oldalakat.
Hidalgo áttekintette a GPT‑6 Astra javítási javaslatait, és hármat választott ki tesztelésre:
A gyorsítótárazás kiterjesztése az ügynök böngészési előzményeire
A megőrizhető szöveg mennyiségének növelése
A képernyőképek kötegelt törlése a lépésenkénti törlés helyett
A GPT‑6 Astra gyors tesztekkel kezdte a munkát, hogy megállapítsa, mely változóknak van jelentőségük. Mivel a kódot nem kontrollált kísérletekhez tervezték, ezután átszervezte azt, hogy egyetlen frontend és backend párhuzamosan több, saját beállításokkal rendelkező munkafolyamatot is támogasson.
Az Astra elvégezte a teljes vizsgálatot: 120 000 és 480 000 karakteres előzménykerettel, valamint hatféle gyorsítótárazási és képernyőkép-kezelési stratégiával kísérletezett. Minden kombinációt háromszor tesztelt mind a négy modellen (lásd az alábbi táblázatot). A legjobb eredményt az a stratégia hozta, amely 20 képernyőkép felhalmozódását engedte meg, majd csak a legutóbbit tartotta meg. Így a korábbi előzmények hosszabb ideig maradtak változatlanok a törlések között. Ez a nagyobb előzménykerettel kiegészítve lett az optimalizált munkafolyamat. Minden konfiguráció ugyanazt a feladatot végezte: 32 könyv mindegyikéhez hat adatmezőt gyűjtött ki egy nyilvános bemutatókatalógusból. Ez jól példázta azokat a munkafolyamatokat, amelyeket az Asana egyes ügyfelei a StackAI-ban futtatnak.
Modell | Leírás | Ár |
|---|---|---|
A modell | Egy másik élvonalbeli kutatólabor kisebb, olcsóbb modellje, amely 2025 őszén jelent meg | A GPT‑6.1 Sol árának fele |
B modell | Az éles rendszerben eredetileg használt modell, az A modellt fejlesztő labortól; 2026 nyarán jelent meg | A GPT‑6.1 Sol árával azonos |
C modell | A B modell frissített változata, amely 2026 őszén jelent meg | A GPT‑6.1 Sol árával azonos |
GPT‑6.1 Sol | Az OpenAI modellje |
A GPT‑6 Astra futtatta a munkafolyamatokat, megvizsgálta a kéréseket, a használati naplókat és a kimeneteket, a munkát pedig külön modell-munkamenetek ellenőrizték. Minden munkamenet kéréseit, adatnyomait és eredményeit rögzítették az Asana szoftverkiadási platformján, a Command(új ablakban nyílik meg)-ban, így a csapat utólag áttekinthette a teljes vizsgálatot. A Commandban az eredményekből feladatjegyek, majd pull requestek készültek, a változtatások pedig bekerültek az éles rendszerbe.
„Ezt kézzel egy-két hónap lett volna elvégeznem. A Codexben futó GPT-6 Astrával körülbelül egy hétig tartott: lefekvés előtt megadtam egy célt a /goal paranccsal, reggel pedig áttekintettem az eredményeket.”
A B modellnél az optimalizálás a becsült modellköltséget futtatásonként legalább 36,21 dollárról 1,24 dollárra, vagyis a 29-edére csökkentette (az eredeti futtatások némelyike a befejezés előtt elérte a lépésszámkorlátot). A GPT‑6.1 Solon futó optimalizált munkafolyamat még ennél is 2,6-szer olcsóbb volt: 0,47 dollárba került. Az optimalizált munkafolyamat minden futtatása elvégezte a feladatot, és helyes választ adott.
3 futtatás átlaga. ≥: az alapkonfiguráció korlát miatt leállt futtatásokat is tartalmaz, így az átlaga alsó korlátot jelent.
A két jobb oldali szorzó az optimalizált B modellhez viszonyít. A B modell ugyanazon vizsgálat 1. fázisában futott, a C modell és a Sol 6.1 pedig a 2. fázisában (pontozott vonal).
Magán a GPT‑6.1 Solon, a nagyobb előzménykerettel az új gyorsítótárazási és képernyőkép-kezelési stratégia a negyedére csökkentette a költséget: futtatásonként 1,97 dollárról 0,47 dollárra. Egy-egy hívás körülbelül harmadannyiba került, mert a bemenet 89%-a a gyorsítótárból érkezett, a nem gyorsítótárazott bemenet árának 5%-áért. A futtatások gyorsabbá is váltak: a B modell eredeti konfigurációjával legalább 22,5 percig, a GPT‑6.1 Sol optimalizált munkafolyamatával nagyjából négy percig tartottak.
3 futtatás átlaga, a szórást jelölő hibasávokkal. ≥: az átlag korlát miatt leállt vagy befejezetlen futtatást is tartalmaz, így a tényleges érték legalább ekkora.
Az oszlopok kék árnyalatokat használnak. A gyorsítótárazás hatását a nagyobb, 480 ezres keret oszlopához viszonyítva értelmezze.
A futtatások jelölői és a szórást jelölő hibasávok a forráskép hozzávetőleges rekonstruálásával készültek; az alapul szolgáló futtatási értékek és szórások nem álltak rendelkezésre.
3 futtatás átlaga, a szórást jelölő hibasávokkal. ≥: az átlag korlát miatt leállt vagy befejezetlen futtatást is tartalmaz, így a tényleges érték legalább ekkora.
Az oszlopok kék árnyalatokat használnak. A gyorsítótárazás hatását a nagyobb, 480 ezres keret oszlopához viszonyítva értelmezze.
A futtatások jelölői és a szórást jelölő hibasávok a forráskép hozzávetőleges rekonstruálásával készültek; az alapul szolgáló futtatási értékek és szórások nem álltak rendelkezésre.
A vizsgálat azt is megmutatta, hogyan befolyásolja az előzmények kezelése azt, hogy az ügynök egyáltalán ad-e választ. Amikor a GPT‑6.1 Sol több helyet kapott a böngészési előzmények megőrzésére, nőtt a választ adó futtatások száma: a kisebb előzménykerettel 18-ból három, a nagyobbal mind a 18 futtatás választ adott, és mindegyik helyes volt. Hidalgo számára az üzleti érték abban rejlik, hogy az ügyfelek gyorsabb, jobb képességű modellekhez férhetnek hozzá, miközben a működési költségek fenntarthatók maradnak.
„Korábban a költség korlátozta, hogy mely modelleket kínálhatjuk ügyfeleinknek ezekhez a feladatokhoz. Az ügynök hatékonyabbá tételével jobb, gyorsabb modellt adhatunk az ügyfeleknek, miközben csökkentjük működési költségeinket.”
Az Asana már bevezette a böngészős navigáció módosításait a StackAI-ban, és olyan eszközöket fejleszt, amelyek megkönnyítik a hasonló kísérletek megismétlését. A csapat idővel be szeretné építeni ezt a tesztelést a platform kiértékeléseibe, hogy az ügyfelek és a belső csapatok az ügynökeik konfigurálásakor összehasonlíthassák a költséget, a futásidőt és a válaszok minőségét.
„Már nem a kiadás sebessége a szűk keresztmetszet, hanem az emberi figyelem. Közel járunk egy olyan világhoz, ahol minden mérnök ügynökök egész csapatát irányító termékmenedzser.”
Az Asana most már a termékfunkciók kiadás előtti tesztelésére is használja a Codexben futó GPT‑6 Astrát: az Astra navigál a platformon, különféle bemeneteket próbál ki, és jelenti a hibákat a minőségbiztosítási szakembereknek. Hidalgo ebben egy új szoftverfejlesztési életciklus alapját látja, amelyben számos felhőalapú ügynökmunkamenet párhuzamosan teszteli a funkciókat.
A teljes tanulmány elérhető az Asana(új ablakban nyílik meg) és a StackAI(új ablakban nyílik meg) blogján.
