Asana ने GPT‑6.1 Sol के ब्राउज़र टेस्ट में मॉडल का खर्च 76x घटाया
Codex में GPT‑6 Astra का इस्तेमाल करके Asana ने टेस्ट्स में अपने ब्राउज़र एजेंट का खर्च 76x कम किया और स्पीड 5x बढ़ाई, ताकि कस्टमर्स को ज़्यादा ताकतवर मॉडल्स दिए जा सकें.
76x
GPT-6.1 Sol के बेहतर वर्कफ़्लो से मॉडल के अनुमानित खर्च में कमी
5x
GPT-6.1 Sol के बेहतर वर्कफ़्लो से ब्राउज़र रन की स्पीड में बढ़ोतरी
$0.47
GPT-6.1 Sol के बेहतर बनाए गए वर्कफ़्लो में मॉडल का औसत अनुमानित खर्च
Codex में GPT‑6 Astra की मदद से एक्सपेरिमेंट्स करके Asana ने GPT‑6.1 Sol पर अपने ब्राउज़र एजेंट का वर्कफ़्लो बेहतर बनाया. इससे एजेंट का खर्च 76x कम हुआ और उसकी स्पीड 5x बढ़ गई.
Asana ने StackAI नाम का एक प्लेटफ़ॉर्म खरीदा(एक नई विंडो में खुलेगा) था, जिसकी मदद से कस्टमर्स अलग-अलग बिज़नेस ऐप्स में अपने काम ऑटोमेट कर सकते हैं. StackAI(एक नई विंडो में खुलेगा) पर बिना कोड लिखे ऐसे वर्कफ़्लोज़ बनाए जा सकते हैं, जो वेबसाइट्स पर जाकर जानकारी ढूँढें, फ़ॉर्म भरें और डेटा इकट्ठा करें. Asana जैसे बड़े प्लेटफ़ॉर्म पर इन वर्कफ़्लोज़ की छोटी-छोटी कमियाँ भी मिलकर खर्च और समय बढ़ा सकती हैं.
Asana में StackAI के CTO, डॉ. फ़्रैंक हिडाल्गो ने ब्राउज़र एजेंट को तेज़ और कम खर्च में चलाने का लक्ष्य रखा. उन्होंने Codex में GPT‑6 Astra को एजेंट की जाँच करने, सुधारों को टेस्ट करने और नतीजों की तुलना करने का काम दिया. उनके अनुमान के मुताबिक, जिस काम को मैन्युअली करने में एक से दो महीने लगते, वह लगभग एक हफ़्ते में पूरा हो गया.
Asana ने 144 रन वाली स्टडी(एक नई विंडो में खुलेगा) में GPT‑6.1 Sol और तीन दूसरे एडवांस AI मॉडल्स को टेस्ट किया, जिन्हें यहाँ मॉडल A, B और C कहा गया है. GPT‑6.1 Sol पर बेहतर बनाए गए वर्कफ़्लो में हर रन का अनुमानित मॉडल खर्च औसतन $0.47 था और उसे पूरा होने में लगभग चार मिनट लगे. मॉडल B वाले पुराने प्रोडक्शन सेटअप के मुकाबले यह 76x सस्ता और 5x तेज़ था.
"यह दिखाता है कि लोग और AI एजेंट्स मिलकर असल में कैसे काम कर सकते हैं. एक इंजीनियर ने काम की दिशा तय की, GPT-6 Astra ने एक्सपेरिमेंट्स किए और नतीजों के आधार पर Command के ज़रिए बदलाव प्रोडक्शन तक पहुँचाए गए. इससे पता चलता है कि Asana लोगों और एजेंट्स की टीमों को साथ मिलकर काम करने में कैसे मदद करता है."
काम तेज़ी से आगे बढ़ाने के लिए हिडाल्गो ने सबसे पहले Codex में GPT‑6 Astra से कोडबेस को समझने और यह पता लगाने को कहा कि एजेंट हर मॉडल रिक्वेस्ट कैसे तैयार करता है. GPT‑6 Astra ने पाया कि एजेंट अपने तय इंस्ट्रक्शन्स और टूल डेफ़िनिशन्स को कैश करता था, लेकिन वेब पेज के टेक्स्ट और स्क्रीनशॉट्स की लगातार बढ़ती हिस्ट्री को कैश नहीं करता था. इसलिए हर रिक्वेस्ट में पूरी हिस्ट्री दोबारा भेजी जाती थी और उसका पूरा खर्च लगता था.
एजेंट लगभग हर स्टेप पर पुराने स्क्रीनशॉट्स हटा देता था और टेक्स्ट छोटा कर देता था. हर बदलाव से हिस्ट्री बदल जाती थी, इसलिए सिर्फ़ हिस्ट्री कैश करने से फ़ायदा नहीं होता. साथ ही, पुरानी जानकारी हटने की वजह से एजेंट को पहले देखे गए पेज दोबारा खोलने पड़ सकते थे.
हिडाल्गो ने GPT‑6 Astra के सुझाए गए सुधारों को रिव्यू किया और टेस्टिंग के लिए तीन बदलाव चुने:
एजेंट की ब्राउज़िंग हिस्ट्री को भी कैश करना
एजेंट की टेक्स्ट सेव करके रखने की क्षमता बढ़ाना
हर स्टेप पर स्क्रीनशॉट्स हटाने के बजाय उन्हें एक साथ ग्रुप में हटाना
GPT‑6 Astra ने शुरुआत में छोटे टेस्ट्स करके पता लगाया कि किन फ़ैक्टर्स का असर पड़ रहा था. कोड को इस तरह की टेस्टिंग के लिए नहीं बनाया गया था, इसलिए उसने कोड को रीफ़ैक्टर किया. इससे एक ही फ़्रंटएंड और बैकएंड पर अलग-अलग सेटिंग्स वाले कई वर्कफ़्लोज़ एक साथ चलाए जा सकते थे.
Astra ने पूरी स्टडी में हिस्ट्री के लिए 1,20,000 और 4,80,000 कैरेक्टर्स की दो लिमिट्स और कैशिंग व स्क्रीनशॉट्स से जुड़े छह अलग-अलग नियम टेस्ट किए. हर सेटअप को चारों मॉडल्स पर तीन-तीन बार टेस्ट किया गया (नीचे दी गई टेबल देखें). सबसे अच्छा तरीका यह रहा कि पहले 20 स्क्रीनशॉट्स इकट्ठा होने दिए जाएँ और फिर सिर्फ़ सबसे नया स्क्रीनशॉट रखा जाए. इससे पुराने स्क्रीनशॉट्स हटाने के बीच हिस्ट्री लंबे समय तक बिना बदलाव के बनी रही. ज़्यादा बड़ी हिस्ट्री लिमिट के साथ यह सबसे बेहतर वर्कफ़्लो बना. हर सेटअप में एक ही टास्क किया गया: एक पब्लिक डेमो कैटलॉग की 32 किताबों में से हर किताब के लिए छह फ़ील्ड्स की जानकारी इकट्ठा करना. यह उन कामों जैसा था, जो Asana के कुछ कस्टमर्स StackAI पर करते हैं.
मॉडल | विवरण | कीमत |
|---|---|---|
मॉडल A | एक दूसरी अत्याधुनिक AI लैब का छोटा और कम खर्च वाला मॉडल, जिसे 2025 के आखिर में रिलीज़ किया गया था | GPT‑6.1 Sol के मुकाबले आधी कीमत |
मॉडल B | मॉडल A वाली लैब का मॉडल, जिसे शुरुआत में प्रोडक्शन में इस्तेमाल किया गया था. इसे 2026 की गर्मियों में रिलीज़ किया गया था | GPT‑6.1 Sol जितनी ही कीमत |
मॉडल C | मॉडल B का अपडेटेड वर्ज़न, जिसे 2026 के आखिर में रिलीज़ किया गया था | GPT‑6.1 Sol जितनी ही कीमत |
GPT‑6.1 Sol | OpenAI का मॉडल |
GPT‑6 Astra ने वर्कफ़्लोज़ चलाए और रिक्वेस्ट्स, इस्तेमाल के रिकॉर्ड्स और आउटपुट की जाँच की. अलग मॉडल सेशन्स में भी इस काम का रिव्यू किया गया. हर सेशन की रिक्वेस्ट्स, डेटा ट्रेसेज़ और नतीजे Asana के सॉफ़्टवेयर डिलीवरी प्लेटफ़ॉर्म Command(एक नई विंडो में खुलेगा) में रिकॉर्ड किए गए, ताकि टीम बाद में पूरी स्टडी की समीक्षा कर सके. Command में मिले नतीजों के आधार पर पहले टिकट्स बनाए गए, फिर pull requests तैयार हुईं और आखिर में बदलाव प्रोडक्शन में लागू किए गए.
"अगर मैं यह काम खुद करता, तो एक से दो महीने लगते. लेकिन Codex में GPT-6 Astra की मदद से यह लगभग एक हफ़्ते में हो गया. मैं रात को सोने से पहले /goal सेट कर देता था और सुबह नतीजे देखता था."
मॉडल B में सुधारों के बाद हर रन का अनुमानित खर्च कम-से-कम $36.21 से घटकर $1.24 रह गया, यानी 29x कम. पुराने सेटअप में कुछ रन पूरे होने से पहले ही स्टेप लिमिट तक पहुँच गए थे. GPT‑6.1 Sol पर बेहतर बनाया गया वर्कफ़्लो इससे भी 2.6x सस्ता था, जिसमें हर रन का खर्च सिर्फ़ $0.47 था. बेहतर बनाए गए वर्कफ़्लो में हर रन ने टास्क पूरा किया और सही जवाब दिया.
तीन रन का औसत. ≥: शुरुआती सेटअप में कुछ रन लिमिट तक पहुँच गए थे, इसलिए असली औसत इससे ज़्यादा हो सकता है.
दाईं ओर दिए गए दो गुना बदलावों की तुलना मॉडल B के बेहतर बनाए गए सेटअप से की गई है. इसी स्टडी के फ़ेज़ 1 में मॉडल B और फ़ेज़ 2 में मॉडल C और Sol 6.1 को टेस्ट किया गया था (बिंदुओं वाली लाइन देखें).
GPT‑6.1 Sol पर बड़ी हिस्ट्री लिमिट के साथ नई कैशिंग और स्क्रीनशॉट पॉलिसी अपनाने से हर रन का खर्च $1.97 से घटकर $0.47 रह गया, यानी 4x कम. हर कॉल का खर्च भी लगभग 3x कम हुआ, क्योंकि 89% इनपुट कैश से आया और उसकी कीमत बिना कैश वाले इनपुट की सिर्फ़ 5% थी. रन की स्पीड भी बढ़ी. मॉडल B के पुराने सेटअप में जहाँ कम-से-कम 22.5 मिनट लगते थे, वहीं GPT‑6.1 Sol के बेहतर वर्कफ़्लो में लगभग चार मिनट लगे.
तीन रन का औसत. SD व्हिस्कर्स डेटा में अंतर दिखाते हैं. ≥: औसत में ऐसा रन भी शामिल है जो लिमिट तक पहुँच गया था या पूरा नहीं हुआ था. इसलिए असली वैल्यू कम-से-कम इतनी है.
बार्स नीले रंग में दिखाए गए हैं. कैशिंग का असर समझने के लिए 4.80 लाख वाली बड़ी हिस्ट्री लिमिट के बार से तुलना करें.
रन मार्कर्स और SD व्हिस्कर्स को ओरिजिनल इमेज के आधार पर अनुमान से दोबारा बनाया गया है. हर रन की असली वैल्यू और स्टैंडर्ड डेविएशन का डेटा मौजूद नहीं था.
तीन रन का औसत. SD व्हिस्कर्स डेटा में अंतर दिखाते हैं. ≥: औसत में ऐसा रन भी शामिल है जो लिमिट तक पहुँच गया था या पूरा नहीं हुआ था. इसलिए असली वैल्यू कम-से-कम इतनी है.
बार्स नीले रंग में दिखाए गए हैं. कैशिंग का असर समझने के लिए 4.80 लाख वाली बड़ी हिस्ट्री लिमिट के बार से तुलना करें.
रन मार्कर्स और SD व्हिस्कर्स को ओरिजिनल इमेज के आधार पर अनुमान से दोबारा बनाया गया है. हर रन की असली वैल्यू और स्टैंडर्ड डेविएशन का डेटा मौजूद नहीं था.
इस जाँच से यह भी पता चला कि हिस्ट्री को मैनेज करने का तरीका एजेंट के जवाब देने की क्षमता पर असर डालता है. छोटी हिस्ट्री लिमिट के साथ GPT‑6.1 Sol ने 18 में से सिर्फ़ तीन रन में जवाब दिया. लेकिन हिस्ट्री सेव करने के लिए ज़्यादा जगह देने पर सभी 18 रन में सही जवाब मिला. हिडाल्गो के मुताबिक, बिज़नेस के लिए इसका सबसे बड़ा फ़ायदा यह है कि कस्टमर्स को तेज़ और ज़्यादा ताकतवर मॉडल्स दिए जा सकते हैं, वह भी बिना ऑपरेटिंग खर्च बहुत ज़्यादा बढ़ाए.
"पहले खर्च की वजह से हम कस्टमर्स को इन कामों के लिए कुछ ही मॉडल्स दे पाते थे. अब एजेंट की एफ़िशिएंसी बढ़ाकर हम ऑपरेटिंग खर्च कम रखते हुए कस्टमर्स को बेहतर और तेज़ मॉडल दे सकते हैं."
Asana ने StackAI में ब्राउज़र नेविगेशन से जुड़े बदलाव रिलीज़ कर दिए हैं. कंपनी ऐसे टूल्स भी बना रही है, जिनसे इसी तरह के एक्सपेरिमेंट्स बार-बार करना आसान होगा. आगे चलकर टीम इस टेस्टिंग को प्लेटफ़ॉर्म के इवैल्यूएशन प्रोसेस में शामिल करना चाहती है. इससे कस्टमर्स और कंपनी की टीमें अपने एजेंट्स की सेटिंग्स तय करते समय खर्च, रन टाइम और जवाबों की क्वालिटी की तुलना कर सकेंगी.
"अब प्रोडक्ट रिलीज़ करने की स्पीड सबसे बड़ी रुकावट नहीं है, बल्कि लोगों के पास ध्यान देने के लिए सीमित समय है. हम ऐसे दौर के करीब हैं, जहाँ हर इंजीनियर एक प्रोजेक्ट मैनेजर की तरह कई एजेंट्स की टीम को लीड करेगा."
Asana अब प्रोडक्ट फ़ीचर्स को रिलीज़ करने से पहले टेस्ट करने के लिए Codex में GPT‑6 Astra का इस्तेमाल कर रही है. Astra प्लेटफ़ॉर्म पर अलग-अलग जगह जाकर इनपुट टेस्ट करता है और जो बग्स मिलते हैं, उनकी रिपोर्ट QA टीम को देता है. हिडाल्गो इसे सॉफ़्टवेयर डेवलपमेंट के एक नए तरीके की शुरुआत मानते हैं, जिसमें कई क्लाउड एजेंट सेशन्स एक साथ अलग-अलग फ़ीचर्स टेस्ट कर सकते हैं.
पूरी स्टडी Asana(एक नई विंडो में खुलेगा) और StackAI(एक नई विंडो में खुलेगा) के ब्लॉग्स पर मौजूद है.
