Asana, GPT‑6.1 Sol ile model maliyetini 76 kat azalttı

Asana, Codex'te GPT‑6 Astra ile yürüttüğü deneylerle tarayıcı ajanının GPT‑6.1 Sol üzerindeki iş akışını optimize ederek 76 kat daha düşük maliyetle, 5 kat daha hızlı çalışmasını sağladı.

Asana, satın aldığı⁠(yeni bir pencerede açılır) StackAI⁠(yeni bir pencerede açılır) platformuyla müşterilerinin iş uygulamalarındaki görevleri otomatikleştirmesine yardımcı oluyor. Müşteriler StackAI ile kod yazmadan web sitelerinde gezinen, formları dolduran ve bilgi toplayan iş akışları oluşturabiliyor. Asana'nın faaliyet gösterdiği ölçekte, bu iş akışlarındaki küçük verimsizlikler birikerek büyüyor.

Asana'da StackAI'ın CTO'su olan Dr. Frank Hidalgo, tarayıcı ajanını daha hızlı ve daha düşük maliyetle çalışır hâle getirmek için harekete geçti. Codex'teki GPT‑6 Astra'ya ajanı incelemesini, iyileştirmeleri test etmesini ve sonuçları karşılaştırmasını söyledi. Kendi başına yapsaydı bir ila iki ay süreceğini tahmin ettiği çalışma, yaklaşık bir haftada tamamlandı.

Asana'nın 144 çalıştırmadan oluşan araştırması⁠(yeni bir pencerede açılır), GPT‑6.1 Sol ile burada Model A, B ve C olarak adlandırılan üç başka en üst seviye modeli test etti. GPT‑6.1 Sol üzerinde ortaya çıkan optimize edilmiş iş akışında, çalıştırma başına tahmini model maliyeti ortalama 0,47 dolar, süre ise yaklaşık dört dakikaydı. Bu, Model B'nin canlı ortamda kullanılan ilk yapılandırmasına kıyasla 76 kat daha düşük maliyet ve 5 kat daha yüksek hız anlamına geliyordu.

Hızla ilerlemek isteyen Hidalgo, önce Codex'teki GPT‑6 Astra'yı kullanarak kod tabanının yapısını çıkardı ve ajanın modele gönderilen her isteği nasıl oluşturduğunu açıklamasını istedi. GPT‑6 Astra, ajanın sabit talimatlarını ve araç tanımlarını önbelleğe aldığını, ancak topladığı sayfa metinleri ve ekran görüntülerinden oluşan ve giderek büyüyen geçmişi önbelleğe almadığını keşfetti. Bu nedenle her istekte geçmiş yeniden gönderiliyor ve tam ücret üzerinden işleniyordu.

Ajan ayrıca neredeyse her adımda eski ekran görüntülerini siliyor ve metni kısaltıyordu. Her düzenleme geçmişi değiştirdiğinden, yalnızca geçmişi önbelleğe almak yeterli olmayacaktı. Üstelik bu bilgilerin kaybı, ajanın daha önce okuduğu sayfaları yeniden ziyaret etmesini gerektirebilirdi.

Hidalgo, GPT‑6 Astra'nın önerdiği çözümleri inceledi ve test etmek üzere üçünü seçti:

• Önbelleklemenin kapsamına ajanın gezinme geçmişini de almak

• Saklayabildiği metin miktarını artırmak

• Ekran görüntülerini her adımda silmek yerine toplu hâlde silmek

GPT‑6 Astra, hangi değişkenlerin etkili olduğunu belirlemek için hızlı testlerle başladı. Kod kontrollü deneyler için tasarlanmadığından, ardından kodu yeniden düzenledi. Böylece tek bir ön yüz ve arka uç, her biri kendine özgü ayarlara sahip çok sayıda iş akışını paralel olarak destekleyebildi.

Astra araştırmanın tamamını yürüttü: 120.000 ve 480.000 karakterlik geçmiş kapasiteleriyle altı önbellekleme ve ekran görüntüsü politikasının her biri, dört modelin her birinde üçer kez test edildi (aşağıdaki tabloya bakın). En iyi performansı gösteren politika, ekran görüntülerinin sayısı 20'ye ulaşana kadar birikmelerine izin veriyor, ardından yalnızca en sonuncusunu tutuyordu. Böylece silme işlemleri arasında önceki geçmiş daha uzun süre değişmeden kalıyordu. Bu politika, daha yüksek geçmiş kapasitesiyle birleştirilerek optimize edilmiş iş akışını oluşturdu. Her yapılandırma aynı görevi yerine getirdi: herkese açık bir demo katalogdan 32 kitabın her biri için altı veri alanını toplamak. Bu görev, bazı Asana müşterilerinin StackAI'da yürüttüğü işlere örnek niteliğindeydi.

GPT‑6 Astra iş akışlarını çalıştırıp istekleri, kullanım kayıtlarını ve çıktıları inceledi; ayrı model oturumları da çalışmayı gözden geçirdi. Ekibin daha sonra araştırmanın tamamını inceleyebilmesi için her oturumun istekleri, veri izleri ve sonuçları Asana'nın yazılım teslim platformu Command⁠(yeni bir pencerede açılır)'a kaydedildi. Command'da bulgular önce iş kayıtlarına, ardından pull request'lere dönüştürüldü ve değişiklikler canlı ortama alındı.

Optimizasyon, Model B'nin çalıştırma başına tahmini model maliyetini en az 36,21 dolardan 1,24 dolara indirerek 29 kat azalttı. İlk yapılandırmadaki bazı çalıştırmalar, tamamlanmadan adım sınırına ulaşmıştı. GPT‑6.1 Sol üzerindeki optimize edilmiş iş akışı ise 0,47 dolarla bunun da 2,6 kat altında bir maliyet sundu. Optimize edilmiş iş akışındaki tüm çalıştırmalar görevi tamamladı ve doğru yanıtı verdi.

Yalnızca GPT‑6.1 Sol'a bakıldığında, daha yüksek geçmiş kapasitesiyle kullanılan yeni önbellekleme ve ekran görüntüsü politikası, çalıştırma başına maliyeti 1,97 dolardan 0,47 dolara indirerek 4 kat azalttı. Girdinin %89'u önbellekten geldiği ve önbelleksiz fiyatın %5'i üzerinden ücretlendirildiği için her çağrı yaklaşık 3 kat daha ucuzdu. Çalıştırmalar da hızlandı: Model B'nin ilk yapılandırmasında en az 22,5 dakika süren işlemler, GPT‑6.1 Sol üzerindeki optimize edilmiş iş akışında yaklaşık dört dakika sürdü.

Araştırma, geçmiş yönetiminin ajanın yanıt üretip üretememesini nasıl etkilediğini de ortaya koydu. GPT‑6.1 Sol'a gezinme geçmişini saklamak için daha fazla alan ayrıldığında, yanıt üreten çalıştırma sayısı düşük kapasitede 18'de 3 iken yüksek kapasitede 18'de 18'e çıktı. Bu yanıtların tümü doğruydu. Hidalgo'ya göre bunun işletme açısından değeri, işletme maliyetlerini sürdürülebilir düzeyde tutarken müşterilere daha hızlı ve daha yetenekli modeller sunabilmek.

Asana, StackAI'daki tarayıcı gezinme değişikliklerini kullanıma sundu ve benzer deneylerin tekrarlanmasını kolaylaştıracak araçlar geliştiriyor. Ekip, zamanla bu testleri platformun değerlendirmelerine entegre etmeyi planlıyor. Böylece müşteriler ve şirket içi ekipler, ajanlarını yapılandırırken maliyeti, çalışma süresini ve yanıt kalitesini karşılaştırabilecek.

Asana artık ürün özelliklerini yayımlanmadan önce test etmek için Codex'teki GPT‑6 Astra'yı kullanıyor: Astra platformda geziniyor, farklı girdileri deniyor ve hataları insan kalite güvence uzmanlarına bildiriyor. Hidalgo bunu, buluttaki çok sayıda ajan oturumunun özellikleri paralel olarak test ettiği yeni bir yazılım geliştirme yaşam döngüsünün temeli olarak görüyor.

Araştırmanın tamamına Asana⁠(yeni bir pencerede açılır) ve StackAI⁠(yeni bir pencerede açılır) bloglarından ulaşabilirsiniz.