Asana: kos model turun 76x dalam ujian pelayar guna GPT‑6.1 Sol
Dengan GPT‑6 Astra dalam Codex, Asana menjadikan ejen pelayarnya 76 kali lebih murah dan 5 kali lebih pantas dalam ujian untuk menawarkan model yang lebih berkeupayaan kepada pelanggan.
76x
Anggaran kos model lebih rendah dengan aliran kerja GPT-6.1 Sol yang dioptimumkan
5x
Pelaksanaan pelayar lebih pantas dengan aliran kerja GPT-6.1 Sol yang dioptimumkan
$0.47
Purata anggaran kos model dengan aliran kerja GPT-6.1 Sol yang dioptimumkan
Dengan GPT‑6 Astra dalam Codex menjalankan eksperimen, Asana mengoptimumkan aliran kerja ejen pelayarnya pada GPT‑6.1 Sol supaya kos pelaksanaannya 76 kali lebih rendah dan kelajuannya 5 kali lebih pantas.
Asana membantu pelanggan mengautomasikan kerja merentas aplikasi perniagaan melalui StackAI(dibuka dalam tetingkap baru), sebuah platform yang diambil alihnya(dibuka dalam tetingkap baru). Dengan StackAI, pelanggan boleh membina aliran kerja yang menavigasi laman web, mengisi borang dan mengumpulkan maklumat tanpa menulis kod. Pada skala operasi Asana, ketidakcekapan kecil dalam aliran kerja ini memberi kesan yang besar apabila terkumpul.
Ketua Pegawai Teknologi StackAI di Asana, Frank Hidalgo, PhD, berusaha menjadikan ejen pelayar lebih pantas dan lebih murah untuk dijalankan. Beliau mengarahkan GPT‑6 Astra dalam Codex untuk menyiasat ejen itu, menguji penambahbaikan dan membandingkan hasilnya. Kerja yang dianggarkannya akan mengambil masa satu hingga dua bulan secara manual dapat disiapkan dalam kira-kira seminggu.
Kajian Asana yang melibatkan 144 pelaksanaan(dibuka dalam tetingkap baru) menguji GPT‑6.1 Sol dan tiga model perbatasan lain, yang disebut di sini sebagai Model A, B dan C. Aliran kerja optimum yang terhasil pada GPT‑6.1 Sol mencatat purata anggaran kos model sebanyak $0.47 dan masa kira-kira empat minit bagi setiap pelaksanaan—76 kali lebih murah dan 5 kali lebih pantas berbanding tetapan pengeluaran asal pada Model B.
“Begitulah caranya pasukan manusia dan ejen bekerja dalam praktik. Seorang jurutera menetapkan hala tuju, GPT-6 Astra menjalankan eksperimen, dan hasilnya disalurkan melalui Command ke persekitaran pengeluaran. Ini menunjukkan bagaimana Asana menjadikan kerjasama pasukan manusia dan ejen satu kenyataan.”
Untuk mempercepat kerja, Hidalgo bermula dengan menggunakan GPT‑6 Astra dalam Codex untuk memetakan pangkalan kod dan menjelaskan cara ejen membina setiap permintaan kepada model. GPT‑6 Astra mendapati bahawa ejen itu menyimpan arahan tetap dan takrif alatnya dalam cache, tetapi tidak menyimpan sejarah teks halaman dan tangkapan skrin yang semakin bertambah. Akibatnya, setiap permintaan menghantar semula sejarah itu pada harga penuh.
Ejen itu juga membuang tangkapan skrin lama dan memendekkan teks pada hampir setiap langkah. Setiap suntingan mengubah sejarah itu, jadi menyimpan sejarah dalam cache sahaja tidak akan membantu. Kehilangan fakta tersebut juga boleh memaksa ejen melawat semula halaman yang telah dibacanya.
Hidalgo menyemak pembetulan yang dicadangkan oleh GPT‑6 Astra dan memilih tiga untuk diuji:
Meluaskan penggunaan cache untuk merangkumi sejarah pelayaran ejen
Menambah jumlah teks yang boleh disimpannya
Membuang tangkapan skrin secara berkelompok, bukan pada setiap langkah
GPT‑6 Astra bermula dengan ujian ringkas untuk mengenal pasti pemboleh ubah yang penting. Oleh sebab kod itu tidak direka untuk eksperimen terkawal, Astra kemudian menstrukturkan semula kod supaya satu sistem bahagian hadapan dan belakang dapat menyokong banyak aliran kerja secara serentak, masing-masing dengan tetapan tersendiri.
Astra menjalankan kajian penuh: peruntukan sejarah sebanyak 120,000 dan 480,000 aksara serta enam polisi cache dan tangkapan skrin, masing-masing diuji tiga kali pada setiap satu daripada empat model (lihat jadual di bawah). Polisi berprestasi terbaik membenarkan tangkapan skrin terkumpul sehingga 20 sebelum membuang semuanya kecuali yang paling terkini. Cara ini memastikan sejarah terdahulu kekal tanpa perubahan untuk tempoh yang lebih lama antara setiap pembuangan. Digabungkan dengan peruntukan sejarah yang lebih besar, polisi ini membentuk aliran kerja yang dioptimumkan. Setiap konfigurasi menjalankan tugas yang sama: mengumpulkan enam medan maklumat untuk setiap satu daripada 32 buku daripada katalog demo awam, yang mewakili tugas yang dijalankan oleh sesetengah pelanggan Asana dalam StackAI.
Model | Penerangan | Harga |
|---|---|---|
Model A | Model yang lebih kecil dan murah daripada makmal AI perbatasan lain, dikeluarkan pada musim luruh 2025 | Separuh harga GPT‑6.1 Sol |
Model B | Model yang asalnya digunakan dalam persekitaran pengeluaran, daripada makmal yang sama dengan Model A, dikeluarkan pada musim panas 2026 | Harga sama dengan GPT‑6.1 Sol |
Model C | Versi Model B yang dikemas kini, dikeluarkan pada musim luruh 2026 | Harga sama dengan GPT‑6.1 Sol |
GPT‑6.1 Sol | Model OpenAI |
GPT‑6 Astra menjalankan aliran kerja serta meneliti permintaan, rekod penggunaan dan output, manakala sesi model berasingan menyemak kerja tersebut. Permintaan, jejak data dan hasil setiap sesi direkodkan dalam Command(dibuka dalam tetingkap baru), platform penyampaian perisian Asana, supaya pasukan dapat menyemak keseluruhan kajian selepas itu. Daripada Command, dapatan itu ditukar menjadi tiket, kemudian permintaan tarik, dan perubahan tersebut dilaksanakan dalam persekitaran pengeluaran.
“Saya memerlukan satu hingga dua bulan untuk melakukan ini secara manual. Dengan GPT-6 Astra dalam Codex, masa yang diperlukan hanya kira-kira seminggu: saya menetapkan /goal sebelum tidur dan menyemak hasilnya pada waktu pagi.”
Bagi Model B, pengoptimuman itu mengurangkan anggaran kos model daripada sekurang-kurangnya $36.21 (sesetengah pelaksanaan asal mencapai had langkah sebelum selesai) kepada $1.24 bagi setiap pelaksanaan, iaitu pengurangan 29 kali ganda. Aliran kerja yang dioptimumkan pada GPT‑6.1 Sol pula 2.6 kali lebih murah, iaitu $0.47. Setiap pelaksanaan dalam aliran kerja yang dioptimumkan berjaya menyiapkan tugas dan mengembalikan jawapan yang betul.
Purata bagi 3 pelaksanaan. ≥: garis dasar merangkumi pelaksanaan yang mencapai had, jadi puratanya ialah batas bawah.
Dua gandaan di sebelah kanan ialah perbandingan dengan Model B yang dioptimumkan. Model B dijalankan dalam fasa 1, manakala Model C dan Sol 6.1 dalam fasa 2 kajian yang sama (garis bertitik).
Pada GPT‑6.1 Sol sahaja, dengan peruntukan sejarah yang lebih besar, polisi cache dan tangkapan skrin baharu mengurangkan kos 4 kali ganda, daripada $1.97 kepada $0.47 bagi setiap pelaksanaan. Setiap panggilan kira-kira 3 kali lebih murah kerana 89% input datang daripada cache pada harga hanya 5% daripada harga input tanpa cache. Pelaksanaan juga menjadi lebih pantas: daripada sekurang-kurangnya 22.5 minit dengan tetapan asal pada Model B kepada kira-kira empat minit dengan aliran kerja yang dioptimumkan pada GPT‑6.1 Sol.
Purata bagi 3 pelaksanaan, dengan bar ralat sisihan piawai (SD). ≥: purata merangkumi pelaksanaan yang mencapai had atau tidak selesai, jadi nilai sebenar sekurang-kurangnya sebesar nilai ini.
Bar menggunakan tema biru. Nilai kesan cache dengan membandingkannya dengan bar peruntukan lebih besar, 480k.
Penanda pelaksanaan dan bar ralat SD dibina semula secara anggaran daripada imej sumber; nilai pelaksanaan asal dan sisihan piawai tidak tersedia.
Purata bagi 3 pelaksanaan, dengan bar ralat sisihan piawai (SD). ≥: purata merangkumi pelaksanaan yang mencapai had atau tidak selesai, jadi nilai sebenar sekurang-kurangnya sebesar nilai ini.
Bar menggunakan tema biru. Nilai kesan cache dengan membandingkannya dengan bar peruntukan lebih besar, 480k.
Penanda pelaksanaan dan bar ralat SD dibina semula secara anggaran daripada imej sumber; nilai pelaksanaan asal dan sisihan piawai tidak tersedia.
Siasatan itu juga menunjukkan bagaimana pengurusan sejarah mempengaruhi sama ada ejen dapat menghasilkan jawapan atau tidak. Dengan memberi GPT‑6.1 Sol lebih banyak ruang untuk menyimpan sejarah pelayarannya, bilangan pelaksanaan yang menghasilkan jawapan meningkat daripada tiga daripada 18 dengan peruntukan sejarah yang lebih kecil kepada kesemua 18 dengan peruntukan yang lebih besar, semuanya dengan jawapan yang betul. Bagi Hidalgo, nilai perniagaannya terletak pada pemberian akses kepada pelanggan kepada model yang lebih pantas dan berkeupayaan, sambil mengekalkan kos operasi yang mampan.
“Dahulu, kos mengehadkan pilihan model yang dapat kami tawarkan kepada pelanggan untuk beban kerja ini. Dengan menjadikan ejen lebih cekap, kami dapat memberikan pelanggan model yang lebih baik dan pantas sambil mengurangkan kos operasi kami.”
Asana telah melaksanakan perubahan pada navigasi pelayar dalam StackAI dan sedang membangunkan alat untuk memudahkan eksperimen serupa diulang. Pasukan itu merancang untuk memasukkan pengujian ini ke dalam penilaian platform secara berperingkat, supaya pelanggan dan pasukan dalaman dapat membandingkan kos, masa pelaksanaan dan kualiti jawapan semasa mengkonfigurasi ejen mereka.
“Kelajuan pelancaran bukan lagi penghalang utama; perhatian manusia yang menjadi kendala. Kita semakin menghampiri dunia di mana setiap jurutera ialah pengurus produk yang mengetuai sepasukan ejen.”
Asana kini menggunakan GPT‑6 Astra dalam Codex untuk menguji ciri produk sebelum dilancarkan: Astra menavigasi platform, mencuba pelbagai input dan melaporkan pepijat kepada penyemak jaminan kualiti manusia. Hidalgo melihat ini sebagai asas bagi kitar hayat pembangunan perisian baharu, dengan banyak sesi ejen awan menguji ciri secara serentak.
Kajian lengkap tersedia di blog Asana(dibuka dalam tetingkap baru) dan StackAI(dibuka dalam tetingkap baru).
