Amplitude menambah baik produk dalam 1–2 hari dengan OpenAI
Dibina terutamanya berasaskan model OpenAI, Wave, ejen produk proaktif Amplitude, mengenal pasti apa yang perlu dibina, membantu pasukan melancarkan perubahan dengan ejen pengekodan dan mengukur kesannya.
160%
Peningkatan interaksi ejen berbanding kawalan selepas satu hari
1–2 hari
Anggaran masa untuk melancarkan penambahbaikan produk dengan Wave
51%
Kos model min yang lebih rendah bagi setiap penghantaran untuk GPT‑6.1 Sol dalam penilaian Ejen Sains Data Amplitude.
$1.34
Kos model untuk GPT‑6.1 Sol dalam penilaian Penyiasat Peluang Amplitude.
Amplitude sejak dahulu membantu pasukan memahami cara orang benar-benar menggunakan produk mereka. Ejen produk proaktifnya, Wave, membantu pasukan menukar cerapan tersebut menjadi penambahbaikan yang dilancarkan. Menurut Amplitude, kira-kira 80% operasi Wave dikuasakan oleh model OpenAI, termasuk GPT‑6.1 Sol, GPT‑6 Luna dan GPT‑Image‑2.5 Flare. Wave menukar cerapan produk menjadi pelan pelaksanaan yang boleh dihantar oleh pasukan kepada ejen pengekodan, termasuk Codex, kemudian mengukur kesannya.
Amplitude menganggarkan bahawa Wave boleh membantu pasukan melancarkan penambahbaikan produk dalam 1–2 hari, berbanding kira-kira sebulan sebelum ini. Pada halaman utama Amplitude sendiri, Wave membantu memperibadikan kad cadangan, lalu meningkatkan penghantaran mesej melalui kad sebanyak 160%.
“AI kini boleh mengenal pasti kerja berguna yang tidak pernah terfikir oleh kami untuk ditugaskan kepadanya. Model OpenAI boleh menyiasat masalah, menulis dan menjalankan kod, serta menggunakan hasilnya untuk menentukan perkara yang patut dicuba seterusnya.”
Wave ialah ejen produk proaktif Amplitude. Pasukan menetapkan bahagian produk untuk ditumpukan serta matlamat dan metrik yang ingin ditingkatkan. Wave menggabungkan data Amplitude, rakaman semula sesi, maklum balas pelanggan dan kod untuk mengenal pasti serta mengutamakan peluang, membangunkan penyelesaian dan menyelaraskan pelaksanaan bersama manusia dan ejen pengekodan. Wave kemudian menjejaki hasil dan menggunakan apa yang dipelajari untuk memandu penambahbaikan seterusnya.
Di sebalik aliran kerja itu, Amplitude menggunakan model OpenAI yang berbeza untuk tugas yang berbeza. GPT‑6.1 Sol menyokong pengurus peluang serta penyiasatan mendalam terhadap kod dan data. GPT‑6 Luna mengendalikan tugas kerap yang berkos lebih rendah, seperti mengimbas kod dan menjalankan semakan penilaian kecil. GPT‑Image‑2.5 Flare menjana mokap produk menggunakan tangkap layar daripada rakaman semula sesi sebagai rujukan visual.
Apabila sesuatu peluang sedia untuk dibangunkan, pasukan boleh menghantarnya terus daripada Wave kepada ejen pengekodan, termasuk Codex, berserta pelan teknikal dan kriteria penerimaan untuk memandu pelaksanaan.
“Idea di sebalik Wave ialah sebuah platform bersepadu dengan ejen yang meneliti rakaman semula sesi, analitik dan kod dalam jumlah besar untuk mencari peluang menambah baik produk,” jelas Jacob Newman, Pengurus Utama Produk AI di Amplitude.
Amplitude menguji Wave pada halaman utamanya sendiri, yang menyediakan kad cadangan umum untuk membantu pengguna memulakan perbualan dengan ejen AI. Wave mendapati bahawa pengguna sering mengabaikan kad tersebut: dalam sampel 100 rakaman semula sesi, 80 pengguna menaip soalan sendiri dan hanya 12 memilih cadangan.
Wave mencadangkan agar kad diperibadikan menggunakan carta dan papan pemuka terkini, atau halaman yang dikunjungi pengguna sebelumnya. Wave menggambarkan perubahan itu secara visual dan menghasilkan pelan teknikal, termasuk mengekalkan pilihan menaip bebas serta memaparkan cadangan umum apabila konteks untuk pemperibadian tidak tersedia. Selepas semakan ringkas, pasukan menyerahkan kerja itu kepada ejen pengekodan dan menjalankan ujian A/B terhadap perubahan tersebut.
Dalam laporan hasil eksperimen yang dikongsi oleh Amplitude, mesej yang dihantar melalui kad cadangan halaman utama meningkat 160% berbanding kumpulan kawalan selepas satu hari. “Ini contoh yang sangat baik tentang bagaimana perkara yang tidak begitu baharu dan sering diabaikan boleh meningkatkan penggunaan ciri dengan cara yang tidak dijangka,” jelas Eric Carlson, Jurutera Utama Kanan AI di Amplitude.
Tugas Wave memerlukan keupayaan model yang berbeza-beza. Penyiasatan mendalam memerlukan penaakulan yang mantap dan kesimpulan yang disokong bukti kukuh. Semakan kecil yang diulang ratusan kali perlu pantas dan berkos rendah. Amplitude menilai kualiti, kependaman dan kos bagi setiap tugas, kemudian memilih model yang sesuai.
“OpenAI menyediakan model dengan keupayaan penaakulan yang mantap serta model yang lebih kecil dan pantas, supaya kami dapat mengimbangi kualiti, kependaman dan kos inferens di seluruh produk”
Untuk Penyiasat Peluang Wave, Amplitude menilai sama ada model mengesahkan dapatan dengan bukti sokongan, mengelakkan positif palsu, menerapkan maklum balas penilai, pulih daripada kegagalan alat dan memastikan dakwaan selaras dengan bukti. GPT‑6.1 Sol memperoleh skor keseluruhan 4.06 daripada 5, berbanding 3.62, 3.52 dan 2.94 bagi tiga model alternatif. Model ini mendahului kelima-lima kriteria penyiasatan dan mencatat masa penyiasatan median terpantas, iaitu 54 minit.
Dalam penilaian berasingan terhadap Ejen Sains Data Wave, GPT‑6.1 Sol memperoleh skor 67.5 daripada 100, berbanding 69.3 bagi satu lagi model terkemuka, dengan kos purata model sebanyak $1.28 berbanding $2.63 bagi setiap penghantaran tugasan. GPT‑6.1 Sol turut memperoleh skor lebih tinggi dalam pematuhan kontrak alat, penganggaran dan ketidakpastian, serta pembumian bukti.
Untuk kerja bervolum tinggi seperti mengimbas kod dan menjalankan semakan penilaian kecil, Amplitude menggunakan GPT‑6 Luna bagi memastikan kependaman dan kos kekal rendah. Pembahagian kerja antara ejen pakar membolehkan pasukan mengkhususkan penaakulan yang lebih mahal untuk tugas yang paling memerlukannya.
Bagi penjanaan rangka dawai dan mokap, model penjanaan imej OpenAI memperoleh skor 80.3 daripada 100 untuk rangka dawai penyelesaian, berbanding 63.9 bagi satu lagi model penjanaan imej. Penilaian Amplitude merangkumi kualiti komunikasi, ketepatan gambaran produk, pematuhan arahan, kebolehbacaan teks dan UI, serta keselarasan visual bagi 15 peluang.
Pelanggan daripada pelbagai industri sudah menggunakan Wave versi beta untuk mengenal pasti dan melancarkan penambahbaikan produk. Wave menganalisis data sesi dan analitik, kemudian menghasilkan saranan berserta cadangan pembaikan, pelan teknikal dan kriteria penerimaan.
Seterusnya, pasukan boleh mengawal tahap automasi. Kebanyakan pasukan menghantar pembaikan pepijat terus kepada ejen pengekodan, manakala ciri baharu dan inisiatif yang lebih besar disemak oleh manusia.
Bagi perubahan yang berjaya dilancarkan, tempoh daripada penemuan hingga pelaksanaan boleh menjadi singkat: antara eksperimen, bendera ciri dan panduan yang dilancarkan oleh pelanggan, satu daripada empat dilancarkan pada hari yang sama Wave mengenal pasti peluang tersebut, separuh dalam kurang daripada empat hari dan dua daripada tiga dalam seminggu.
Disisip daripada pencapaian yang dibekalkan; lengkung ini hanyalah ilustrasi, bukan pemerhatian individu.
“Cita-cita kami bersama OpenAI ialah menjadikan produk yang menambah baik dirinya sendiri sebagai pendekatan syarikat dalam membangunkan perisian,” kata Skates. Apabila model OpenAI semakin mahir dalam penaakulan dan pengekodan, pasukan akan dapat menyerahkan lebih banyak kerja penyiasatan dan pelaksanaan kepada ejen, sekali gus membolehkan produk yang lebih baik sampai kepada pengguna dengan lebih pantas. Amplitude sudah melihat hasilnya apabila ejen mengenal pasti dan membantu melaksanakan penambahbaikan pada produknya sendiri sementara pasukan menumpukan keutamaan lain: “Saya rasa pasukan akan terkejut dengan betapa banyak yang dapat dicapai apabila perisian mereka bekerjasama dengan mereka untuk menambah baik produk.”
