Amplitude merilis perbaikan produk dalam 1–2 hari dengan OpenAI

Amplitude sejak awal membantu tim memahami bagaimana orang benar-benar menggunakan produk mereka. Agen produk proaktifnya, Wave, membantu tim mengubah wawasan tersebut menjadi perbaikan yang dirilis. Menurut Amplitude, sekitar 80% kemampuan Wave didukung model OpenAI, termasuk GPT‑6.1 Sol, GPT‑6 Luna, dan GPT‑Image‑2.5 Flare. Wave mengubah wawasan produk menjadi rencana implementasi yang dapat dikirim tim ke agen coding, termasuk Codex, lalu mengukur dampaknya.

Amplitude memperkirakan Wave dapat membantu tim merilis perbaikan produk dalam 1–2 hari, dari sebelumnya sekitar sebulan. Di beranda Amplitude sendiri, Wave membantu mempersonalisasi kartu saran sehingga pengiriman pesan melalui kartu meningkat 160%.

Wave adalah agen produk proaktif dari Amplitude. Tim menentukan area produk yang perlu ditangani, beserta sasaran dan metrik yang ingin ditingkatkan. Wave memadukan data Amplitude, rekaman sesi, masukan pelanggan, dan kode untuk mengidentifikasi serta memprioritaskan peluang, mengembangkan solusi, dan mengoordinasikan implementasi dengan manusia dan agen coding. Wave kemudian melacak hasilnya dan menggunakan pembelajaran tersebut untuk menentukan perbaikan berikutnya.

Di balik alur kerja itu, Amplitude menggunakan model OpenAI yang berbeda untuk setiap jenis tugas. GPT‑6.1 Sol mendukung pengelola peluang serta investigasi mendalam terhadap kode dan data. GPT‑6 Luna menangani tugas rutin berbiaya lebih rendah, seperti memindai kode dan menjalankan pemeriksaan evaluasi kecil. GPT‑Image‑2.5 Flare membuat mockup produk menggunakan tangkapan layar dari rekaman sesi sebagai referensi visual.

Saat sebuah peluang siap diwujudkan, tim dapat mengirimkannya langsung dari Wave ke agen coding, termasuk Codex, beserta rencana teknis dan kriteria penerimaan sebagai panduan implementasi.

“Gagasan di balik Wave adalah menyediakan platform terpadu dengan agen yang menelusuri rekaman sesi, analitik, dan kode dalam jumlah besar untuk menemukan peluang perbaikan produk,” jelas Jacob Newman, Principal AI Product Manager di Amplitude.

Amplitude menguji Wave di berandanya sendiri, tempat kartu saran umum ditampilkan untuk membantu pengguna memulai percakapan dengan agen AI. Wave menemukan bahwa pengguna sering melewatkan kartu tersebut: dalam sampel 100 rekaman sesi, 80 pengguna mengetik pertanyaan sendiri dan hanya 12 yang memilih saran.

Wave mengusulkan personalisasi kartu berdasarkan grafik dan dasbor yang baru dibuka, atau halaman yang dikunjungi pengguna sebelumnya. Wave membuat ilustrasi perubahan tersebut dan menyusun rencana teknis, termasuk mempertahankan opsi mengetik bebas dan menampilkan saran umum saat konteks personalisasi tidak tersedia. Setelah peninjauan singkat, tim menyerahkan pekerjaan itu kepada agen coding dan melakukan pengujian A/B atas perubahan tersebut.

Dalam laporan hasil eksperimen yang dibagikan Amplitude, pesan yang dikirim melalui kartu saran di beranda meningkat 160% dibandingkan kelompok kontrol setelah satu hari. “Ini contoh bagus bagaimana hal-hal sederhana yang sering diabaikan justru bisa meningkatkan adopsi fitur dengan cara yang tak terduga,” jelas Eric Carlson, Senior Principal AI Engineer di Amplitude.

Setiap tugas Wave menuntut kemampuan yang berbeda dari modelnya. Investigasi mendalam membutuhkan penalaran yang kuat dan kesimpulan dengan dukungan bukti yang memadai. Pemeriksaan kecil yang diulang ratusan kali harus cepat dan murah. Amplitude mengevaluasi kualitas, latensi, dan biaya untuk setiap tugas, lalu memilih model yang sesuai.

Untuk Penyelidik Peluang Wave, Amplitude mengevaluasi apakah model memverifikasi temuan dengan bukti pendukung, menghindari positif palsu, menerapkan masukan evaluator, pulih dari kegagalan alat, serta menjaga agar klaim selaras dengan bukti. GPT‑6.1 Sol meraih skor keseluruhan 4,06 dari 5, dibandingkan dengan 3,62, 3,52, dan 2,94 untuk tiga model alternatif. Model ini unggul dalam kelima kriteria investigasi dan memiliki median waktu investigasi tercepat, yaitu 54 menit.

Dalam evaluasi terpisah untuk Agen Sains Data Wave, GPT‑6.1 Sol meraih skor 67,5 dari 100, dibandingkan 69,3 untuk model terkemuka lainnya, dengan biaya model rata-rata US$1,28 dibandingkan US$2,63 per penugasan. GPT‑6.1 Sol juga meraih skor lebih tinggi dalam kepatuhan terhadap kontrak alat, estimasi dan ketidakpastian, serta grounding pada bukti.

Untuk pekerjaan bervolume tinggi seperti memindai kode dan menjalankan pemeriksaan evaluasi kecil, Amplitude menggunakan GPT‑6 Luna agar latensi dan biaya tetap rendah. Pembagian pekerjaan di antara agen spesialis memungkinkan tim menggunakan penalaran yang lebih mahal hanya untuk tugas yang paling membutuhkannya.

Untuk pembuatan wireframe dan mockup, model pembuatan gambar OpenAI meraih skor 80,3 dari 100 pada wireframe solusi, dibandingkan 63,9 untuk model pembuatan gambar lainnya. Evaluasi Amplitude mencakup kualitas komunikasi, kesesuaian dengan produk, kepatuhan terhadap instruksi, keterbacaan teks dan UI, serta keselarasan visual pada 15 peluang.

Pelanggan dari berbagai industri sudah menggunakan Wave versi beta untuk mengidentifikasi dan merilis perbaikan produk. Wave menganalisis data sesi dan analitik, lalu menyusun rekomendasi yang mencakup usulan perbaikan, rencana teknis, dan kriteria penerimaan.

Setelah itu, tim dapat mengatur tingkat otomatisasinya. Sebagian besar tim langsung mengirim perbaikan bug ke agen coding, sementara fitur baru dan inisiatif yang lebih besar ditinjau oleh manusia.

Untuk perubahan yang akhirnya diluncurkan, proses dari penemuan hingga pelaksanaan bisa singkat: di antara eksperimen, flag, dan panduan yang diluncurkan pelanggan, satu dari empat sudah aktif pada hari yang sama saat Wave menemukan peluangnya, separuh dalam waktu kurang dari empat hari, dan dua dari tiga dalam seminggu.

“Ambisi kami bersama OpenAI adalah menjadikan produk yang mampu memperbaiki dirinya sendiri sebagai cara perusahaan membangun perangkat lunak,” kata Skates. Seiring meningkatnya kemampuan penalaran dan coding model OpenAI, tim akan dapat mendelegasikan lebih banyak pekerjaan investigasi dan implementasi kepada agen. Pada akhirnya, produk yang lebih baik akan sampai ke pengguna lebih cepat. Amplitude sudah merasakan hal ini: agen menemukan dan membantu mewujudkan perbaikan pada produknya sendiri sementara tim mengerjakan prioritas lain. “Saya rasa tim akan terkejut melihat betapa banyak yang bisa mereka capai ketika perangkat lunak bekerja bersama mereka untuk membuat produk lebih baik.”