Amplitude, OpenAI ile ürününü 1–2 günde nasıl iyileştiriyor?
Ağırlıklı olarak OpenAI modelleriyle çalışan Amplitude’un proaktif ürün ajanı Wave, nelerin geliştirileceğini belirler, ekiplerin kodlama ajanlarıyla değişiklikleri hayata geçirmesine yardımcı olur ve etkilerini ölçer.
%160
Bir gün sonra kontrol grubuna kıyasla ajanla etkileşimdeki artış
1–2 gün
Wave ile bir ürün iyileştirmesini yayına almak için tahmini süre
%51
Amplitude’un Veri Bilimi Ajanı değerlendirmesinde GPT‑6.1 Sol için görevlendirme başına ortalama model maliyetindeki düşüş.
1,34 $
Amplitude’un Fırsat Araştırmacısı değerlendirmesinde GPT‑6.1 Sol için model maliyeti.
Amplitude, ekiplerin ürünlerinin gerçekte nasıl kullanıldığını görmelerine her zaman yardımcı oldu. Proaktif ürün ajanı Wave ise ekiplerin bu içgörüleri kullanıma sunulan iyileştirmelere dönüştürmelerine yardımcı oluyor. Amplitude, Wave’in yaklaşık %80 oranında GPT‑6.1 Sol, GPT‑6 Luna ve GPT‑Image‑2.5 Flare dâhil OpenAI modelleriyle çalıştığını belirtiyor. Wave, ürün içgörülerini ekiplerin Codex dâhil kodlama ajanlarına gönderebileceği uygulama planlarına dönüştürüyor, ardından etkilerini ölçüyor.
Amplitude’un tahminine göre Wave, ekiplerin ürün iyileştirmelerini yayına alma süresini yaklaşık bir aydan 1–2 güne indirmelerine yardımcı olabiliyor. Wave, Amplitude’un kendi ana sayfasındaki öneri kartlarının kişiselleştirilmesine yardımcı olarak bu kartlar üzerinden gönderilen mesajlarda %160 artış sağladı.
“AI artık ona vermeyi hiç düşünmediğimiz faydalı işleri kendisi bulabiliyor. OpenAI modelleri bir sorunu araştırabiliyor, kod yazıp çalıştırabiliyor ve sonuçlara bakarak bir sonraki adımda ne deneyeceğine karar verebiliyor.”
Wave, Amplitude’un proaktif ürün ajanıdır. Ekipler ona ürünün odaklanılacak alanını, ulaşmak istedikleri hedefleri ve iyileştirmek istedikleri metrikleri veriyor. Wave; fırsatları belirleyip önceliklendirmek, çözümler geliştirmek ve uygulama sürecini insanlarla ve kodlama ajanlarıyla koordine etmek için Amplitude verilerini, oturum kayıtlarını, müşteri geri bildirimlerini ve kodu bir araya getiriyor. Ardından sonuçları takip ediyor ve öğrendiklerini bir sonraki iyileştirme turuna yön vermek için kullanıyor.
Bu iş akışının arka planında Amplitude, farklı görevler için farklı OpenAI modelleri kullanıyor. GPT‑6.1 Sol, fırsat yöneticisini ve kod ile veriler üzerinde yapılan derinlemesine araştırmaları destekliyor. GPT‑6 Luna, kod tarama ve küçük değerlendirme kontrolleri gibi sık tekrarlanan, daha düşük maliyetli görevleri üstleniyor. GPT‑Image‑2.5 Flare, oturum kayıtlarından alınan ekran görüntülerini görsel referans olarak kullanarak ürün maketleri oluşturuyor.
Bir fırsat geliştirmeye hazır olduğunda ekipler onu, uygulamaya yön verecek bir teknik plan ve kabul ölçütleriyle birlikte doğrudan Wave’den Codex dâhil kodlama ajanlarına gönderebiliyor.
Amplitude Baş AI Ürün Yöneticisi Jacob Newman şöyle açıklıyor: “Wave’in arkasındaki fikir, ürünleri iyileştirme fırsatlarını bulmak için çok büyük miktarda oturum kaydını, analitik verisini ve kodu tarayan ajanlara sahip birleşik bir platform sunmak.”
Amplitude, Wave’i kendi ana sayfasında test etti. Buradaki genel öneri kartları, kullanıcıların bir AI ajanıyla sohbet başlatmasına yardımcı olmak için tasarlanmıştı. Wave, kullanıcıların çoğunlukla bu kartları kullanmadığını keşfetti: 100 oturum kaydından oluşan bir örneklemde 80 kullanıcı kendi sorusunu yazmış, yalnızca 12 kullanıcı bir öneriyi seçmişti.
Wave, son kullanılan grafiklerden, panolardan veya kullanıcının geldiği sayfadan yararlanarak kartları kişiselleştirmeyi önerdi. Değişikliği görselleştirdi ve kullanıcıların kendi metinlerini yazabilmesini koruyan, kişiselleştirme için bağlam bulunmadığında ise genel öneriler gösteren bir teknik plan hazırladı. Ekip, kısa bir incelemenin ardından işi bir kodlama ajanına devretti ve değişikliği A/B testiyle sınadı.
Amplitude’un paylaştığı deney sonuçlarına göre, ana sayfadaki öneri kartları üzerinden gönderilen mesajlar bir gün sonra kontrol grubuna kıyasla %160 arttı. Amplitude Kıdemli Baş AI Mühendisi Eric Carlson şöyle açıklıyor: “Bu, çığır açıcı olmadığı için göz ardı edilen şeylerin, özelliklerin benimsenmesini beklenmedik biçimde nasıl artırabileceğine harika bir örnek.”
Wave’in görevleri, modellerden farklı yetenekler bekliyor. Derinlemesine bir araştırma, güçlü akıl yürütme ve sağlam kanıtlarla desteklenen sonuçlar gerektiriyor. Yüzlerce kez tekrarlanan küçük bir kontrolün ise hızlı ve düşük maliyetli olması gerekiyor. Amplitude, her görev için kaliteyi, gecikme süresini ve maliyeti değerlendiriyor, ardından modelleri buna göre görevlendiriyor.
“OpenAI bize hem güçlü akıl yürütme modelleri hem de daha küçük, daha hızlı modeller sundu. Böylece ürün genelinde kalite, gecikme süresi ve çıkarım maliyeti arasında denge kurabildik.”
Amplitude, Wave’in Fırsat Araştırmacısı için modellerin bulguları doğrulayıp doğrulamadığını, yanlış pozitiflerden kaçınıp kaçınmadığını, değerlendirici geri bildirimlerini uygulayıp uygulamadığını, araç hatalarından sonra toparlanıp toparlanmadığını ve iddiaları kanıtlarla uyumlu tutup tutmadığını değerlendirdi. GPT‑6.1 Sol, genel değerlendirmede 5 üzerinden 4,06 puan alırken üç alternatif model sırasıyla 3,62, 3,52 ve 2,94 puan aldı. Beş araştırma ölçütünün tamamında ilk sırada yer aldı ve 54 dakikayla en kısa medyan araştırma süresine ulaştı.
Wave’in Veri Bilimi Ajanı için yapılan ayrı bir değerlendirmede GPT‑6.1 Sol, 100 üzerinden 67,5 puan alırken önde gelen başka bir model 69,3 puan aldı. Görevlendirme başına ortalama model maliyeti ise sırasıyla 1,28 $ ve 2,63 $ oldu. GPT‑6.1 Sol ayrıca araç sözleşmesine uyum, tahmin ve belirsizlik ile kanıtlarla dayanaklandırma alanlarında daha yüksek puan aldı.
Amplitude, kod tarama ve küçük değerlendirme kontrolleri gibi yüksek hacimli işlerde gecikme süresini ve maliyeti düşük tutmak için GPT‑6 Luna kullanıyor. İşi uzman ajanlar arasında bölüştürmek, ekibin daha maliyetli akıl yürütme kapasitesini buna en çok ihtiyaç duyan görevlere ayırmasını sağlıyor.
Arayüz taslakları ve maketler oluşturmaya yönelik değerlendirmede OpenAI’ın görsel oluşturma modeli, çözüm arayüz taslakları için 100 üzerinden 80,3 puan alırken başka bir görsel oluşturma modeli 63,9 puan aldı. Amplitude’un değerlendirmesi, 15 fırsat için iletişim kalitesini, ürüne uygunluğu, talimatlara uyumu, metin ve kullanıcı arayüzünün okunaklılığını ve görsel tutarlılığı kapsadı.
Farklı sektörlerden müşteriler, ürün iyileştirmelerini belirleyip yayına almak için Wave’in beta sürümünü şimdiden kullanıyor. Wave, oturum ve analitik verilerini analiz ediyor; ardından önerilen çözümü, teknik planı ve kabul ölçütlerini içeren öneriler geliştiriyor.
Bu noktadan sonra otomasyon düzeyini ekipler belirleyebiliyor. Çoğu ekip, hata düzeltmelerini doğrudan kodlama ajanlarına gönderirken yeni özellikleri ve daha iddialı girişimleri insan incelemesinden geçiriyor.
Yayına alınan değişikliklerde, keşiften uygulamaya uzanan yol kısa olabiliyor: müşterilerin yayına aldığı deneylerin, özellik bayraklarının ve rehberlerin dörtte biri Wave’in fırsatı belirlediği gün, yarısı dört günden kısa sürede, üçte ikisi ise bir hafta içinde kullanıma sunuldu.
Sağlanan dönüm noktaları arasında interpolasyon yapılmıştır; eğri temsilidir, tekil gözlemlere dayanmaz.
Skates, “OpenAI ile hedefimiz, kendi kendini iyileştiren ürünleri şirketlerin standart yazılım geliştirme yaklaşımı hâline getirmek” diyor. OpenAI modelleri akıl yürütme ve kodlama konusunda geliştikçe ekipler daha fazla araştırma ve uygulama işini ajanlara devredebilecek. Böylece daha iyi ürünler kullanıcılara daha hızlı ulaşacak. Amplitude bunun sonuçlarını şimdiden görüyor: ekip başka önceliklere odaklanırken ajanlar şirketin kendi ürününde iyileştirme fırsatları buluyor ve bunların hayata geçirilmesine yardımcı oluyor. “Yazılımları ürünü iyileştirmek için onlarla birlikte çalıştığında, ekiplerin ne kadar çok şey başarabileceklerine şaşıracağını düşünüyorum.”
