Jak Amplitude ulepsza produkt w 1–2 dni dzięki OpenAI

Amplitude od zawsze pomaga zespołom zrozumieć, jak ludzie faktycznie korzystają z ich produktów. Wave, proaktywny agent firmy wspierający rozwój produktu, pomaga zespołom przekuwać te wnioski we wdrożone ulepszenia. Według Amplitude Wave opiera się w około 80% na modelach OpenAI, w tym GPT‑6.1 Sol, GPT‑6 Luna i GPT‑Image‑2.5 Flare. Wave przekształca wnioski dotyczące produktu w plany wdrożenia, które zespoły mogą przekazać agentom programistycznym, w tym Codex, a następnie mierzy efekty.

Amplitude szacuje, że Wave może pomóc zespołom skrócić czas wdrażania ulepszeń produktu z około miesiąca do 1–2 dni. Na stronie głównej samego Amplitude Wave pomógł spersonalizować karty sugestii, zwiększając liczbę wiadomości wysyłanych za ich pośrednictwem o 160%.

Wave to proaktywny agent Amplitude wspierający rozwój produktu. Zespoły wskazują mu obszar produktu oraz cele i wskaźniki, które chcą poprawić. Wave łączy dane z Amplitude, nagrania sesji, opinie klientów i kod, aby znajdować możliwości ulepszeń, ustalać ich priorytety, opracowywać rozwiązania i koordynować wdrażanie ich z ludźmi oraz agentami programistycznymi. Następnie śledzi wyniki i wykorzystuje zdobyte wnioski do planowania kolejnych ulepszeń.

W tym procesie Amplitude korzysta z różnych modeli OpenAI do różnych zadań. GPT‑6.1 Sol wspiera moduł zarządzania możliwościami ulepszeń oraz dogłębną analizę kodu i danych. GPT‑6 Luna obsługuje częste, mniej kosztowne zadania, takie jak skanowanie kodu i przeprowadzanie drobnych kontroli jakości. GPT‑Image‑2.5 Flare generuje wizualizacje produktu, wykorzystując zrzuty ekranu z nagrań sesji jako wizualne punkty odniesienia.

Gdy propozycja ulepszenia jest gotowa do realizacji, zespoły mogą wysłać ją bezpośrednio z Wave do agentów programistycznych, w tym Codex, wraz z planem technicznym i kryteriami akceptacji, które ukierunkują wdrożenie.

„Idea Wave polega na stworzeniu jednej platformy z agentami, którzy przeszukują ogromne ilości nagrań sesji, danych analitycznych i kodu, by znajdować możliwości ulepszania produktów” — wyjaśnia Jacob Newman, główny menedżer produktu AI w Amplitude.

Amplitude przetestowało Wave na własnej stronie głównej, gdzie ogólne karty sugestii miały pomagać użytkownikom rozpoczynać rozmowę z agentem AI. Wave odkrył, że użytkownicy często je pomijali: w próbie 100 nagrań sesji 80 użytkowników wpisywało własne pytania, a tylko 12 wybrało sugestię.

Wave zaproponował personalizację kart na podstawie ostatnio używanych wykresów, pulpitów lub strony, z której przyszedł użytkownik. Zilustrował zmianę i przygotował plan techniczny, uwzględniając zachowanie możliwości swobodnego wpisywania tekstu oraz wyświetlanie ogólnych sugestii, gdy brakuje kontekstu do personalizacji. Po krótkiej weryfikacji zespół przekazał zadanie agentowi programistycznemu i przeprowadził test A/B zmiany.

Według wyników eksperymentu udostępnionych przez Amplitude liczba wiadomości wysyłanych za pośrednictwem kart sugestii na stronie głównej wzrosła po jednym dniu o 160% względem grupy kontrolnej. „To świetny przykład tego, jak niepozorne, często pomijane zmiany mogą w zaskakujący sposób zwiększyć wykorzystanie funkcji” — wyjaśnia Eric Carlson, starszy główny inżynier AI w Amplitude.

Zadania Wave stawiają jego modelom różne wymagania. Dogłębna analiza wymaga zaawansowanego rozumowania i dobrze uzasadnionych wniosków. Drobna kontrola powtarzana setki razy musi być szybka i tania. Amplitude ocenia jakość, czas odpowiedzi i koszt każdego zadania, a następnie odpowiednio dobiera modele.

W przypadku agenta Opportunity Investigator w Wave Amplitude oceniało, czy modele potwierdzają ustalenia dodatkowymi dowodami, unikają wyników fałszywie dodatnich, uwzględniają uwagi oceniającego, wznawiają pracę po awariach narzędzi i formułują twierdzenia adekwatne do dowodów. GPT‑6.1 Sol uzyskał ogólną ocenę 4,06 na 5 w porównaniu z 3,62, 3,52 i 2,94 dla trzech alternatywnych modeli. Zajął pierwsze miejsce we wszystkich pięciu kryteriach analizy i miał najkrótszą medianę czasu jej wykonania — 54 minuty.

W osobnej ocenie agenta Data Science Agent w Wave GPT‑6.1 Sol uzyskał 67,5 na 100 punktów w porównaniu z 69,3 dla innego czołowego modelu, przy średnim koszcie modelu wynoszącym 1,28 USD wobec 2,63 USD na zlecenie. GPT‑6.1 Sol uzyskał też wyższe oceny za zgodność z kontraktami narzędzi, szacowanie i uwzględnianie niepewności oraz ugruntowanie w dowodach.

Do masowo wykonywanych zadań, takich jak skanowanie kodu i drobne kontrole jakości, Amplitude używa GPT‑6 Luna, aby utrzymać krótki czas odpowiedzi i niskie koszty. Podział pracy między wyspecjalizowanych agentów pozwala zespołowi zarezerwować droższe rozumowanie dla zadań, które najbardziej go potrzebują.

W zadaniach tworzenia makiet i wizualizacji model OpenAI do generowania obrazu uzyskał 80,3 na 100 punktów za makiety rozwiązań, w porównaniu z 63,9 dla innego modelu do generowania obrazu. Ocena Amplitude obejmowała jakość komunikacji, wierność odwzorowania produktu, przestrzeganie instrukcji, czytelność tekstu i interfejsu oraz spójność wizualną w 15 propozycjach ulepszeń.

Klienci z różnych branż już korzystają z wersji beta Wave, aby znajdować i wdrażać ulepszenia produktów. Wave analizuje dane z sesji i dane analityczne, a następnie opracowuje rekomendacje zawierające proponowane rozwiązanie, plan techniczny i kryteria akceptacji.

Na tym etapie zespoły mogą wybrać poziom automatyzacji. Większość zespołów kieruje poprawki błędów bezpośrednio do agentów programistycznych, natomiast nowe funkcje i większe przedsięwzięcia poddaje weryfikacji przez człowieka.

W przypadku zmian, które trafiają do wdrożenia, droga od odkrycia do realizacji może być krótka: spośród eksperymentów, flag i przewodników uruchomionych przez klientów co czwarty uruchomiono tego samego dnia, w którym Wave wskazał możliwość ulepszenia, połowę w mniej niż cztery dni, a dwie trzecie w ciągu tygodnia.

„Naszą ambicją we współpracy z OpenAI jest sprawić, by firmy tworzyły oprogramowanie w postaci samodoskonalących się produktów” — mówi Skates. W miarę jak modele OpenAI coraz lepiej radzą sobie z rozumowaniem i programowaniem, zespoły będą mogły powierzać agentom więcej prac analitycznych i wdrożeniowych, dzięki czemu lepsze produkty będą szybciej trafiać do użytkowników. Amplitude już obserwuje ten efekt: agenci znajdują i pomagają wdrażać ulepszenia we własnym produkcie firmy, podczas gdy zespół zajmuje się innymi priorytetami. „Myślę, że zespoły zaskoczy, jak wiele mogą osiągnąć, gdy oprogramowanie współpracuje z nimi nad ulepszaniem produktu”.