Jak Amplitude s OpenAI vylepšuje produkty za 1–2 dny

Amplitude od začátku pomáhá týmům zjistit, jak lidé jejich produkty skutečně používají. Její proaktivní produktový agent Wave pomáhá týmům proměnit tyto poznatky v nasazená vylepšení. Podle Amplitude stojí Wave zhruba z 80 % na modelech OpenAI, včetně GPT‑6.1 Sol, GPT‑6 Luna a GPT‑Image‑2.5 Flare. Wave převádí poznatky o produktu do implementačních plánů, které týmy mohou předat programovacím agentům, včetně Codex, a následně měří dopad.

Amplitude odhaduje, že s Wave mohou týmy zkrátit dobu nasazení vylepšení produktu ze zhruba měsíce na 1–2 dny. Na vlastní domovské stránce Amplitude pomohl Wave personalizovat karty s návrhy, což vedlo ke 160% nárůstu počtu zpráv odeslaných prostřednictvím těchto karet.

Wave je proaktivní produktový agent společnosti Amplitude. Týmy mu určí oblast produktu, cíle, kterých chtějí dosáhnout, a metriky, které chtějí zlepšit. Wave propojuje data z Amplitude, záznamy relací, zpětnou vazbu zákazníků a kód, aby nacházel příležitosti, určoval jejich priority, navrhoval řešení a koordinoval implementaci s lidmi i programovacími agenty. Poté sleduje výsledky a získané poznatky využívá při návrhu dalších vylepšení.

V tomto pracovním postupu Amplitude využívá pro různé úkoly různé modely OpenAI. GPT‑6.1 Sol podporuje správu příležitostí a hloubkový průzkum kódu a dat. GPT‑6 Luna zajišťuje časté, méně nákladné úkoly, jako je procházení kódu a provádění drobných hodnoticích kontrol. GPT‑Image‑2.5 Flare vytváří vizuální návrhy produktu a jako předlohy používá snímky obrazovky ze záznamů relací.

Jakmile je příležitost připravena k realizaci, týmy ji mohou přímo z Wave odeslat programovacím agentům, včetně Codex, spolu s technickým plánem a akceptačními kritérii, podle kterých bude implementace probíhat.

„Myšlenkou Wave je jednotná platforma s agenty, kteří procházejí obrovské množství záznamů relací, analytických dat a kódu a hledají příležitosti ke zlepšení produktů,“ vysvětluje Jacob Newman, hlavní produktový manažer pro AI ve společnosti Amplitude.

Amplitude otestovala Wave na své domovské stránce, kde měly obecné karty s návrhy uživatelům pomáhat zahájit konverzaci s AI agentem. Wave zjistil, že je lidé často obcházejí: ve vzorku 100 záznamů relací zadalo 80 uživatelů vlastní otázky a pouze 12 si vybralo některý z návrhů.

Wave navrhl personalizovat karty podle nedávno použitých grafů, přehledových panelů nebo stránky, ze které uživatel přišel. Změnu vizuálně znázornil a vytvořil technický plán, který zahrnoval zachování možnosti zadat vlastní text i zobrazování obecných návrhů, pokud nejsou k dispozici podklady pro personalizaci. Po krátké kontrole tým předal práci programovacímu agentovi a změnu otestoval pomocí A/B testu.

Podle výsledků experimentu, které Amplitude sdílela, se počet zpráv odeslaných přes karty s návrhy na domovské stránce po jednom dni zvýšil o 160 % oproti kontrolní skupině. „Je to skvělý příklad toho, jak i věci, které nejsou nijak převratné a zůstávají opomíjené, mohou nečekaně zvýšit využívání funkcí,“ vysvětluje Eric Carlson, vedoucí AI inženýr ve společnosti Amplitude.

Úkoly, které Wave plní, kladou na jeho modely různé nároky. Hloubkový průzkum vyžaduje pokročilé uvažování a dobře podložené závěry. Drobná kontrola opakovaná stokrát musí být rychlá a levná. Amplitude u každého úkolu vyhodnocuje kvalitu, latenci a náklady a podle toho vybírá modely.

U agenta Opportunity Investigator ve Wave společnost Amplitude hodnotila, zda modely ověřují svá zjištění dalšími důkazy, vyhýbají se falešně pozitivním výsledkům, zapracovávají zpětnou vazbu hodnotitele, zotavují se po selhání nástrojů a formulují tvrzení přiměřeně dostupným důkazům. GPT‑6.1 Sol získal celkové skóre 4,06 z 5 oproti 3,62, 3,52 a 2,94 u tří alternativních modelů. Vedl ve všech pěti kritériích průzkumu a měl také nejkratší medián doby průzkumu: 54 minut.

V samostatném hodnocení agenta Data Science Agent ve Wave získal GPT‑6.1 Sol 67,5 bodu ze 100 oproti 69,3 u jiného předního modelu. Průměrné náklady na model přitom činily 1,28 USD oproti 2,63 USD na jedno zadání. GPT‑6.1 Sol dosáhl vyššího skóre také v dodržování specifikací nástrojů, v odhadech a práci s nejistotou a v ukotvení v důkazech.

Pro úkoly prováděné ve velkém objemu, jako je procházení kódu a drobné hodnoticí kontroly, používá Amplitude GPT‑6 Luna, aby udržela nízkou latenci i náklady. Rozdělení práce mezi specializované agenty umožňuje týmu vyhradit nákladnější uvažování pro úkoly, které ho potřebují nejvíce.

Při tvorbě wireframů a vizuálních návrhů získal model OpenAI pro generování obrázků za wireframy řešení 80,3 bodu ze 100 oproti 63,9 u jiného modelu pro generování obrázků. Hodnocení Amplitude zahrnovalo kvalitu komunikace, věrnost produktu, dodržování pokynů, čitelnost textu a uživatelského rozhraní a vizuální soudržnost u 15 příležitostí.

Zákazníci napříč odvětvími už používají beta verzi Wave k hledání a nasazování vylepšení produktů. Wave analyzuje data z relací a analytická data a následně vytváří doporučení s navrhovanou opravou, technickým plánem a akceptačními kritérii.

Dál už si týmy mohou samy určit míru automatizace. Většina týmů posílá opravy chyb rovnou programovacím agentům, zatímco nové funkce a odvážnější změny nejprve kontroluje člověk.

U změn, které se dostanou až do provozu, může být cesta od odhalení příležitosti k realizaci krátká: ze zákazníky spuštěných experimentů, přepínačů funkcí a průvodců byla čtvrtina spuštěna ještě v den, kdy Wave příležitost odhalil, polovina za méně než čtyři dny a dvě třetiny do týdne.

„Naší ambicí ve spolupráci s OpenAI je, aby firmy běžně vytvářely software, který se sám zlepšuje,“ říká Skates. S tím, jak se modely OpenAI zlepšují v uvažování a programování, budou týmy moci agentům svěřit větší část průzkumu i implementace. K uživatelům se tak budou rychleji dostávat lepší produkty. Amplitude to už zažívá: agenti nacházejí a pomáhají zavádět vylepšení jejího vlastního produktu, zatímco se tým věnuje jiným prioritám. „Myslím, že týmy překvapí, kolik toho zvládnou, když jejich software pracuje po jejich boku na zlepšování produktu.“