Amplitude uz OpenAI uvodi poboljšanja proizvoda za 1–2 dana

Amplitude oduvijek pomaže timovima da vide kako ljudi zaista koriste njihove proizvode. Njegov proaktivni agent za proizvode, Wave, pomaže timovima da te uvide pretvore u poboljšanja dostupna korisnicima. Prema navodima kompanije Amplitude, Wave se približno 80% oslanja na modele kompanije OpenAI, uključujući GPT‑6.1 Sol, GPT‑6 Luna i GPT‑Image‑2.5 Flare. Wave pretvara uvide o proizvodu u planove implementacije koje timovi mogu poslati agentima za kodiranje, uključujući Codex, a zatim mjeri učinak.

Amplitude procjenjuje da Wave može pomoći timovima da uvedu poboljšanja proizvoda za 1–2 dana umjesto za otprilike mjesec. Na početnoj stranici same platforme Amplitude, Wave je pomogao personalizirati kartice s prijedlozima, što je dovelo do rasta broja poruka poslanih putem kartica od 160%.

Wave je proaktivni agent kompanije Amplitude za proizvode. Timovi mu zadaju oblast proizvoda, ciljeve koje žele ostvariti i metrike koje žele poboljšati. Wave objedinjuje podatke iz platforme Amplitude, snimke sesija, povratne informacije korisnika i kod kako bi prepoznao prilike i odredio njihove prioritete, razvio rješenja te koordinirao implementaciju s ljudima i agentima za kodiranje. Zatim prati ishode i koristi stečena saznanja za planiranje sljedećeg kruga poboljšanja.

Za različite zadatke u tom procesu Amplitude koristi različite modele kompanije OpenAI. GPT‑6.1 Sol podržava upravljanje prilikama i detaljna istraživanja koda i podataka. GPT‑6 Luna obavlja česte zadatke s nižim troškovima, poput pregleda koda i manjih evaluacijskih provjera. GPT‑Image‑2.5 Flare generira vizuelne nacrte proizvoda koristeći snimke ekrana iz snimaka sesija kao vizuelne reference.

Kada je prilika spremna za realizaciju, timovi je mogu poslati direktno iz alata Wave agentima za kodiranje, uključujući Codex, uz tehnički plan i kriterije prihvatanja koji usmjeravaju implementaciju.

„Ideja iza alata Wave je jedinstvena platforma s agentima koji detaljno pregledaju ogromne količine snimaka sesija, analitičkih podataka i koda kako bi pronašli prilike za poboljšanje proizvoda“, objašnjava Jacob Newman, glavni menadžer za AI proizvode u kompaniji Amplitude.

Amplitude je testirao Wave na vlastitoj početnoj stranici, gdje su kartice s općim prijedlozima trebale pomoći korisnicima da započnu razgovor s AI agentom. Wave je otkrio da ih ljudi često zaobilaze: u uzorku od 100 snimaka sesija, 80 korisnika upisalo je vlastita pitanja, a samo 12 odabralo je prijedlog.

Wave je predložio personalizaciju kartica na osnovu nedavno korištenih grafikona, nadzornih ploča ili stranice s koje je korisnik došao. Ilustrirao je izmjenu i izradio tehnički plan koji je uključivao zadržavanje slobodnog unosa teksta i prikazivanje općih prijedloga kada kontekst za personalizaciju nije dostupan. Nakon kratkog pregleda, tim je predao posao agentu za kodiranje i proveo A/B testiranje izmjene.

Prema rezultatima eksperimenta koje je podijelio Amplitude, broj poruka poslanih putem kartica s prijedlozima na početnoj stranici povećao se za 160% u odnosu na kontrolnu grupu nakon jednog dana. „To je odličan primjer kako stvari koje nisu revolucionarne, pa ih jednostavno zanemarujemo, mogu na neočekivan način povećati korištenje funkcionalnosti“, objašnjava Eric Carlson, viši glavni AI inženjer u kompaniji Amplitude.

Zadaci koje Wave obavlja postavljaju različite zahtjeve pred njegove modele. Detaljno istraživanje zahtijeva snažno rezonovanje i dobro potkrijepljene zaključke. Mala provjera koja se ponavlja stotinama puta mora biti brza i jeftina. Amplitude procjenjuje kvalitet, vrijeme odziva i troškove za svaki zadatak, a zatim prema tome dodjeljuje modele.

Za Waveovog istraživača prilika, Amplitude je procjenjivao jesu li modeli potkrepljivali nalaze, izbjegavali lažno pozitivne rezultate, uvažavali povratne informacije evaluatora, oporavljali se nakon grešaka alata i usklađivali tvrdnje s dokazima. GPT‑6.1 Sol ostvario je ukupnu ocjenu 4,06 od 5, u poređenju s ocjenama 3,62, 3,52 i 2,94 za tri alternativna modela. Bio je vodeći po svih pet kriterija istraživanja i imao je najkraće medijalno vrijeme istraživanja, od 54 minute.

U zasebnoj evaluaciji Waveovog agenta za nauku o podacima, GPT‑6.1 Sol ostvario je 67,5 od 100 bodova, u poređenju sa 69,3 za drugi vodeći model, uz prosječni trošak modela od 1,28 USD naspram 2,63 USD po dodjeli zadatka. GPT‑6.1 Sol također je ostvario bolje rezultate u poštivanju pravila korištenja alata, procjenjivanju i izražavanju nesigurnosti te uzemljenju u dokazima.

Za zadatke velikog obima, poput pregleda koda i manjih evaluacijskih provjera, Amplitude koristi GPT‑6 Luna kako bi vrijeme odziva i troškovi ostali niski. Podjela posla među specijaliziranim agentima omogućava timu da skuplje rezonovanje sačuva za zadatke kojima je najpotrebnije.

Pri izradi shematskih prikaza i vizuelnih nacrta, model kompanije OpenAI za generiranje slike ostvario je 80,3 od 100 bodova za shematske prikaze rješenja, u poređenju sa 63,9 za drugi model za generiranje slike. Evaluacija kompanije Amplitude obuhvatila je kvalitet komunikacije, vjernost proizvodu, poštivanje uputa, čitljivost teksta i korisničkog interfejsa te vizuelnu usklađenost na 15 prilika.

Korisnici iz različitih industrija već koriste beta verziju alata Wave za prepoznavanje i uvođenje poboljšanja proizvoda. Wave analizira podatke iz sesija i analitičke podatke, a zatim izrađuje preporuke s predloženom ispravkom, tehničkim planom i kriterijima prihvatanja.

Timovi potom mogu kontrolirati nivo automatizacije. Većina timova šalje ispravke grešaka direktno agentima za kodiranje, dok nove funkcionalnosti i ambicioznije zahvate pregledaju ljudi.

Za izmjene koje dođu do uvođenja, put od otkrića do realizacije može biti kratak: među eksperimentima, oznakama funkcionalnosti i vodičima koje su korisnici pokrenuli, svaki četvrti pokrenut je istog dana kada je Wave prepoznao priliku, polovina za manje od četiri dana, a dva od tri u roku od sedmice.

„Naša ambicija u saradnji s kompanijom OpenAI jeste da proizvodi koji se sami poboljšavaju postanu način na koji kompanije razvijaju softver“, kaže Skates. Kako modeli kompanije OpenAI budu postajali bolji u rezonovanju i kodiranju, timovi će moći prepustiti agentima više posla na istraživanju i implementaciji, pa će bolji proizvodi brže stizati do korisnika. Amplitude to već vidi u praksi: agenti pronalaze poboljšanja u njegovom vlastitom proizvodu i pomažu da se ona uvedu, dok tim radi na drugim prioritetima. „Mislim da će se timovi iznenaditi koliko mogu postići kada njihov softver radi zajedno s njima na poboljšanju proizvoda.“