Amplitude migliora i prodotti in 1–2 giorni con OpenAI

Amplitude aiuta da sempre i team a capire come le persone usano davvero i loro prodotti. Wave, il suo agente proattivo per il prodotto, aiuta i team a trasformare queste informazioni in miglioramenti concreti. Secondo Amplitude, Wave si basa per circa l’80% su modelli OpenAI, tra cui GPT‑6.1 Sol, GPT‑6 Luna e GPT‑Image‑2.5 Flare. Wave trasforma le informazioni sul prodotto in piani di implementazione che i team possono inviare ad agenti di programmazione, tra cui Codex, e poi ne misura l’impatto.

Amplitude stima che Wave possa aiutare i team a rilasciare miglioramenti del prodotto in 1–2 giorni, rispetto al mese circa richiesto in precedenza. Sulla homepage della stessa Amplitude, Wave ha contribuito a personalizzare le schede dei suggerimenti, aumentando del 160% i messaggi inviati tramite le schede.

Wave è l’agente proattivo di Amplitude per il prodotto. I team gli indicano un’area del prodotto, gli obiettivi da raggiungere e le metriche da migliorare. Wave combina dati di Amplitude, registrazioni delle sessioni, feedback dei clienti e codice per individuare le opportunità e stabilirne le priorità, sviluppare soluzioni e coordinarne l’implementazione con persone e agenti di programmazione. Poi monitora i risultati e usa ciò che ha appreso per orientare il ciclo successivo di miglioramenti.

Per questo flusso di lavoro, Amplitude usa diversi modelli OpenAI a seconda delle attività. GPT‑6.1 Sol supporta il gestore delle opportunità e le analisi approfondite di codice e dati. GPT‑6 Luna gestisce attività frequenti e meno costose, come l’esame del codice e l’esecuzione di piccole verifiche di valutazione. GPT‑Image‑2.5 Flare genera mockup del prodotto usando come riferimenti visivi gli screenshot delle registrazioni delle sessioni.

Quando un’opportunità è pronta per essere realizzata, i team possono inviarla direttamente da Wave agli agenti di programmazione, tra cui Codex, con un piano tecnico e criteri di accettazione che ne guidino l’implementazione.

“L’idea alla base di Wave è offrire una piattaforma unificata con agenti che passano al setaccio enormi quantità di registrazioni delle sessioni, dati analitici e codice per individuare opportunità di miglioramento dei prodotti”, spiega Jacob Newman, Principal AI Product Manager di Amplitude.

Amplitude ha testato Wave sulla propria homepage, dove le schede con suggerimenti generici avevano lo scopo di aiutare gli utenti ad avviare una conversazione con un agente IA. Wave ha scoperto che le persone spesso le ignoravano: in un campione di 100 registrazioni delle sessioni, 80 utenti avevano digitato le proprie domande e solo 12 avevano selezionato un suggerimento.

Wave ha proposto di personalizzare le schede in base ai grafici e alle dashboard recenti o alla pagina da cui proveniva l’utente. Ha illustrato la modifica e prodotto un piano tecnico, che prevedeva anche di mantenere la possibilità di scrivere liberamente e di mostrare suggerimenti generici in assenza di un contesto per la personalizzazione. Dopo una breve revisione, il team ha affidato il lavoro a un agente di programmazione e sottoposto la modifica a un test A/B.

Secondo i risultati dell’esperimento condivisi da Amplitude, dopo un giorno i messaggi inviati tramite le schede dei suggerimenti della homepage erano aumentati del 160% rispetto al gruppo di controllo. “È un ottimo esempio di come interventi non rivoluzionari, che spesso vengono semplicemente trascurati, possano aumentare l’adozione delle funzionalità in modi inaspettati”, spiega Eric Carlson, Senior Principal AI Engineer di Amplitude.

Le attività di Wave richiedono capacità diverse ai suoi modelli. Un’analisi approfondita richiede solide capacità di ragionamento e conclusioni ben fondate. Una piccola verifica ripetuta centinaia di volte deve essere rapida ed economica. Amplitude valuta qualità, latenza e costi per ogni attività, quindi assegna i modelli di conseguenza.

Per l’Opportunity Investigator di Wave, Amplitude ha valutato se i modelli verificassero i risultati con ulteriori riscontri, evitassero falsi positivi, recepissero il feedback dei valutatori, riuscissero a riprendersi dagli errori degli strumenti e mantenessero le affermazioni coerenti con le evidenze. GPT‑6.1 Sol ha ottenuto un punteggio complessivo di 4,06 su 5, rispetto ai punteggi di 3,62, 3,52 e 2,94 di tre modelli alternativi. Ha ottenuto i risultati migliori in tutti e cinque i criteri di analisi e il tempo mediano di analisi più breve: 54 minuti.

In una valutazione separata del Data Science Agent di Wave, GPT‑6.1 Sol ha ottenuto 67,5 punti su 100, rispetto ai 69,3 di un altro modello di punta, con un costo medio del modello di 1,28 $ contro 2,63 $ per esecuzione. GPT‑6.1 Sol ha ottenuto punteggi più alti anche nel rispetto dei contratti degli strumenti, nella stima e nella gestione dell’incertezza e nell’ancoraggio alle evidenze.

Per le attività ad alto volume, come l’esame del codice e l’esecuzione di piccole verifiche di valutazione, Amplitude usa GPT‑6 Luna per contenere latenza e costi. Suddividere il lavoro tra agenti specializzati permette al team di riservare il ragionamento più costoso alle attività che ne hanno più bisogno.

Nella generazione di wireframe e mockup, il modello di generazione di immagini di OpenAI ha ottenuto 80,3 punti su 100 per i wireframe delle soluzioni, rispetto ai 63,9 di un altro modello di generazione di immagini. La valutazione di Amplitude ha esaminato la qualità della comunicazione, la fedeltà al prodotto, il rispetto delle istruzioni, la leggibilità di testo e interfaccia e la coerenza visiva su 15 opportunità.

Clienti di diversi settori stanno già usando Wave in versione beta per individuare e rilasciare miglioramenti dei prodotti. Wave analizza i dati delle sessioni e i dati analitici, quindi elabora raccomandazioni corredate di una soluzione proposta, un piano tecnico e criteri di accettazione.

Da quel momento, i team possono controllare il livello di automazione. La maggior parte dei team invia le correzioni dei bug direttamente agli agenti di programmazione, mentre le nuove funzionalità e le iniziative più ambiziose vengono sottoposte a revisione umana.

Per le modifiche che arrivano al rilascio, il percorso dall’individuazione all’esecuzione può essere breve: tra esperimenti, flag e guide lanciati dai clienti, uno su quattro è stato attivato il giorno stesso in cui Wave ha individuato l’opportunità, la metà in meno di quattro giorni e due su tre entro una settimana.

“La nostra ambizione, insieme a OpenAI, è fare in modo che le aziende sviluppino software sotto forma di prodotti capaci di migliorarsi da soli”, afferma Skates. Man mano che i modelli di OpenAI migliorano nel ragionamento e nella programmazione, i team potranno delegare agli agenti una parte maggiore del lavoro di analisi e implementazione, portando così prodotti migliori agli utenti più rapidamente. Amplitude lo sta già constatando: gli agenti individuano e contribuiscono a realizzare miglioramenti nel suo stesso prodotto mentre il team si dedica ad altre priorità. “Credo che i team resteranno sorpresi da quanto possono realizzare quando il software lavora al loro fianco per migliorare il prodotto.”