Com Amplitude llança millores en 1–2 dies amb OpenAI

Amplitude sempre ha ajudat els equips a veure com la gent fa servir realment els seus productes. Wave, el seu agent proactiu de producte, ajuda els equips a convertir aquest coneixement en millores que arriben als usuaris. Segons Amplitude, aproximadament el 80% de Wave funciona amb models d'OpenAI, entre els quals hi ha GPT‑6.1 Sol, GPT‑6 Luna i GPT‑Image‑2.5 Flare. Wave converteix el coneixement sobre el producte en plans d'implementació que els equips poden enviar a agents de programació, com ara Codex, i després en mesura l'impacte.

Amplitude calcula que Wave pot ajudar els equips a llançar millores del producte en 1–2 dies, en lloc del mes aproximat que calia abans. A la mateixa pàgina d'inici d'Amplitude, Wave va ajudar a personalitzar les targetes de suggeriments i va aconseguir un augment del 160% en els enviaments de missatges des de les targetes.

Wave és l'agent proactiu de producte d'Amplitude. Els equips li indiquen una àrea del producte, els objectius que volen assolir i les mètriques que volen millorar. Wave combina dades d'Amplitude, reproduccions de sessions, comentaris dels clients i codi per identificar i prioritzar oportunitats, desenvolupar solucions i coordinar-ne la implementació amb persones i agents de programació. Després fa un seguiment dels resultats i aprofita el que n'aprèn per orientar la següent ronda de millores.

Per fer possible aquest flux de treball, Amplitude utilitza diferents models d'OpenAI segons la tasca. GPT‑6.1 Sol dona suport al gestor d'oportunitats i a les investigacions aprofundides de codi i dades. GPT‑6 Luna s'encarrega de tasques freqüents de baix cost, com ara examinar codi i executar petites comprovacions d'avaluació. GPT‑Image‑2.5 Flare genera maquetes del producte fent servir captures de pantalla de les reproduccions de sessions com a referències visuals.

Quan una oportunitat està a punt per implementar-se, els equips poden enviar-la directament des de Wave a agents de programació, com ara Codex, amb un pla tècnic i criteris d'acceptació que orienten la implementació.

"La idea de Wave és tenir una plataforma unificada amb agents que examinen grans quantitats de reproduccions de sessions, dades analítiques i codi per trobar oportunitats de millorar els productes", explica Jacob Newman, responsable principal de producte d'IA a Amplitude.

Amplitude va provar Wave a la seva pròpia pàgina d'inici, on les targetes de suggeriments genèrics havien d'ajudar els usuaris a iniciar una conversa amb un agent d'IA. Wave va descobrir que la gent sovint les ignorava: en una mostra de 100 reproduccions de sessions, 80 usuaris van escriure les seves pròpies preguntes i només 12 van seleccionar un suggeriment.

Wave va proposar personalitzar les targetes a partir dels gràfics i taulers consultats recentment o de la pàgina de procedència de l'usuari. Va il·lustrar el canvi i va elaborar un pla tècnic que incloïa mantenir l'opció d'escriure lliurement i mostrar suggeriments genèrics quan no hi hagués context per personalitzar-los. Després d'una breu revisió, l'equip va encarregar la feina a un agent de programació i va fer una prova A/B del canvi.

Segons els resultats de l'experiment que va compartir Amplitude, al cap d'un dia els missatges enviats a través de les targetes de suggeriments de la pàgina d'inici havien augmentat un 160% respecte del grup de control. "És un gran exemple de com aspectes poc innovadors que senzillament es passen per alt poden augmentar l'ús de les funcionalitats de maneres inesperades", explica Eric Carlson, enginyer principal sènior d'IA a Amplitude.

Les tasques de Wave exigeixen capacitats diferents als seus models. Una investigació aprofundida requereix una gran capacitat de raonament i conclusions ben fonamentades. Una petita comprovació que es repeteix centenars de vegades ha de ser ràpida i econòmica. Amplitude avalua la qualitat, la latència i el cost de cada tasca i assigna els models en conseqüència.

Per a l'investigador d'oportunitats de Wave, Amplitude va avaluar si els models corroboraven les troballes, evitaven falsos positius, incorporaven els comentaris de l'avaluador, es recuperaven de les fallades de les eines i ajustaven les afirmacions a les proves. GPT‑6.1 Sol va obtenir una puntuació global de 4,06 sobre 5, en comparació amb els 3,62, 3,52 i 2,94 de tres models alternatius. Va encapçalar els cinc criteris d'investigació i va registrar la mediana de temps d'investigació més baixa, de 54 minuts.

En una avaluació independent de l'agent de ciència de dades de Wave, GPT‑6.1 Sol va obtenir 67,5 punts sobre 100, en comparació amb els 69,3 d'un altre model capdavanter, amb un cost mitjà del model d'1,28 $ per execució, enfront de 2,63 $. GPT‑6.1 Sol també va obtenir puntuacions més altes en el compliment dels contractes de les eines, l'estimació i la incertesa, i l'ancoratge en proves.

Per a les tasques de gran volum, com ara examinar codi i executar petites comprovacions d'avaluació, Amplitude utilitza GPT‑6 Luna per mantenir baixos la latència i el cost. Repartir la feina entre agents especialitzats permet a l'equip reservar el raonament més costós per a les tasques que més el necessiten.

En la generació d'esquemes de disseny i maquetes, el model de generació d'imatges d'OpenAI va obtenir 80,3 punts sobre 100 en els esquemes de disseny de solucions, en comparació amb els 63,9 d'un altre model de generació d'imatges. L'avaluació d'Amplitude va analitzar la qualitat de la comunicació, la fidelitat al producte, el seguiment de les instruccions, la llegibilitat del text i de la interfície, i la coherència visual en 15 oportunitats.

Clients de diversos sectors ja fan servir Wave en versió beta per identificar i llançar millores del producte. Wave analitza dades de sessions i dades analítiques, i després elabora recomanacions amb una proposta de solució, un pla tècnic i criteris d'acceptació.

A partir d'aquí, els equips poden controlar el nivell d'automatització. La majoria d'equips envien les correccions d'errors directament als agents de programació, mentre que les noves funcionalitats i les apostes més ambicioses passen per una revisió humana.

En els canvis que s'arriben a llançar, el camí de la descoberta a l'execució pot ser curt: dels experiments, indicadors de funcionalitat i guies llançats pels clients, un de cada quatre es va posar en marxa el mateix dia que Wave va detectar l'oportunitat, la meitat en menys de quatre dies i dos de cada tres en una setmana.

"La nostra ambició amb OpenAI és que crear productes que es millorin a si mateixos sigui la manera com les empreses desenvolupen programari", afirma Skates. A mesura que els models d'OpenAI millorin en raonament i programació, els equips podran delegar més feina d'investigació i implementació als agents, cosa que farà que els usuaris rebin productes millors més de pressa. Amplitude ja ho està veient: els agents troben millores en el seu propi producte i ajuden a implementar-les mentre l'equip treballa en altres prioritats. "Crec que els equips se sorprendran de tot el que poden aconseguir quan el programari treballa al seu costat per millorar el producte."