A Amplitude lança melhorias em 1–2 dias com a OpenAI
Baseado sobretudo em modelos da OpenAI, o Wave, agente proativo de produto da Amplitude, identifica o que desenvolver, ajuda as equipas a lançar alterações com agentes de programação e mede o impacto.

160%
Aumento da interação com o agente face ao grupo de controlo após um dia
1–2 dias
Tempo estimado para lançar uma melhoria no produto com o Wave
51%
Redução do custo médio do modelo por execução com o GPT‑6.1 Sol na avaliação do agente de ciência de dados da Amplitude.
1,34 USD
Custo do modelo GPT‑6.1 Sol na avaliação do investigador de oportunidades da Amplitude.
A Amplitude sempre ajudou as equipas a perceber como as pessoas realmente utilizam os seus produtos. O Wave, o seu agente proativo de produto, ajuda as equipas a transformar essas descobertas em melhorias concretas. Segundo a Amplitude, cerca de 80% do Wave assenta em modelos da OpenAI, incluindo o GPT‑6.1 Sol, o GPT‑6 Luna e o GPT‑Image‑2.5 Flare. O Wave transforma descobertas sobre o produto em planos de implementação que as equipas podem enviar para agentes de programação, incluindo o Codex, e depois mede o impacto.
A Amplitude estima que o Wave pode ajudar as equipas a lançar melhorias no produto em 1–2 dias, em vez de cerca de um mês. Na própria página inicial da Amplitude, o Wave ajudou a personalizar os cartões de sugestões, gerando um aumento de 160% nas mensagens enviadas a partir desses cartões.
«A IA já consegue identificar trabalho útil que nunca pensámos em atribuir-lhe. Os modelos da OpenAI conseguem investigar um problema, escrever e executar código e usar os resultados para decidir o que experimentar a seguir.»
O Wave é o agente proativo de produto da Amplitude. As equipas indicam-lhe uma área do produto, os objetivos a alcançar e as métricas que querem melhorar. O Wave reúne dados da Amplitude, gravações de sessões, feedback de clientes e código para identificar e priorizar oportunidades, desenvolver soluções e coordenar a implementação com pessoas e agentes de programação. Depois, acompanha os resultados e usa o que aprendeu para orientar a próxima ronda de melhorias.
Por trás deste fluxo de trabalho, a Amplitude utiliza diferentes modelos da OpenAI para diferentes tarefas. O GPT‑6.1 Sol dá suporte ao gestor de oportunidades e a investigações aprofundadas de código e dados. O GPT‑6 Luna trata de tarefas frequentes e de menor custo, como analisar código e executar pequenas verificações de avaliação. O GPT‑Image‑2.5 Flare gera maquetes do produto, usando capturas de ecrã das gravações de sessões como referências visuais.
Quando uma oportunidade está pronta para ser implementada, as equipas podem enviá-la diretamente do Wave para agentes de programação, incluindo o Codex, com um plano técnico e critérios de aceitação para orientar a implementação.

«A ideia do Wave é ter uma plataforma unificada com agentes que analisam minuciosamente grandes volumes de gravações de sessões, dados analíticos e código para encontrar oportunidades de melhorar os produtos», explica Jacob Newman, gestor principal de produto de IA na Amplitude.
A Amplitude testou o Wave na sua própria página inicial, onde os cartões de sugestões genéricas se destinavam a ajudar os utilizadores a iniciar uma conversa com um agente de IA. O Wave descobriu que as pessoas frequentemente os ignoravam: numa amostra de 100 gravações de sessões, 80 utilizadores escreveram as suas próprias perguntas e apenas 12 selecionaram uma sugestão.
O Wave propôs personalizar os cartões com base em gráficos ou painéis recentes, ou na página de origem do utilizador. Ilustrou a alteração e produziu um plano técnico, que incluía manter a possibilidade de escrever livremente e apresentar sugestões genéricas quando não houvesse contexto disponível para personalização. Após uma breve revisão, a equipa entregou o trabalho a um agente de programação e realizou um teste A/B da alteração.

Nos resultados da experiência partilhados pela Amplitude, as mensagens enviadas através dos cartões de sugestões da página inicial aumentaram 160% face ao grupo de controlo após um dia. «É um excelente exemplo de como coisas que não são revolucionárias e acabam por ser ignoradas podem aumentar a adoção de funcionalidades de formas inesperadas», explica Eric Carlson, engenheiro principal sénior de IA na Amplitude.
As tarefas do Wave impõem exigências diferentes aos seus modelos. Uma investigação aprofundada exige uma forte capacidade de raciocínio e conclusões bem sustentadas. Uma pequena verificação repetida centenas de vezes tem de ser rápida e económica. A Amplitude avalia a qualidade, a latência e o custo de cada tarefa e seleciona os modelos em função desses critérios.
«A OpenAI disponibilizou-nos tanto modelos com forte capacidade de raciocínio como modelos mais pequenos e rápidos, permitindo-nos equilibrar a qualidade, a latência e o custo de inferência em todo o produto»
Para o investigador de oportunidades do Wave, a Amplitude avaliou se os modelos corroboravam as descobertas, evitavam falsos positivos, incorporavam o feedback do avaliador, recuperavam de falhas das ferramentas e mantinham as afirmações alinhadas com as evidências. O GPT‑6.1 Sol obteve uma pontuação global de 4,06 em 5, face a 3,62, 3,52 e 2,94 de três modelos alternativos. Liderou nos cinco critérios de investigação e teve o menor tempo mediano de investigação: 54 minutos.
Numa avaliação separada do agente de ciência de dados do Wave, o GPT‑6.1 Sol obteve 67,5 em 100, face a 69,3 de outro modelo de referência, com um custo médio do modelo de 1,28 USD por execução, em comparação com 2,63 USD. O GPT‑6.1 Sol também obteve pontuações superiores no cumprimento dos contratos das ferramentas, na estimativa e incerteza e na fundamentação em evidências.
Para tarefas de grande volume, como analisar código e executar pequenas verificações de avaliação, a Amplitude utiliza o GPT‑6 Luna para manter a latência e o custo baixos. Distribuir o trabalho por agentes especializados permite à equipa reservar o raciocínio mais dispendioso para as tarefas que mais precisam dele.
Na geração de wireframes e maquetes, o modelo de geração de imagens da OpenAI obteve 80,3 em 100 nos wireframes de soluções, face a 63,9 de outro modelo de geração de imagens. A avaliação da Amplitude abrangeu a qualidade da comunicação, a fidelidade ao produto, o cumprimento das instruções, a legibilidade do texto e da interface e a coerência visual em 15 oportunidades.
Clientes de vários setores já utilizam a versão beta do Wave para identificar e lançar melhorias nos produtos. O Wave analisa dados de sessões e dados analíticos e, em seguida, desenvolve recomendações com uma proposta de correção, um plano técnico e critérios de aceitação.
A partir daí, as equipas podem controlar o nível de automatização. A maioria das equipas envia as correções de erros diretamente para agentes de programação, enquanto as novas funcionalidades e as apostas de maior dimensão passam por uma revisão humana.
Nas alterações que chegam a ser lançadas, o percurso entre a descoberta e a execução pode ser curto: das experiências, sinalizadores e guias lançados pelos clientes, um em cada quatro entrou em produção no próprio dia em que o Wave identificou a oportunidade, metade em menos de quatro dias e dois em cada três no prazo de uma semana.
Interpolação a partir dos marcos fornecidos; a curva é ilustrativa e não representa observações individuais.
«A nossa ambição com a OpenAI é que a criação de produtos que se melhoram a si próprios passe a ser a forma como as empresas desenvolvem software», afirma Skates. À medida que os modelos da OpenAI melhoram no raciocínio e na programação, as equipas poderão delegar mais trabalho de investigação e implementação aos agentes, fazendo com que melhores produtos cheguem mais depressa aos utilizadores. A Amplitude já está a ver isso acontecer: os agentes identificam e ajudam a implementar melhorias no seu próprio produto enquanto a equipa se dedica a outras prioridades. «Acho que as equipas vão ficar surpreendidas com tudo o que conseguem fazer quando o software trabalha ao seu lado para melhorar o produto.»


