Como Braintrust converte pedidos de clientes em código com Codex

A Braintrust é a plataforma de observabilidade e avaliação para lançar produtos de IA de qualidade.

Com o Codex, seus engenheiros agora podem pegar solicitações de recursos dos clientes e criar branches de pré-visualização para mostrar ideias funcionais aos clientes em minutos.

Em um mês, metade da equipe da Braintrust migrou para o Codex. Para o fundador e CEO Ankur Goyal, a maior mudança não é apenas programar mais rápido. É um ciclo de feedback mais rápido com os clientes.

“Parece simples, mas o Codex consegue literalmente imprimir mais texto no terminal sem ficar lento, e outros modelos simplesmente não conseguem replicar isso”, diz Goyal.

A velocidade muitas vezes é tratada como uma propriedade de uma ferramenta, algo que existe separado de sua funcionalidade principal, mas, para Goyal, a diferença de velocidade “muda a forma como interajo com o Codex em comparação com outros modelos”.

Com o Codex, a equipe da Braintrust pode integrar a iteração ao seu fluxo de trabalho de desenvolvimento, em vez de deixar as solicitações paradas esperando. “O Codex liberou nossa capacidade de testar solicitações de recursos de clientes em tempo real”, diz Goyal. “Antes, se alguém nos enviasse uma solicitação de recurso, ela entrava no backlog e era priorizada depois.”

Em vez disso, a equipe pode copiar e colar solicitações no Codex, criar uma branch de pré-visualização e mostrar a solicitação concluída ao cliente em minutos. “O que é muito legal no Codex é que podemos iterar e pensar em soluções para solicitações de recursos com o cliente em tempo real”, diz Goyal.

Para Goyal, o Codex muda o nível de preparação necessário para testar novas ideias. “Com outros modelos, eu teria que tentar criar um prompt para o modelo resolver um problema específico”, diz ele. Ferramentas mais lentas exigem mais orientação manual, o que aumenta o custo da experimentação.

“Com o Codex, passei a escrever um teste que demonstra um problema, criar um ambiente sandbox e então deixar o Codex rodar nesse ambiente”, diz Goyal. “Este é um caso de uso novo para mim, e consigo realizar experimentos por causa da velocidade.”

Essa velocidade dá à equipe da Braintrust mais espaço para experimentar. Em vez de criar prompts passo a passo, os engenheiros podem definir o problema, deixar o Codex trabalhar em um ambiente controlado e avançar mais rápido da ideia à solução funcional.