Hoe Braintrust klantverzoeken omzet in code met Codex

Braintrust is het observability- en evaluatieplatform voor het uitbrengen van hoogwaardige AI-producten.

Met Codex kunnen de engineers nu functieverzoeken van klanten oppakken en preview-branches maken om klanten binnen enkele minuten een werkend concept te laten zien.

In één maand stapte de helft van het Braintrust-team over op Codex. Voor oprichter en CEO Ankur Goyal is de grootste verandering niet alleen sneller coderen. Het is een snellere feedbackloop met klanten.

“Het klinkt simpel, maar Codex kan letterlijk meer tekst in de terminal printen zonder traag te worden, en andere modellen kunnen dat gewoon niet evenaren,” zegt Goyal.

Snelheid wordt vaak gezien als een eigenschap van een tool, los van de kernfunctionaliteit, maar voor Goyal “verandert het snelheidsverschil de manier waarop ik met Codex werk vergeleken met andere modellen.”

Met Codex kan het Braintrust-team iteratie in de ontwikkelworkflow opnemen, in plaats van verzoeken te laten liggen. “Codex heeft het voor ons mogelijk gemaakt om functieverzoeken van klanten in realtime uit te proberen,” zegt Goyal. “Voorheen kwam een functieverzoek in een backlog terecht en werd het later geprioriteerd.”

In plaats daarvan kan het team verzoeken kopiëren en in Codex plakken, een preview-branch maken en het voltooide verzoek binnen enkele minuten aan de klant laten zien. “Het echt mooie aan Codex is dat we in realtime met de klant kunnen brainstormen en itereren rond functieverzoeken,” zegt Goyal.

Voor Goyal verandert Codex hoeveel voorbereiding nodig is om nieuwe ideeën uit te proberen. “Bij andere modellen moest ik het model met prompts sturen om een specifiek probleem op te lossen,” zegt hij. Langzamere tools vereisen meer praktische begeleiding, wat de kosten van experimenteren verhoogt.

“Met Codex schrijf ik nu eerst een test die een probleem aantoont, maak ik een sandbox-omgeving aan, en laat ik Codex vervolgens in die omgeving zijn gang gaan,” zegt Goyal. “Dit is voor mij een nieuwe usecase, en dankzij de snelheid kan ik experimenten uitvoeren.”

Die snelheid geeft het Braintrust-team meer ruimte om te experimenteren. In plaats van stap voor stap prompts te geven, kunnen engineers het probleem definiëren, Codex in een gecontroleerde omgeving laten werken en sneller van idee naar werkende oplossing gaan.