Jak Braintrust zamienia prośby klientów w kod z użyciem Codex

Braintrust to platforma do obserwowalności i ewaluacji, która pomaga wdrażać wysokiej jakości produkty AI.

Dzięki Codex inżynierowie firmy mogą teraz brać prośby klientów o funkcje i tworzyć gałęzie podglądowe, aby w kilka minut pokazywać klientom działające pomysły.

W ciągu miesiąca połowa zespołu Braintrust przeszła na Codex. Dla założyciela i dyrektora generalnego Ankura Goyala największą zmianą nie jest tylko szybsze kodowanie. To szybsza pętla informacji zwrotnej z klientami.

„Brzmi to prosto, ale Codex może dosłownie wypisywać więcej tekstu w terminalu bez spowalniania, a inne modele po prostu nie potrafią tego odtworzyć” — mówi Goyal.

Szybkość często traktuje się jako cechę narzędzia, istniejącą niezależnie od jego podstawowej funkcji, ale dla Goyala różnica w szybkości „zmienia sposób, w jaki korzystam z Codex w porównaniu z innymi modelami”.

Dzięki Codex zespół Braintrust może włączyć iterację do procesu tworzenia, zamiast zostawiać prośby, by czekały. „Codex odblokował nam możliwość testowania próśb klientów o funkcje w czasie rzeczywistym” — mówi Goyal. „Wcześniej, gdy ktoś zgłaszał prośbę o funkcję, trafiała ona do backlogu i była priorytetyzowana później”.

Zamiast tego zespół może kopiować i wklejać prośby do narzędzia Codex, tworzyć gałąź podglądową i w kilka minut pokazywać klientowi gotową realizację. „Najbardziej imponujące w narzędziu Codex jest to, że możemy iterować i wymyślać funkcje z klientem w czasie rzeczywistym na podstawie jego próśb” — mówi Goyal.

Dla Goyala Codex zmienia ilość przygotowań potrzebnych do wypróbowania nowych pomysłów. „W przypadku innych modeli musiałbym próbować sformułować polecenie tak, aby model rozwiązał konkretny problem” — mówi. Wolniejsze narzędzia wymagają więcej bezpośrednich wskazówek, co podnosi koszt eksperymentowania.

„W pracy z Codex przeszedłem na pisanie testu, który pokazuje problem, tworzenie środowiska piaskownicy, a następnie pozwalanie narzędziu Codex działać w tym środowisku” — mówi Goyal. „To dla mnie nowy przypadek użycia, a dzięki szybkości mogę prowadzić eksperymenty”.

Ta szybkość daje zespołowi Braintrust więcej przestrzeni do eksperymentowania. Zamiast wydawać polecenia krok po kroku, inżynierowie mogą zdefiniować problem, pozwolić narzędziu Codex pracować w kontrolowanym środowisku i szybciej przejść od pomysłu do działającego rozwiązania.