Datadog koristi Codex za pregled koda na razini sustava

Datadog⁠(otvara se u novom prozoru) upravlja jednom od najčešće korištenih platformi za nadzor i analizu sustava u svijetu, kojom tvrtke prate, otkrivaju i rješavaju probleme u složenim distribuiranim sustavima. Kad nešto pođe po zlu, klijenti se oslanjaju na Datadog da brzo otkrije problem i precizno ga dijagnosticira, što znači da pouzdanost mora biti ugrađena mnogo prije nego što kȏd uopće dođe u produkciju.

Za inženjerske timove tvrtke Datadog, pregled koda time postaje trenutak s velikim ulozima. Ne radi se samo o detekciji pogrešaka, nego o razumijevanju prelijevanja promjena kroz međusobno povezane sustave – području u kojem tradicionalna statička analiza i alati temeljeni na pravilima često ne daju dovoljne rezultate.

Kako bi odgovorio na taj izazov, Datadogov tim za razvojno iskustvo uz AI (AI DevX) počeo je koristiti Codex, OpenAI-jev agent za kȏd, koji u pregled koda uvodi razmišljanje na razini sustava i otkriva rizike koje je ljudima teško uočiti u velikom opsegu.

„Uštede vremena su stvarne i važne”, kaže Brad Carter, voditelj Datadogova tima AI DevX. „Ali sprečavanje incidenata na našoj razini daleko je uvjerljivije.”

Učinkovit pregled koda u Datadogu tradicionalno se u velikoj mjeri oslanjao na iskusne inženjere – one koji dovoljno dobro poznaju bazu koda, njezinu povijest i arhitektonske kompromise da mogu uočiti sistemske rizike. 

No takav se dubinski kontekst teško može skalirati, a rani alati za AI pregled koda nisu riješili taj problem; mnogi su se ponašali poput naprednih lintera, označavajući površinske probleme, dok su propuštali šire nijanse sustava. Datadogovi inženjeri često su takve prijedloge doživljavali kao preplitke ili prepune šuma i jednostavno ih zanemarivali.

Datadog je započeo pilot-projekt s Codexom, OpenAI-jevim agentom za kodiranje, integrirajući ga izravno u aktivne razvojne radne procese. U jednom od najvećih i najintenzivnije korištenih repozitorija svaki se pull request automatski pregledavao pomoću Codexa. Inženjeri su na Codexove komentare reagirali palcem gore ili dolje te su neformalnu povratnu informaciju dijelili među timovima. Mnogi su istaknuli da su Codexovi komentari vrijedni čitanja, za razliku od ranijih alata koji su često stvarali informacijski šum i površne prijedloge.

Kako bi provjerio može li pregled koda uz pomoć AI-ja učiniti više od samog ukazivanja na stilske probleme, Datadog je izgradio okvir za ponovno reproduciranje incidenata.

Umjesto hipotetskih scenarija, tȋm se vratio stvarnim, povijesnim incidentima. Rekonstruirali su pull requestove koji su pridonijeli incidentima, pokrenuli Codex nad svakim od njih kao da je riječ o izvornom pregledu koda, a zatim pitali inženjere odgovorne za te incidente bi li im Codexova povratna informacija tad napravila razliku.

Rezultat: Codex je otkrio više od 10 slučajeva, odnosno oko 22 % incidenata koje je Datadog analizirao, u kojima su inženjeri potvrdili da bi Codexova povratna informacija napravila razliku, više nego kod bilo kojeg drugog alata uključenog u evaluaciju.

Budući da su ovi pull requestovi već prošli pregled koda, test ponovnog izvođenja pokazao je da je Codex istaknuo rizike koje recenzenti tad nisu primijetili, nadopunjujući ljudsku prosudbu umjesto da je zamijeni.

Analiza Datadoga pokazala je da Codex dosljedno označava probleme koji nisu očiti iz same izmjene u kodu i koje nije moguće uhvatiti determinističkim pravilima.

Inženjeri su Codexove komentare opisali kao nešto više od „šuma bota“:

• Codex je ukazivao na interakcije s modulima koji nisu bili obuhvaćeni prikazanim izmjenama u kodu
• Prepoznavao je nedostatnu pokrivenost testovima u dijelovima sustava s međusobno ovisnim servisima
• Isticao je promjene u API ugovorima koje nose posljedični rizik za druge dijelove sustava

Upravo je ta sposobnost povezivanja povratnih informacija iz pregleda koda sa stvarnim ishodima pouzdanosti izdvojila Codex u Datadogovoj evaluaciji. Za razliku od alata za statičku analizu, Codex uspoređuje namjeru pull requesta s predanim izmjenama koda te razmatra cijelu bazu koda i ovisnosti, izvršavajući kȏd i testove kako bi provjerio stvarno ponašanje sustava.

„Tad je po prvi put doista izgledalo kao da uzima u obzir razlike u širem kontekstu programa”, kaže Carter. „To je bila novost koja mi je otvorila oči.”

Za mnoge je inženjere taj pomak promijenio i način na koji su uopće pristupali AI pregledu koda. Počeo sam Codexove komentare doživljavati kao stvarnu povratnu informaciju u pregledu koda”, kaže Ted Wexler, viši softverski inženjer u Datadogu. „Ne kao nešto što bih samo preletio ili ignorirao, nego kao nešto čemu vrijedi posvetiti pažnju.”

Nakon evaluacije Datadog je uveo Codex u širu upotrebu među svojim inženjerskim timovima. Danas ga redovito koristi više od 1 000 inženjera . 

Povratne se informacije uglavnom pojavljuju spontano, a ne kroz formalne metrike unutar alata. Inženjeri na Slacku dijele korisne uvide, konstruktivne komentare i trenutke u kojima im je Codex pomogao drukčije promisliti o problemu.

Iako su uštede vremena značajne, timovi su dosljedno isticali značajniju promjenu u načinu obavljanja posla. 

Širi utjecaj za Datadog bila je promjena u načinu na koji se definira sȃm pregled koda. Umjesto da pregled smatraju kontrolnom točkom za otkrivanje pogrešaka ili optimizaciju vremena ciklusa, tim Codex danas vidi kao temeljni sustav pouzdanosti koji djeluje kao partner jer:

• otkriva rizike izvan onoga što pojedinačni recenzenti mogu držati u vidu
• ističe interakcija između modula i usluga
• povećava sigurnost pri isporuci u velikom opsegu
• omogućuje ljudskim recenzentima da se usredotoče na arhitekturu i dizajn

Ovaj se pomak uklapa u način na koji Datadogovi lideri postavljaju inženjerske prioritete, pri čemu su pouzdanost i povjerenje jednako važni – ako ne i važniji – od brzine.

„Mi smo platforma na koju se tvrtke oslanjaju kad se sve ostalo raspada”, kaže Carter. „Sprječavanje incidenata jača povjerenje naših klijenata.“