Datadog koristi Codex za pregled koda na sistemskom nivou

Datadog⁠(otvara se u novom prozoru) upravlja jednom od najčešće korištenih platformi za observabilnost na svijetu, pomažući kompanijama da prate, rješavaju probleme i osiguravaju složene distribuirane sisteme. Kada se nešto pokvari, korisnici se oslanjaju na Datadog da brzo otkrije probleme, što znači da pouzdanost mora biti ugrađena mnogo prije nego što kod ikada stigne u produkciju.

Za Datadog inženjerske timove, pregled koda je trenutak visokog rizika. Ne radi se samo o hvatanju grešaka, već o razumijevanju kako promjene odjekuju kroz međusobno povezane sisteme—područje u kojem tradicionalna statička analiza i alati zasnovani na pravilima često ne uspijevaju.

Kako bi odgovorili na ovaj izazov, Datadog tim za AI Development Experience (AI DevX) okrenuo se Codexu, agentu za kodiranje iz OpenAI-ja, koji unosi rezonovanje na nivou sistema u pregled koda i ističe rizike koje ljudi ne mogu lako uočiti u velikom obimu.

„Ušteda vremena je stvarna i važna“, kaže Brad Carter, koji vodi Datadog AI DevX tim. „Ali sprečavanje incidenata je daleko uvjerljivije u našim razmjerima.“

Efikasan pregled koda u Datadogu se tradicionalno u velikoj mjeri oslanjao na iskusne inženjere—osobe koje dovoljno dobro razumiju bazu koda, njenu historiju i arhitektonske kompromise da uoče sistemski rizik. 

Međutim, takav duboki kontekst je teško skalirati, a rani AI alati za pregled koda nisu riješili ovaj problem; mnogi su se ponašali kao napredni linteri, označavajući površinske probleme dok su propuštali šire nijanse sistema. Datadog inženjeri iz su često smatrali da su prijedlozi previše površni ili previše bučni, te su ih ignorisali.

Datadog je započeo pilotiranje Codexa, agenta za kodiranje iz OpenAI-ja, integrirajući ga u tokove rada uživo. U jednom od najvećih i najčešće korištenih repozitorija kompanije, svaki zahtjev za spajanje je automatski pregledan od strane Codexa. Inženjeri su reagovali na komentare iz Codexa palcem gore ili dolje i dijelili neformalne povratne informacije među timovima. Mnogi su primijetili da su povratne informacije Codexa vrijedne čitanja, za razliku od prethodnih alata koji su davali bučne ili površne prijedloge.

Kako bi testirali može li pregled uz pomoć AI-a učiniti više od samog ukazivanja na stilske probleme, Datadog je izgradio alat za reprodukciju incidenata.

Umjesto da koriste hipotetičke scenarije, tim se vratio na povijesne incidente. Rekonstruisali su zahtjeve za spajanje koji su doprinijeli incidentima, pokrenuli Codex na svakom od njih kao da je bio dio originalnog pregleda, a zatim pitali inženjere koji su bili odgovorni za te incidente da li bi povratne informacije od Codexa napravile razliku.

Rezultat: Codex je pronašao više od 10 slučajeva, ili otprilike 22% incidenata koje je Datadog ispitao, gdje su inženjeri potvrdili da bi povratne informacije koje je Codex pružio napravile razliku—više nego bilo koji drugi alat koji je evaluiran.

Budući da su ovi zahtjevi za spajanje već prošli pregled koda, test ponovnog izvođenja pokazao je da je Codex istakao rizike koje recenzenti tada nisu uočili, dopunjujući ljudsku prosudbu umjesto da je zamijeni.

Analiza Datadog-a je pokazala da je Codex dosljedno označavao probleme koji nisu očigledni samo iz neposrednog diff-a i koje se ne mogu uhvatiti determinističkim pravilima.

Inženjeri su opisali komentare Codexa kao više od „buke bota“:

• Codex je ukazao na interakcije s modulima koji nisu bili obuhvaćeni u diffu
• Identificirano je nedostajuće pokrivanje testovima u područjima međuservisnog sprezanja
• Istaknute su promjene u API ugovoru koje su nosile rizik za nizvodne procese

Ta sposobnost povezivanja povratnih informacija iz pregleda sa stvarnim ishodima pouzdanosti bila je ono što je Codex izdvojilo u Datadog evaluaciji. Za razliku od alata za statičku analizu, Codex uspoređuje namjeru zahtjeva za spajanje s podnesenim promjenama koda, rezonovanje nad cijelom bazom koda i zavisnostima kako bi izvršio kod i testove za validaciju ponašanja.

„Bilo je to prvo koje je zaista izgledalo kao da uzima u obzir razliku u širem kontekstu programa”, kaže Carter. „To je bilo novo otkriće.”

Za mnoge inženjere, ta promjena je u potpunosti promijenila način na koji su se angažirali s AI revizijom. „Počeo sam tretirati komentare Codexa kao stvarne povratne informacije iz pregleda koda,” kaže Ted Wexler, viši softverski inženjer u Datadogu. „Nešto što ne bih preletio ili ignorisao, već nešto na što vrijedi obratiti pažnju.”

Nakon evaluacije, Datadog je šire implementirao Codex u svoj inženjerski tim. Danas više od 1.000 inženjera redovno ga koristi. 

Povratne informacije se uglavnom pojavljuju prirodno, a ne kroz formalne metrike unutar alata. Inženjeri objavljuju na Slacku o korisnim uvidima, konstruktivnim komentarima i trenucima kada im je Codex pomogao da drugačije razmišljaju o problemu.

Iako su uštede vremena značajne, timovi su dosljedno ukazivali na značajniji pomak u načinu na koji se posao obavljao. 

Širi uticaj za Datadog bio je promjena u načinu na koji se sam pregled koda definiše. Umjesto da pregled tretira kao kontrolnu tačku za hvatanje grešaka ili optimizaciju vremena ciklusa, tim sada vidi Codex kao ključni sistem pouzdanosti koji djeluje kao partner:

• Iznošenje rizika izvan onoga što pojedinačni recenzenti mogu sagledati u kontekstu
• Isticanje interakcija između modula i usluga
• Povećanje samopouzdanja u isporuci na velikoj skali
• Omogućavanje ljudskim recenzentima da se usmjere na arhitekturu i dizajn

Ova promjena je usklađena s načinom na koji lideri Datadoga postavljaju inženjerske prioritete, gdje su pouzdanost i povjerenje jednako važni kao, ako ne i važniji od brzine.

„Mi smo platforma na koju se kompanije oslanjaju kada sve drugo ne funkcioniše,” kaže Carter. “Sprečavanje incidenata jača povjerenje koje naši korisnici polažu u nas.”