Datadog përdor Codex për shqyrtimin e kodit në nivel sistemi
Me Codex, Datadog sjell kontekst të gjerë sistemi në çdo shqyrtim kodi për të parandaluar incidentet dhe për të mbrojtur besimin e klientëve.
Datadog(hapet në një dritare të re) operon një nga platformat më të përdorura të vëzhgimit në botë, duke ndihmuar kompanitë të monitorojnë, diagnostikojnë dhe sigurojnë sisteme komplekse të shpërndara. Kur diçka nuk funksionon, klientët mbështeten te Datadog për të nxjerrë shpejt në pah problemet, që do të thotë se besueshmëria duhet të ndërtohet shumë përpara se kodi të arrijë ndonjëherë në prodhim.
Për ekipet inxhinierike të Datadog, kjo e bën shqyrtimin e kodit një moment me shumë rëndësi. Nuk është vetëm çështje e kapjes së gabimeve, por e kuptimit se si ndryshimet përhapen nëpër sisteme të ndërlidhura — një fushë ku analiza statike tradicionale dhe mjetet e bazuara në rregulla shpesh dështojnë.
Për të përmbushur këtë sfidë, ekipi i AI Development Experience (AI DevX) të Datadog iu drejtua Codex, agjentit të kodimit nga OpenAI, i cili sjell arsyetim në nivel sistemi në shqyrtimin e kodit dhe nxjerr në pah rreziqe që njerëzit nuk mund t’i shohin lehtësisht në shkallë të gjerë.
“Kursimet e kohës janë reale dhe të rëndësishme,” thotë Brad Carter, i cili drejton ekipin AI DevX të Datadog “Por parandalimi i incidenteve është shumë më tërheqës në shkallën tonë.”
Shqyrtimi efikas i kodit në Datadog tradicionalisht mbështetej shumë te inxhinierët e lartë — njerëzit që e kuptojnë bazën e kodit, historikun e tij dhe kompromiset arkitekturore në nivel të mjaftueshëm për të dalluar rrezikun sistemik.
Por ai lloj konteksti i thellë është i vështirë për t'u shkallëzuar, dhe mjetet e hershme të shqyrtimit të kodit me AI nuk e zgjidhën këtë problem; shumë prej tyre vepronin si linterë të avancuar, duke sinjalizuar çështje sipërfaqësore ndërsa humbnin nuancat më të gjera të sistemit. Inxhinierët e Datadog shpesh i konsideronin sugjerimet si shumë sipërfaqësore ose shumë të zhurmshme dhe i injoronin.
Datadog filloi të pilotonte Codex, agjentin e kodimit nga OpenAI, duke e integruar atë në flukset e punës së zhvillimit të drejtpërdrejtë. Në një nga depot më të mëdha dhe më të përdorura të kompanisë, çdo kërkesë Pull rishikohej automatikisht nga Codex. Inxhinierët reaguan ndaj komenteve nga Codex me votim pro ose kundër dhe ndanë komente joformale nëpër ekipe. Shumë vunë në dukje se reagimet për Codex ia vlenin të lexoheshin, ndryshe nga mjetet e mëparshme që prodhonin sugjerime të zhurmshme ose sipërfaqësore.
Për të testuar nëse shqyrtimi i asistuar nga AI mund të bënte më shumë sesa të identifikonte çështje stili, Datadog ndërtoi një sistem për riprodhimin e incidenteve.
Në vend që të përdornin skenarë hipotetikë, ekipi u kthye te incidentet historike. Ata rindërtuan kërkesat Pull që kishin kontribuar në incidente, ekzekutuan Codex për secilën prej tyre sikur të ishte pjesë e shqyrtimit origjinal, pastaj pyetën inxhinierët që zotëronin ato incidente nëse komentet nga Codex do të kishin bërë ndonjë ndryshim.
Rezultati: Codex gjeti më shumë se 10 raste, ose afërsisht 22% të incidenteve që Datadog shqyrtoi, ku inxhinierët konfirmuan se reagimi që Codex ofroi do të kishte bërë një ndryshim—më shumë se çdo mjet tjetër i vlerësuar.
Meqenëse këto kërkesat Pull kishin kaluar tashmë shqyrtimin e kodit, testi i ripërsëritjes tregoi se Codex nxori në pah rreziqe që rishikuesit nuk i kishin parë në atë kohë, duke plotësuar gjykimin njerëzor në vend që ta zëvendësonte atë.
Analiza e Datadog tregoi se Codex vazhdimisht identifikonte probleme që nuk janë të dukshme vetëm nga ndryshimi i menjëhershëm dhe që nuk mund të kapen nga rregullat deterministe.
Inxhinierët i përshkruan komentet e Codex si më shumë se “zhurmë roboti”:
- Codex theksoi ndërveprimet me modulet që nuk u prekën në ndryshimin e kodit.
- U identifikua mungesa e mbulimit të testimit në fushat e ndërlidhjes ndërmjet shërbimeve.
- U theksuan ndryshimet në kontratën e API që mbartnin rrezik për proceset pasuese
“Për mua, një koment nga Codex ndihet si inxhinieri më i zgjuar me të cilin kam punuar dhe që ka kohë të pakufizuar për të gjetur gabime. "Ai sheh lidhje që truri im nuk i kap të gjitha njëherësh.”
Aftësia për të lidhur përshtypjet e shqyrtimit me rezultatet reale të besueshmërisë ishte ajo që e bëri Codex të dallohej në vlerësimin e Datadog. Ndryshe nga mjetet e analizës statike, Codex krahason qëllimin e kërkesë Pull me ndryshimet e kodit të dorëzuara, duke bërë arsyetim mbi të gjithë bazën e kodit dhe varësitë për të ekzekutuar kodin dhe testet për të verifikuar sjelljen.
“Ishte i pari që dukej se e merrte vërtet parasysh ndryshimin në kontekstin më të gjerë të programit,” thotë Carter “Kjo ishte diçka e re dhe që të hapte sytë.”
Për shumë inxhinierë, ai ndryshim ndryshoi mënyrën se si ata angazhoheshin me shqyrtimin e IA në tërësi. “Fillova t'i trajtoja komentet e Codex si reagime të vërteta nga shqyrtimi i kodit,” thotë Ted Wexler, inxhinier i lartë i softuerëve në Datadog “Jo diçka që do ta lexoja shpejt ose do ta injoroja, por diçka që ia vlen t’i kushtosh vëmendje.”
Pas vlerësimit, Datadog shpërndau Codex më gjerësisht në të gjithë stafin e tij inxhinierik. Sot më shumë se 1000 inxhinierë e përdorin rregullisht.
Përshtypjet shfaqen kryesisht në mënyrë organike, në vend që të dalin përmes treguesve formalë brenda mjetit. Inxhinierët postojnë në Slack për njohuri të dobishme, komente konstruktive dhe momente kur Codex i ndihmoi të mendojnë ndryshe për një problem.
Ndërsa kursimi i kohës është i rëndësishëm, ekipet vazhdimisht theksuan një ndryshim më domethënës në mënyrën se si realizohej puna.
“Codex më ndryshoi mendimin për atë se si duhet të jetë shqyrtimi i kodit Nuk bëhet fjalë për të replikuar shqyrtuesit tanë më të mirë njerëz. Bëhet fjalë për gjetjen e të metave kritike dhe rasteve të skajshme që njerëzit e kanë të vështirë t'i shohin kur shqyrtojnë ndryshimet në izolim.
Ndikimi më i gjerë për Datadog ishte një ndryshim në mënyrën se si përkufizohet vetë shqyrtimi i kodit. Në vend që ta trajtojë shqyrtimin si një pikë kontrolli për të kapur gabime ose për të optimizuar kohën e ciklit, ekipi tani e sheh Codex si një sistem bazë besueshmërie që vepron si partner:
- Zbulimi i rrezikut përtej asaj që rishikuesit individualë mund të përfshijnë në kontekst
- Theksimi i ndërveprimeve midis moduleve dhe shërbimeve.
- Rritja e besimit në dërgimin në shkallë të gjerë
- Duke lejuar shqyrtuesit njerëz të përqendrohen në arkitekturë dhe dizajn.
Ky ndryshim përputhet me mënyrën se si drejtuesit e Datadog i përcaktojnë prioritetet inxhinierike, ku besueshmëria dhe besimi kanë po aq rëndësi sa, në mos më shumë se, shpejtësia.
“Ne jemi platforma tek e cila kompanitë mbështeten kur gjithçka tjetër nuk funksionon,” thotë Carter “Parandalimi i incidenteve forcon besimin që klientët tanë vendosin tek ne.”
