Datadog používa Codex na kontrolu kódu na systémovej úrovni.

Datadog⁠(otvorí sa v novom okne) prevádzkuje jednu z najpoužívanejších platforiem pre sledovanie údajov na svete, ktorá pomáha spoločnostiam monitorovať, riešiť problémy a zabezpečovať komplexné distribuované systémy. Keď sa niečo pokazí, zákazníci sa spoliehajú na Datadog, že problémy rýchlo odhalí, čo znamená, že spoľahlivosť musí byť vybudovaná dávno predtým, ako sa kód dostane do produkcie.

Pre inžinierske tímy Datadog je kontrola kódu kľúčovým momentom. Nie je to len o zachytávaní chýb, ale aj o pochopení, ako sa zmeny šíria cez prepojené systémy, čo je oblasť, kde tradičná statická analýza a nástroje založené na pravidlách často zaostávajú.

Aby tím AI Development Experience (AI DevX) spoločnosti Datadog zvládol túto výzvu, obrátil sa na Codex, kódovacieho agenta od OpenAI, ktorý prináša systémové uvažovanie do kontroly kódu a odhaľuje riziká, ktoré ľudia v takom rozsahu nedokážu ľahko vidieť.

„Úspory času sú skutočné a dôležité,“ hovorí Brad Carter, ktorý vedie tím AI DevX v spoločnosti Datadog „No predchádzanie incidentom je v našom meradle oveľa presvedčivejšie.“

Efektívna revízia kódu v Datadog sa tradične vo veľkej miere spoliehala na senior inžinierov – teda na tých, ktorí rozumejú kódovej základni, jej histórii a architektonickým kompromisom natoľko dobre, aby dokázali odhaliť systémové riziko. 

Takýto hlboký kontext sa však ťažko škáluje a prvé nástroje na kontrolu kódu s umelou inteligenciou tento problém nevyriešili. Mnohé sa správali ako pokročilé linery, označovali povrchové problémy, ale prehliadali širšie nuansy systému. Inžinieri Datadog často považovali návrhy za príliš povrchné alebo príliš hlučné, a preto ich ignorovali.

Datadog začal pilotne testovať Codex, kódovacieho agenta od OpenAI, integráciou do živých vývojových pracovných postupov. V jednom z najväčších a najpoužívanejších repozitárov spoločnosti Codex automaticky kontroloval každú žiadosť o zlúčenie. Inžinieri reagovali na komentáre z Codexu palcom hore alebo dole a zdieľali neformálnu spätnú väzbu medzi tímami. Mnohí poznamenali, že spätná väzba od Codexu stála za prečítanie, na rozdiel od predchádzajúcich nástrojov, ktoré vytvárali rušivé alebo povrchné návrhy.

Aby spoločnosť Datadog otestovala, či kontrola s asistenciou AI dokáže viac než len poukázať na problémy so štýlom, vytvorila nástroj na prehrávanie incidentov.

Namiesto používania hypotetických scenárov sa tím vrátil k historickým udalostiam. Zrekonštruovali žiadosti o zlúčenie, ktoré prispeli k incidentom, spustili Codex na každej z nich, akoby boli súčasťou pôvodnej kontroly, a potom sa opýtali inžinierov, ktorí vlastnili tieto incidenty, či by spätná väzba od Codexu niečo zmenila.

Výsledok: Codex našiel viac ako 10 prípadov, čo predstavuje zhruba 22 % incidentov , ktoré Datadog preskúmal, kde inžinieri potvrdili, že spätná väzba poskytnutá Codexom by mala vplyv – viac ako ktorýkoľvek iný hodnotený nástroj.

Pretože tieto žiadosti o zlúčenie už prešli kontrolou kódu, opakovaný test ukázal, že Codex odhalil riziká, ktoré recenzenti v tom čase nevideli, čím dopĺňal ľudský úsudok, a nie ho nahrádzal.

Analýza spoločnosti Datadog ukázala, že Codex konzistentne označoval problémy, ktoré nie sú zrejmé len z tzv. bezprostredného diffu a nedajú sa zachytiť deterministickými pravidlami.

Inžinieri opísali komentáre Codexu ako viac než „šum od bota“:

• Codex upozornil na interakcie s modulmi, ktorých sa diff nedotkol.
• Identifikovalo chýbajúce pokrytie testov v oblastiach prepojenia medzi službami.
• Zdôraznilo zmeny v API zmluve, ktoré so sebou niesli následné riziko

Schopnosť prepojiť spätnú väzbu z kontrol s reálnymi výsledkami spoľahlivosti bola tým, čo Codex odlišovalo v hodnotení spoločnosti Datadog. Na rozdiel od nástrojov statickej analýzy Codex porovnáva zámer žiadosti o zlúčenie s odoslanými zmenami kódu, pričom uvažuje nad celou kódovou základňou a závislosťami, aby vykonal kód a testy na overenie správania.

„Bol to prvý, ktorý skutočne zohľadňoval rozdiel v širšom kontexte programu,“ hovorí Carter “Bolo to nové a otvárajúce oči.”

Pre mnohých inžinierov táto zmena úplne zmenila spôsob, akým sa zapájali do hodnotenia umelej inteligencie. „Začal som pristupovať ku komentárom Codexu ako k skutočnej spätnej väzbe z kontroly kódu,“ povedal Ted Wexler, senior softvérový inžinier v spoločnosti Datadog „Nie je to niečo, čo by som len prebehol alebo ignoroval, ale niečo, čomu sa oplatí venovať pozornosť.“

Po vyhodnotení nasadil Datadog Codex vo väčšom rozsahu naprieč svojím inžinierskym tímom. Dnes ho pravidelne používa viac ako 1 000 inžinierov . 

Spätná väzba sa prevažne objavuje prirodzene, nie prostredníctvom formálnych metrík v nástroji. Inžinieri zdieľajú na Slacku užitočné postrehy, konštruktívne komentáre a momenty, keď im Codex pomohol premýšľať o problémoch inak.

Hoci úspora času je významná, tímy opakovane poukazovali na zmysluplnejší posun v tom, ako sa práca vykonáva. 

Širší vplyv pre Datadog spočíval v zmene definície samotnej kontroly kódu. Namiesto toho, aby tím považoval kontrolu za bod na zachytávanie chýb alebo optimalizáciu času cyklu, teraz vidí Codex ako základný systém spoľahlivosti, ktorý funguje ako partner:

• Odhalenie rizika, ktoré presahuje to, čo jednotliví posudzovatelia dokážu udržať v kontexte
• Zvýraznenie interakcií medzi modulmi a službami.
• Zvyšovanie dôvery pri odosielaní vo veľkom rozsahu.
• Umožňuje ľudským recenzentom sústrediť sa na architektúru a dizajn.

Táto zmena je v súlade s tým, ako lídri Datadogu určujú inžinierske priority, kde spoľahlivosť a dôvera sú rovnako dôležité, ak nie dôležitejšie, ako rýchlosť.

„Sme platforma, na ktorú sa firmy spoliehajú, keď všetko ostatné zlyháva,“ hovorí Carter „Predchádzanie incidentom posilňuje dôveru, ktorú do nás naši zákazníci vkladajú.“