Datadog používá Codex ke kontrole kódu na úrovni systému.

Datadog⁠(otevře se v novém okně) provozuje jednu z nejpoužívanějších platforem pro monitoring na světě, která pomáhá firmám sledovat, řešit problémy a zabezpečovat komplexní distribuované systémy. Když se něco pokazí, zákazníci spoléhají na to, že Datadog rychle odhalí problémy. To znamená, že spolehlivost musí být zajištěna dávno předtím, než se kód vůbec dostane do produkce.

Pro vývojářské týmy společnosti Datadog představuje kontrola kódu kritické okamžiky. Nejde jen o zachycení chyb, ale o pochopení toho, jak se změny šíří napříč propojenými systémy. To je oblast, kde tradiční statická analýza a nástroje založené na pravidlech často selhávají.

Tým společnosti Datadog pro vývoj AI aplikací (AI DevX) se proto obrátil na Codex, programovacího agenta od OpenAI, který do revize kódu přináší systémové uvažování a odhaluje rizika, která lidé ve velkém měřítku snadno nevidí.

„Úspory času jsou skutečné a důležité,“ říká Brad Carter, který vede tým AI DevX ve společnosti Datadog „Mnohem přesvědčivější je však v našem měřítku předcházení incidentům.“

Efektivní revize kódu ve společnosti Datadog se tradičně ve velké míře opírala o seniorní vývojáře, osoby, které rozumí kódové základně, její historii a kompromisům v její architektuře natolik dobře, aby dokázaly odhalit systémová rizika. 

Takto hluboký kontext je však obtížné škálovat a první nástroje pro kontrolu kódu s umělou inteligencí tento problém neřešily; mnohé z nich se chovaly jako pokročilé linty, které označovaly problémy na povrchu, zatímco jim unikaly širší nuance systému. Vývojáři společnosti Datadog považovali často návrhy za příliš povrchní nebo nekvalitní, a tak je ignorovali.

Společnost Datadog začala pilotně testovat Codex, programovacího agenta od OpenAI, integrací do živých vývojových pracovních postupů. V jednom z největších a nejvíce využívaných úložišť firmy Codex automaticky kontroloval každou žádost o přijetí změn. Vývojáři reagovali na komentáře od Codexu palcem nahoru nebo dolů a sdíleli neformální zpětnou vazbu mezi týmy. Mnozí uvedli, že zpětná vazba od Codexu stála na rozdíl od předchozích nástrojů, které vytvářely nekvalitní nebo povrchní návrhy, za přečtení.

Aby společnost Datadog vyzkoušela, zda by kontrola s pomocí umělé inteligence mohla udělat víc než jen poukázat na stylistické problémy, vytvořila systém pro přehrávání incidentů.

Místo hypotetických scénářů se tým vrátil k historickým událostem. Zrekonstruovali požadavky na stažení, které přispěly k incidentům, prověřili je v Codexu, jako by byly součástí původní revize, a pak se zeptali vývojářů, kteří měli tyto incidenty na starosti, zda by zpětná vazba z Codexu něco změnila.

Výsledek: Codex našel více než 10 případů, tedy zhruba 22 % incidentů zkoumaných společností Datadog, u kterých vývojáři potvrdili, že zpětná vazba poskytnutá Codexem by měla významný dopad. To bylo více než u jakéhokoli jiného hodnoceného nástroje.

Protože tyto žádosti o přijetí změn už prošly kontrolou kódu, opakovaný test ukázal, že Codex odhalil rizika, kterých si kontroloři v té době nevšimli, a doplnil tak lidský úsudek, místo aby ho nahrazoval.

Analýza společnosti Datadog ukázala, že Codex konzistentně označoval problémy, které nejsou zřejmé jen z bezprostředního diffu a které nelze zachytit deterministickými pravidly.

Vývojáři popsali komentáře Codexu jako víc než jen „balast od bota“:

• Codex upozornil na interakce s moduly, kterých se diff netýká.
• Identifikoval chybějící pokrytí testů v oblastech propojení mezi službami.
• Upozornil na změny smluv API, které s sebou nesou riziko navazujících činností.

Díky této schopnosti propojit zpětnou vazbu z kontroly se skutečnými výsledky spolehlivosti vynikl Codex v hodnocení společnosti Datadog. Na rozdíl od nástrojů statické analýzy porovnává Codex záměr žádosti o přijetí změn se zaslanými změnami kódu a na základě analýzy celé kódové základny a závislostí provádí kód a testy k ověření chování.

„Byl to první nástroj, který skutečně zohledňoval diff v širším kontextu programu,“ říká Carter „To bylo nové a otevřelo nám to oči.“

Pro mnoho vývojářů tato změna zcela změnila způsob, jak pracovali s AI kontrolou. „Začal jsem komentáře Codex brát jako skutečnou zpětnou vazbu z kontroly kódu,“ říká Ted Wexler, senior softwarový vývojář ve společnosti Datadog „Není to něco, co bych jen prolétl nebo ignoroval, ale něco, co stojí za pozornost.“

Po vyhodnocení nasadila společnost Datadog Codex ve větší míře u všech svých inženýrů. Dnes ho pravidelně používá více než 1 000 vývojářů. 

Zpětná vazba se objevuje převážně organicky, nikoli prostřednictvím formálních metrik v nástroji. Vývojáři píší na Slack užitečné postřehy, konstruktivní připomínky a momenty, kdy jim Codex pomohl přemýšlet o problému jinak.

Ačkoli časová úspora je významná, týmy důsledně poukazovaly na významnější posun ve způsobu práce. 

Širší dopad na společnost Datadog měla změna v definici samotné kontroly kódu. Namísto toho, aby tým považoval revizi za kontrolní bod pro zachycení chyb nebo optimalizaci doby cyklu, vnímá nyní Codex jako základní systém spolehlivosti, který funguje jako partner:

• Odhalování rizik nad rámec toho, co jednotliví kontroloři zvládnou pojmout v rámci kontextu
• Zvýraznění interakcí mezi moduly a službami
• Zvyšování důvěry, že můžeme nasazovat služby ve velkém
• Umožnění, aby se lidští recenzenti soustředili na architekturu a design

Tento posun je v souladu s tím, jak vedoucí pracovníci společnosti Datadog formulují priority v oblasti vývoje, kde spolehlivost a důvěryhodnost mají stejný, ne-li větší význam než rychlost.

„Jsme platforma, na kterou se firmy spoléhají, když se všechno ostatní hroutí,“ říká Carter „Předcházení incidentům posiluje důvěru, kterou v nás naši zákazníci vkládají.“