Datadog juża Codex għar-reviżjoni tal-kodiċi fil-livell tas-sistema
B'Codex, Datadog idaħħal kuntest fil-livell tas-sistema kollha f'kull reviżjoni tal-kodiċi biex jipprevjeni inċidenti u jipproteġi l-fiduċja tal-klijenti.
Datadog(jinfetaħ f’tieqa ġdida) tħaddem waħda mill-pjattaformi ta’ osservabbiltà l-aktar użati fid-dinja, u tgħin lill-kumpaniji jimmonitorjaw, jiddijanjostikaw il-problemi, u jipproteġu sistemi distribwiti kumplessi. Meta xi ħaġa ma tibqax taħdem, il-klijenti jiddependu fuq Datadog biex jikxef il-problemi malajr, u dan ifisser li l-affidabbiltà trid tkun inkorporata ħafna qabel ma l-kodiċi jasal fl-ambjent tal-produzzjoni.
Għat-timijiet tal-inġinerija ta’ Datadog, ir-reviżjoni tal-kodiċi hija mument kruċjali ħafna. Mhux biss dwar is-sejbien tal-iżbalji, iżda dwar il-fehim ta’ kif il-bidliet jinfirxu f’sistemi interkonnessi—qasam fejn l-analiżi statika tradizzjonali u l-għodod ibbażati fuq regoli spiss jonqsu.
Biex jindirizza din l-isfida, it-tim tal-AI Development Experience (AI DevX) ta’ Datadog irrikorra għal Codex, l-aġent tal-kodifikazzjoni minn OpenAI, li jġib ir-raġunament fil-livell tas-sistema fir-reviżjoni tal-kodiċi u joħroġ fid-dieher riskji li l-bnedmin ma jistgħux jaraw faċilment fuq skala kbira.
“L-iffrankar fil-ħin huwa reali u importanti,” jgħid Brad Carter, li jmexxi t-tim AI DevX ta’ Datadog. “Iżda l-prevenzjoni tal-inċidenti hija ferm iktar qawwija fil-livell tagħna.”
Tradizzjonalment, ir-reviżjoni effettiva tal-kodiċi f’Datadog kienet tiddependi ħafna fuq inġiniera senior—il-persuni li jifhmu sew biżżejjed il-bażi tal-kodiċi, l-istorja tagħha u l-kompromessi arkitettoniċi biex jagħrfu riskju sistemiku.
Iżda dak it-tip ta’ kuntest profond huwa diffiċli biex jiġi skalat, u l-għodod bikrin ta’ reviżjoni tal-kodiċi bl-AI ma solvawx din il-problema; ħafna minnhom għamlu bħal linters avvanzati, billi jimmarkaw kwistjonijiet superfiċjali filwaqt li jitilfu sfumaturi usa’ tas-sistema. L-inġiniera ta’ Datadog spiss kienu jsibu li s-suġġerimenti kienu wisq superfiċjali jew wisq storbjużi, u kienu jinjorawhom.
Datadog bdiet tittestja lil Codex, l-aġent għall-kitba tal-kodiċi minn OpenAI, bħala proġett pilota billi integrah fil-flussi tax-xogħol reali tal-iżvilupp. F’wieħed mill-akbar repożitorji tal-kumpanija u fost l-aktar użati b’mod intensiv, kull pull request kienet tiġi riveduta awtomatikament minn Codex. L-inġiniera rreaġixxew għall-kummenti minn Codex b’għajnuna jew diżapprovazzjoni u qasmu feedback informali bejn it-timijiet. Ħafna nnutaw li r-rispons ta’ Codex kien jistħoqqlu jinqara, b’differenza minn għodod preċedenti li kienu jipproduċu suġġerimenti storbjużi jew superfiċjali.
Biex jittestja jekk reviżjoni assistita bl-IA setgħetx tagħmel aktar minn sempliċement tindika kwistjonijiet ta’ stil, Datadog bena qafas ta’ riproduzzjoni ta’ inċidenti.
Minflok ma jużaw xenarji ipotetiċi, it-tim reġa’ rrikorra għal inċidenti storiċi. Huma rrikostruwixxew il-pull request li kienu kkontribwew għal inċidenti, ħaddmu Codex fuq kull waħda minnhom bħallikieku kien parti mir-reviżjoni oriġinali, imbagħad staqsew lill-inġiniera li kienu responsabbli għal dawk l-inċidenti jekk il-feedback minn Codex kienx jagħmel differenza.
Ir-riżultat: Codex sab aktar minn 10 każijiet, jew bejn wieħed u ieħor 22% tal-inċidenti li eżamina Datadog, li fihom l-inġiniera kkonfermaw li r-rispons li pprovda Codex kien jagħmel differenza—aktar minn kwalunkwe għodda oħra evalwata.
Peress li dawn il-pull request kienu diġà għaddew mir-reviżjoni tal-kodiċi, it-test ta’ replay wera li Codex żvela riskji li r-reviżuri ma kinux raw dak iż-żmien, u b’hekk ikkumplimenta l-ġudizzju uman minflok ma ssostitwih.
L-analiżi ta’ Datadog uriet li Codex b’mod konsistenti identifika kwistjonijiet li mhumiex ovvji mid-diff immedjat waħdu u li ma jistgħux jinqabdu b’regoli deterministiċi.
L-inġiniera ddeskrivew il-kummenti ta’ Codex bħala aktar minn “storbju ta’ bot”:
- Codex indika interazzjonijiet ma’ moduli li ma ntmessux fid-diff
- Identifika kopertura tat-testijiet nieqsa f’oqsma ta’ akkoppjament bejn is-servizzi
- Dan enfasizza bidliet fil-kuntratt tal-API li kienu jġorru riskju 'il quddiem fil-proċess
“Għalija, kumment ta’ Codex huwa bħal l-inġinier l-iktar intelliġenti li qatt ħdimt miegħu u li għandu ħin infinit biex isib żbalji.” “Jara konnessjonijiet li moħħi ma jistax iżomm kollha f’daqqa.”
Il-kapaċità li tgħaqqad ir-rispons tar-reviżjoni ma’ riżultati reali ta’ affidabbiltà kienet dik li għamlet lil Codex jispikka fl-evalwazzjoni ta’ Datadog. B’differenza minn għodod ta’ analiżi statika, Codex iqabbel l-intenzjoni tal-‘pull request’ mal-bidliet fil-kodiċi sottomessi, billi jagħmel raġunament fuq il-kodiċi kollu u d-dipendenzi biex jeżegwixxi kodiċi u testijiet u jivvalida l-imġiba.
“Kien l-ewwel wieħed li fil-fatt deher li jqis id-diff fil-kuntest usa’ tal-programm,” jgħid Carter. “Dak kien ġdid u fetaħli għajnejja.”
Għal ħafna inġiniera, dik il-bidla biddlet kompletament il-mod kif kienu jinvolvu ruħhom fir-rieżami tal-IA. “Bdejt inqis il-kummenti ta’ Codex bħala feedback reali ta’ reviżjoni tal-kodiċi,” jgħid Ted Wexler, Inġinier Anzjan tas-Software f’Datadog. “Mhux xi ħaġa li kont ngħaddiha fuq fuq jew ninjoraha, imma xi ħaġa li jistħoqqilha tingħata attenzjoni.”
Wara l-evalwazzjoni, Datadog implimenta Codex b’mod wiesa’ fost il-forza tax-xogħol tal-inġinerija tagħha. Illum aktar minn 1,000 inġinier jużawh regolarment.
Il-feedback fil-biċċa l-kbira jitfaċċa b’mod organiku aktar milli permezz ta’ metriċi formali fi ħdan l-għodda. L-inġiniera jippostjaw fuq Slack dwar għarfien utli, kummenti kostruttivi, u mumenti meta Codex għenhom jaħsbu b’mod differenti dwar problema.
Filwaqt li l-iffrankar tal-ħin huwa sinifikanti, it-timijiet indikaw b’mod konsistenti bidla aktar sostanzjali fil-mod kif kien jitwettaq ix-xogħol.
“Codex biddel il-fehma tiegħi dwar x’għandha tkun ir-reviżjoni tal-kodiċi.” Mhux kwistjoni li nirreplikaw l-aqwa reviżuri umani tagħna. Huwa dwar is-sejba ta’ difetti kritiċi u każijiet estremi li l-bnedmin isibu diffiċli li jaraw meta jirrevedu bidliet b’mod iżolat.
L-impatt usa’ għal Datadog kien bidla fil-mod kif ir-reviżjoni tal-kodiċi nnifisha tiġi definita. Minflok ma jittratta r-reviżjoni bħala punt ta’ kontroll biex jinqabdu l-iżbalji jew jiġi ottimizzat il-ħin taċ-ċiklu, it-tim issa jara lil Codex bħala sistema ċentrali ta’ affidabbiltà li taġixxi bħala sieħeb:
- Nikxfu r-riskju lil hinn minn dak li r-reviżuri individwali jistgħu jżommu f’moħħhom fil-kuntest
- L-enfasi fuq l-interazzjonijiet bejn il-moduli u bejn is-servizzi
- Żieda fil-fiduċja fit-tbaħħir fuq skala kbira
- Jippermetti lir-reviżuri umani jiffukaw fuq l-arkitettura u d-disinn
Din il-bidla hija allinjata ma’ kif il-mexxejja ta’ Datadog jifformulaw il-prijoritajiet tal-inġinerija, fejn l-affidabbiltà u l-fiduċja huma importanti daqs, jekk mhux aktar minn, il-veloċità.
“Aħna l-pjattaforma li l-kumpaniji jiddependu fuqha meta kull ħaġa oħra tkun qed tfalli,” jgħid Carter. “Il-prevenzjoni tal-inċidenti ssaħħaħ il-fiduċja li l-klijenti tagħna għandhom fina.”
