Datadog hutumia Codex kwa ukaguzi wa msimbo wa mfumo

Datadog⁠(fungua katika dirisha jipya) inaendesha mojawapo ya majukwaa ya uangalizi yanayotumiwa zaidi duniani, ikisaidia makampuni kufuatilia, kutatua matatizo, na kulinda mifumo changamano iliyosambazwa. Wakati kitu kinapovunjika, wateja hutegemea Datadog kuonyesha matatizo haraka, ambayo inamaanisha uaminifu lazima uundwe mapema sana kabla msimbo haujafikia uzalishaji.

Kwa timu za uhandisi za Datadog, hilo hufanya ukaguzi wa msimbo kuwa wakati wa hatari kubwa. Siyo tu kuhusu kugundua makosa, bali pia kuhusu kuelewa jinsi mabadiliko yanavyoathiri mifumo iliyounganishwa—eneo ambalo uchanganuzi tuli wa jadi na zana zinazotegemea sheria mara nyingi hukosa.

Ili kukabiliana na changamoto hii, timu ya AI Development Experience (AI DevX) ya Datadog iligeukia Codex, wakala wa usimbaji kutoka OpenAI, ambaye huleta uwazaji wa kiwango cha mfumo katika ukaguzi wa msimbo na kuibua hatari ambazo binadamu kwa kiwango kikubwa hawawezi kuziona kwa urahisi.

“Kuokoa muda ni jambo la kweli na muhimu,” anasema Brad Carter, ambaye anaongoza timu ya AI DevX katika Datadog. “Lakini kuzuia matukio ni muhimu zaidi katika kiwango chetu.”

Ukaguzi bora wa msimbo katika Datadog kimsingi ulitegemea sana wahandisi waandamizi—watu wanaoelewa msingi wa msimbo, historia yake, na mabadilishano ya usanifu ya kutosha kutambua hatari za kimfumo. 

Lakini ni vigumu kupanua muktadha wa kina wa aina hiyo, na zana za awali za ukaguzi wa msimbo wa AI hazikutatua tatizo hili; nyingi zilifanya kazi kama vichanganuzi vya hali ya juu, vikibainisha masuala ya juujuu huku vikikosa tofauti pana za mfumo. Wahandisi wa Datadog mara nyingi waliona mapendekezo kuwa ya kijuujuu sana au yenye kelele nyingi, na wakayapuuza.

Datadog ilianza kujaribu Codex, wakala wa usimbaji kutoka OpenAI, kwa kuiunganisha na mitiririko ya kazi ya utengenezaji ya moja kwa moja. Katika mojawapo ya hifadhi kubwa zaidi na zinazotumika sana za kampuni, kila ombi la mabadiliko ya kanuni lilikaguliwa kiotomatiki na Codex. Wahandisi walijibu maoni kutoka Codex kwa kutumia ishara ya kidole gumba kuwa juu au chini na wakashiriki maoni yasiyo rasmi na timu mbalimbali. Wengi walibainisha kuwa maoni ya Codex yalistahili kusomwa, tofauti na zana za awali zilizotoa mapendekezo yenye kelele au ya kijuujuu.

Ili kupima kama ukaguzi unaosaidiwa na AI ungeweza kufanya zaidi ya kuonyesha masuala ya mtindo, Datadog iliunda kifaa cha kurudia tukio.

Badala ya kutumia hali za kinadharia, timu ilirejea matukio ya kihistoria. Waliunda upya maombi ya mabadiliko ya kanuni ambayo yalichangia matukio, wakaendesha Codex dhidi ya kila moja kana kwamba ilikuwa sehemu ya ukaguzi wa awali, kisha wakawauliza wahandisi waliomiliki matukio hayo ikiwa maoni kutoka Codex yangekuwa yameleta utofauti.

Matokeo: Codex ilipata zaidi ya kesi 10, au takriban 22% ya matukio ambayo Datadog ilichunguza, ambapo wahandisi walithibitisha kwamba maoni ambayo Codex ilitoa yangekuwa yameleta tofauti—zaidi kuliko zana nyingine yoyote iliyotathminiwa.

Kwa kuwa maombi ya mabadiliko ya kanuni haya yalikuwa tayari yamepita ukaguzi wa msimbo, jaribio la kurudia lilionyesha kwamba Codex ilibainisha hatari ambazo wakaguzi hawakuwa wameziona wakati huo, ikikamilisha uamuzi wa binadamu badala ya kuibadilisha.

Uchambuzi wa Datadog ulionyesha kuwa Codex mara kwa mara ilibainisha masuala ambayo si dhahiri kutokana na tofauti ya papo hapo pekee na hayawezi kugunduliwa na sheria bainifu.

Wahandisi walielezea maoni ya Codex kuwa zaidi ya “kelele ya roboti”:

• Codex ilionyesha mwingiliano na moduli ambazo hazikuguswa katika tofauti ya nambari
• Ilitambua upungufu wa majaribio katika maeneo ya uunganishaji wa huduma mbalimbali
• Iliangazia mabadiliko ya mkataba wa API ambayo ilikuwa na hatari ya athari kwa mifumo inayofuata

Uwezo huo wa kuunganisha maoni ya ukaguzi na matokeo halisi ya uaminifu ndio uliofanya Codex kujitokeza katika tathmini ya Datadog. Tofauti na zana za uchanganuzi tuli, Codex inalinganisha dhamira ya ombi la mabadiliko ya kanuni na mabadiliko yaliyowasilishwa, ikifanya uwazaji msingi mzima wa msimbo na utegemezi ili kutekeleza msimbo na majaribio ili kuthibitisha tabia.

“Ilikuwa ya kwanza ambayo kwa kweli ilionekana kuzingatia tofauti katika muktadha mpana wa programu,” anasema Carter “Hiyo ilikuwa ya kipekee na ya kufumbua macho.”

Kwa wahandisi wengi, mabadiliko hayo yalibadilisha jinsi walivyoshirikiana na ukaguzi wa AI kwa ujumla. “Nilianza kuchukulia maoni ya Codex kama maoni halisi ya ukaguzi wa msimbo,” anasema Ted Wexler, Mhandisi Mwandamizi wa Programu katika Datadog “Si kitu ambacho ningekipitia haraka au kupuuza, bali ni kitu kinachostahili kuzingatiwa.”

Baada ya tathmini, Datadog ilitumia Codex kwa upana zaidi katika wafanyakazi wake wa uhandisi. Leo zaidi ya wahandisi 1,000 huitumia mara kwa mara. 

Maoni kwa kiasi kikubwa hujitokeza kwa njia ya asili badala ya kupitia vipimo rasmi vya zana. Wahandisi huchapisha kwenye Slack kuhusu maarifa muhimu, maoni ya maana, na nyakati ambapo Codex iliwasaidia kuwaza tofauti kuhusu tatizo.

Ingawa kuokoa muda ni muhimu, mara kwa mara timu zilielekeza kwenye mabadiliko yenye maana zaidi katika jinsi kazi inavyofanyika. 

Matokeo mapana kwa Datadog yalikuwa mabadiliko katika jinsi ukaguzi wa msimbo unavyofafanuliwa. Badala ya kuchukulia ukaguzi kama kituo cha kubaini makosa au kuboresha muda wa mzunguko, sasa timu inaona Codex kama mfumo wa msingi wa uaminifu unaofanya kazi kama mshirika:

• Kuweka wazi hatari zaidi ya kile ambacho wakaguzi binafsi wanaweza kuelewa katika muktadha
• Kuangazia miingiliano ya moduli na huduma mbalimbali
• Kuongeza ujasiri katika usafirishaji kwa kiwango kikubwa
• Kuwawezesha wakaguzi wa binadamu kulenga usanifu na muundo

Mabadiliko haya yanaendana na jinsi viongozi wa Datadog wanavyoweka vipaumbele vya uhandisi, ambapo kutegemewa na imani ni muhimu kama, ikiwa si zaidi ya, kasi.

“Sisi ni jukwaa ambalo makampuni hutegemea wakati kila kitu kingine kinaporomoka,” anasema Carter “Kuzuia matukio kunaimarisha imani ambayo wateja wetu wanatuwekea.”