Datadog સિસ્ટમ-સ્તરની કોડની સમીક્ષા માટે Codexનો ઉપયોગ કરે છે

Datadog⁠(નવી વિન્ડોમાં ખૂલે છે) વિશ્વના સૌથી વ્યાપકપણે ઉપયોગમાં લેવાતા ઑબ્ઝર્વેબિલિટી પ્લેટફોર્મ્સમાંથી એકનું સંચાલન કરે છે, જે કંપનીઓને જટિલ વિતરિત સિસ્ટમ્સનું નિરીક્ષણ કરવા, સમસ્યાઓનું નિવારણ કરવા અને સુરક્ષિત કરવામાં મદદ કરે છે. જ્યારે કંઈક ખામી થાય છે, ત્યારે ગ્રાહકો સમસ્યાઓને ઝડપથી સામે લાવવા માટે Datadog પર નિર્ભર રહે છે, એટલે કે વિશ્વસનીયતા કોડ ક્યારેય પ્રોડક્શન સુધી પહોંચે તે પહેલાં જ ઘણા સમય અગાઉથી તેમાં સમાવવામાં આવેલી હોવી જોઈએ.

Datadogની એન્જિનિયરિંગ ટીમો માટે, તે કોડ સમીક્ષા એક મહત્વપૂર્ણ ક્ષણ બનાવે છે. આ ફક્ત ભૂલો પકડવાની વાત નથી, પરંતુ ફેરફારો પરસ્પર જોડાયેલી સિસ્ટમોમાં કેવી રીતે અસરની લહેરો ફેલાવે છે તે સમજવાની વાત છે—એક એવું ક્ષેત્ર જ્યાં પરંપરાગત સ્થિર વિશ્લેષણ અને નિયમ-આધારિત ટૂલ્સ ઘણી વાર પૂરતા પડતા નથી.

આ પડકારનો સામનો કરવા માટે, Datadogની AI Development Experience (AI DevX) ટીમે OpenAIના કોડિંગ એજન્ટ Codexનો સહારો લીધો, જે કોડ સમીક્ષામાં સિસ્ટમ-સ્તરનું રિઝનિંગ લાવે છે અને એવા જોખમોને ઉજાગર કરે છે જેને માણસો મોટા પાયે સરળતાથી જોઈ શકતા નથી.

“સમયની બચત વાસ્તવિક અને મહત્વપૂર્ણ છે,” Datadog ની AI DevX ટીમનું નેતૃત્વ કરતા બ્રાડ કાર્ટર કહે છે. “પરંતુ અમારા પાયે ઘટનાઓને અટકાવવી વધુ અસરકારક છે.”

Datadog ખાતે અસરકારક કોડ સમીક્ષા પરંપરાગત રીતે સિનિયર એન્જિનિયરો પર ખૂબ આધાર રાખતી હતી—એવા લોકો પર, જેઓ કોડબેઝ, તેનો ઇતિહાસ અને આર્કિટેક્ચરલ ટ્રેડ-ઓફ્સને એટલા સારી રીતે સમજે છે કે સિસ્ટમિક જોખમ ઓળખી શકે. 

પરંતુ આવા પ્રકારના ઊંડા સંદર્ભને મોટા પાયે લાગુ કરવો મુશ્કેલ છે અને પ્રારંભિક AI કોડ સમીક્ષા સાધનો આ સમસ્યાનો ઉકેલ લાવી શક્યા નહોતા; ઘણાં સાધનો અદ્યતન લિન્ટર્સની જેમ વર્તતા હતા, સપાટી સ્તરની સમસ્યાઓને ચિહ્નિત કરતા હતા, જ્યારે વ્યાપક સિસ્ટમની સૂક્ષ્મતાઓ ચૂકી જતા હતા. Datadogના એન્જિનિયરોને ઘણીવાર સૂચનો ખૂબ સપાટી સ્તરના અથવા અવાજભર્યા લાગતા અને તેઓ તેમને અવગણતા હતા.

Datadogએ OpenAIના કોડિંગ એજન્ટ Codexને લાઇવ ડેવલપમેન્ટ વર્કફ્લોમાં એકીકૃત કરીને તેનો પ્રાયોગિક ઉપયોગ શરૂ કર્યો. કંપનીની સૌથી મોટી અને સૌથી વધુ ઉપયોગમાં લેવાતી રિપોઝિટરીઓમાંથી એકમાં, દરેક pull request ની Codex દ્વારા આપમેળે સમીક્ષા કરવામાં આવતી હતી. એન્જિનિયરોએ Codex તરફથી આવેલી ટિપ્પણીઓ અંગે પસંદ (થંબ્સ અપ) અથવા નાપસંદ (થંબ્સ ડાઉન) ચિહ્નો દ્વારા પ્રતિક્રિયા આપી અને ટીમો વચ્ચે અનૌપચારિક પ્રતિસાદ શેર કર્યો. ઘણાં લોકોએ નોંધ્યું કે અગાઉનાં ટૂલ્સથી વિપરીત, જે ઘોંઘાટભર્યા અથવા ઉપરછલ્લા સૂચનો આપતાં હતાં, Codexનો પ્રતિસાદ વાંચવા યોગ્ય હતો.

A‑સહાયિત સમીક્ષા માત્ર શૈલી સંબંધિત મુદ્દાઓ બતાવવા કરતાં વધુ કરી શકે છે કે નહીં તે ચકાસવા માટે, Datadog એ ઘટના રીપ્લે સુવિધા બનાવી.

કાલ્પનિક પરિસ્થિતિઓનો ઉપયોગ કરવાને બદલે, ટીમ ભૂતકાળની ઘટનાઓ તરફ પાછી વળી. તેમણે ઘટનાઓમાં યોગદાન આપનાર pull requests ને ફરી રચ્યા, દરેક પર Codex એવી રીતે ચલાવ્યું જાણે તે મૂળ સમીક્ષાનો ભાગ હોય, પછી તે ઘટનાઓના જવાબદાર એન્જિનિયરોને પૂછ્યું કે Codex તરફથી મળેલા પ્રતિસાદથી કોઈ ફરક પડ્યો હોત કે નહીં.

પરિણામ: Codexને દસ કરતાં વધુ કિસ્સાઓ મળ્યા, એટલે કે Datadog દ્વારા તપાસવામાં આવેલી ઘટનાઓમાંથી આશરે 22%, જેમાં એન્જિનિયરોએ પુષ્ટિ કરી કે Codex દ્વારા આપવામાં આવેલ પ્રતિસાદ મૂલ્યાંકન કરાયેલા અન્ય કોઈ પણ ટૂલ કરતાં વધુ—ફેર પાડી શક્યો હોત.

આ pull requests પહેલેથી જ કોડ સમીક્ષામાં પાસ થઈ ચૂકી હતી, તેથી રીપ્લે પરીક્ષણે બતાવ્યું કે Codexએ એવા જોખમો ઉજાગર કર્યા જે સમીક્ષકોએ તે સમયે જોયા નહોતા, એટલે તે માનવીય નિર્ણયશક્તિનું સ્થાન લેવાના બદલે તેના માટે પૂરક બને છે.

Datadogના વિશ્લેષણે બતાવ્યું કે Codex સતત એવા મુદ્દાઓને ચિહ્નિત કરતું હતું, જે માત્ર તાત્કાલિક તફાવત પરથી સ્પષ્ટ નથી થતા અને નિર્ધારિત નિયમો વડે પકડાઈ શકાતા નથી.

એન્જિનિયરોએ Codexની ટિપ્પણીઓને માત્ર “બોટના ઘોંઘાટ” કરતાં વધુ મહત્વપૂર્ણ ગણાવી:

• Codexએ તફાવતમાં ફેરફાર ન થયેલા મોડ્યુલો સાથેની ક્રિયાપ્રતિક્રિયાઓ તરફ ધ્યાન દોર્યું
• તેણે ક્રોસ-સર્વિસ કપલિંગના વિસ્તારોમાં ખૂટતું ટેસ્ટ કવરેજ ઓળખી કાઢ્યું
• તેણે API કોન્ટ્રાક્ટમાં એવા ફેરફારોને હાઇલાઇટ કર્યા હતા, જેમાં ડાઉનસ્ટ્રીમ જોખમ સામેલ હતું

સમીક્ષા પ્રતિસાદને વિશ્વસનીયતાના વાસ્તવિક પરિણામો સાથે જોડવાની એ ક્ષમતાએ જ Datadogના મૂલ્યાંકનમાં Codexને અલગ ઓળખ આપી. સ્થિર વિશ્લેષણ સાધનોથી વિપરીત, Codex pull request ના આશયની તુલના સબમિટ કરેલા કોડ ફેરફારો સાથે કરે છે, સમગ્ર કોડબેઝ અને નિર્ભરતા પર રિઝનિંગ કરીને કોડ અને પરીક્ષણો ચલાવે છે જેથી વર્તનને માન્ય કરી શકાય.

કાર્ટર કહે છે, “આ પહેલી વખત એવું હતું જે વાસ્તવમાં પ્રોગ્રામના વધુ વ્યાપક સંદર્ભમાં તફાવતને ધ્યાનમાં લેતું હોય એવું લાગ્યું”. “તે નવતર અને આંખો‑ઉઘાડનારું હતું.”

ઘણા એન્જિનિયરો માટે, તે પરિવર્તને AI સમીક્ષા સાથે સંકળાવાની તેમની રીત સંપૂર્ણપણે બદલી નાખી. Datadogના સિનિયર સોફ્ટવેર એન્જિનિયર ટેડ વેક્સલર કહે છે, “મેં Codexની ટિપ્પણીઓને વાસ્તવિક કોડ સમીક્ષા પ્રતિસાદ તરીકે ગણવાનું શરૂ કર્યું”. તેઓ ઉમેરે છે, “આ એવું કંઈક નથી કે હું ઉપરછલ્લું વાંચીને છોડી દઉં કે અવગણું, પરંતુ એવું છે જેના પર ધ્યાન આપવું જરૂરી છે.”

મૂલ્યાંકન બાદ, Datadogએ તેના એન્જિનિયરિંગ કર્મચારીઓમાં Codexને વધુ વ્યાપક રીતે અમલમાં મૂક્યું. આજે 1,000 કરતાં વધુ એન્જિનિયરો તેનો નિયમિતપણે ઉપયોગ કરે છે. 

પ્રતિસાદ મોટાભાગે ઔપચારિક ઇન‑ટૂલ મેટ્રિક્સ દ્વારા નહીં, પરંતુ સ્વાભાવિક રીતે સામે આવે છે. એન્જિનિયરો Slack પર ઉપયોગી ઇનસાઇટ્સ, રચનાત્મક ટિપ્પણીઓ અને એવી ક્ષણો વિશે પોસ્ટ કરે છે, જ્યાં Codexએ તેમને કોઈ સમસ્યા વિશે અલગ રીતે વિચારવામાં મદદ કરી હતી.

સમયની બચત નોંધપાત્ર હોવા છતાં, ટીમોએ સતત કામ કરવાની રીતમાં આવેલા વધુ અર્થપૂર્ણ પરિવર્તન તરફ ધ્યાન દોર્યું. 

Datadog માટે વ્યાપક અસર એ હતી કે કોડ સમીક્ષાને વ્યાખ્યાયિત કરવાની રીતમાં જ ફેરફાર થયો. ભૂલો પકડવા અથવા ચક્ર સમયને ઑપ્ટિમાઇઝ કરવા માટે સમીક્ષાને ચેકપોઇન્ટ તરીકે ગણવાને બદલે, ટીમ હવે Codexને મુખ્ય વિશ્વસનીયતા સિસ્ટમ તરીકે જુએ છે, જે ભાગીદાર તરીકે કાર્ય કરે છે:

• વ્યક્તિગત સમીક્ષકો સંદર્ભમાં સમાવી શકે તેનાથી વધુ પ્રમાણમાં જોખમોને સામે લાવવું
• મોડ્યુલો અને સર્વિસો વચ્ચેની ક્રિયાપ્રતિક્રિયાઓને હાઇલાઇટ કરવી
• મોટા પાયે શિપિંગમાં વિશ્વાસ વધારવો
• માનવીય સમીક્ષકોને આર્કિટેક્ચર અને ડિઝાઇન પર ધ્યાન કેન્દ્રિત કરવા દેવું

આ ફેરફાર Datadogના અગ્રણીઓ એન્જિનિયરિંગ પ્રાથમિકતાઓને જે રીતે રજૂ કરે છે તેની સાથે સુસંગત છે, જ્યાં વિશ્વસનીયતા અને વિશ્વાસ ઝડપ જેટલાં જ અને કદાચ તેનાથી પણ વધુ, મહત્વ ધરાવે છે.

કાર્ટર કહે છે, “જ્યારે બાકીની બધી વસ્તુઓ નિષ્ફળ થઈ રહી હોય, ત્યારે અમે એ પ્લેટફોર્મ છીએ જેના પર કંપનીઓ ભરોસો રાખે છે”. તે ઉમેરે છે, “અનિચ્છનીય ઘટનાઓને અટકાવવાથી અમારા ગ્રાહકો અમારામાં જે વિશ્વાસ મૂકે છે તે વધુ મજબૂત બને છે.”