Datadog प्रणाली-स्तरीय कोड पुनरावलोकनासाठी Codex वापरते

Datadog⁠(नवीन विंडोमध्ये उघडेल) जगातील सर्वाधिक वापरल्या जाणाऱ्या ऑब्झर्व्हेबिलिटी प्लॅटफॉर्मपैकी एक आहे, जे कंपन्यांना जटिल वितरित प्रणालींचे निरीक्षण, समस्या निवारण आणि सुरक्षितता सुनिश्चित करण्यात मदत करते. जेव्हा काहीतरी बिघडते, तेव्हा ग्राहक समस्या पटकन समोर आणण्यासाठी Datadog वर अवलंबून असतात, याचा अर्थ असा की कोड उत्पादनात पोहोचण्याच्या खूप आधीपासूनच विश्वासार्हता अंगभूत असणे आवश्यक आहे.

Datadog च्या अभियांत्रिकी संघासाठी, त्यामुळे कोड रिव्ह्यू हा उच्च-जोखमीचा क्षण ठरतो. हे केवळ चुका पकडण्याबद्दल नाही, तर बदल परस्पर जोडलेल्या प्रणालींमधून कसे तरंगत जातात हे समजून घेण्याबद्दल आहे—जिथे पारंपरिक स्थिर विश्लेषण आणि नियम-आधारित साधने अनेकदा कमी पडतात.

हे आव्हान पेलण्यासाठी, Datadog च्या AI विकास अनुभव (AI DevX) संघाने OpenAI च्या कोडिंग एजंट Codex कडे वळले, जो कोड पुनरावलोकनात प्रणाली-स्तरीय रीझनिंग आणतो आणि माणसांना मोठ्या प्रमाणावर सहज दिसत नाहीत असे धोके उघड करतो.

"वेळेची बचत खऱ्या अर्थाने महत्त्वाची आहे," असे Datadog च्या AI DevX संघाचे नेतृत्व करणारे ब्रॅड कार्टर म्हणतात. “पण आमच्या स्तरावर घटना टाळणे खूपच अधिक आकर्षक आहे.”

Datadog मध्ये प्रभावी कोड पुनरावलोकन पारंपरिकपणे वरिष्ठ अभियंत्यांवर मोठ्या प्रमाणावर अवलंबून असते—जे कोडबेस, त्याचा इतिहास, आणि आर्किटेक्चरल तडजोडी इतक्या चांगल्या प्रकारे समजतात की ते प्रणालीगत जोखीम ओळखू शकतात. 

पण अशा प्रकारचा सखोल संदर्भ मोठ्या प्रमाणावर लागू करणे कठीण असते, आणि सुरुवातीची AI कोड पुनरावलोकन साधने ही समस्या सोडवू शकली नाहीत; अनेकांनी प्रगत लिंटर्ससारखे वर्तन केले, वरवरच्या मुद्द्यांना चिन्हांकित करताना व्यापक प्रणालीतील सूक्ष्म बारकावे मात्र चुकवले. Datadog चे अभियंते अनेकदा या सूचनांना खूप वरवरच्या किंवा खूप गोंगाटयुक्त असल्याचे मानत आणि त्याकडे दुर्लक्ष करतात.

Datadog ने OpenAI च्या कोडिंग एजंट Codex ला लाइव्ह डेव्हलपमेंट वर्कफ्लोजमध्ये समाकलित करून त्याचा पायलट प्रकल्प सुरू केला. कंपनीच्या सर्वात मोठ्या आणि सर्वाधिक वापरल्या जाणाऱ्या रिपॉझिटरींपैकी एका मध्ये, प्रत्येक पुल रिक्वेस्टचे Codex द्वारे स्वयंचलितपणे पुनरावलोकन केले जात होते. अभियंत्यांनी Codex कडील टिप्पण्यांवर अंगठा वर किंवा खाली देऊन प्रतिक्रिया दिली आणि संघांमध्ये अनौपचारिक अभिप्राय सामायिक केला. अनेकांनी नोंदवले की Codex चा अभिप्राय वाचण्यासारखा होता, पूर्वीच्या साधनांप्रमाणे नाही, जी गोंगाटयुक्त किंवा वरवरच्या सूचना देत असत.

AI‑सहाय्यित पुनरावलोकन शैलीविषयक मुद्द्यांपेक्षा अधिक काही करू शकते का हे तपासण्यासाठी, Datadog ने एक घटना पुनरावलोकन साधन तयार केले.

काल्पनिक परिस्थितींचा वापर करण्याऐवजी, संघाने ऐतिहासिक घटनांकडे परत वळले. त्यांनी घटनांना कारणीभूत ठरलेल्या पुल रिक्वेस्ट्स पुन्हा तयार केल्या, प्रत्येकावर Codex चालवला जणू तो मूळ पुनरावलोकनाचा भागच होता, आणि मग त्या घटनांचे मालक असलेल्या अभियंत्यांना विचारले की Codex कडून मिळालेल्या अभिप्रायामुळे काही फरक पडला असता का.

निकाल: Codex ने 10 पेक्षा जास्त प्रकरणे, किंवा Datadog ने तपासलेल्या घटनांपैकी साधारण 22% घटनांमध्ये अशी प्रकरणे शोधली, जिथे अभियंत्यांनी पुष्टी केली की Codex ने दिलेला अभिप्राय फरक पाडला असता—मूल्यांकन केलेल्या इतर कोणत्याही साधनापेक्षा अधिक.

या पुल रिक्वेस्ट्सने आधीच कोड पुनरावलोकन पास केले असल्यामुळे, रिप्ले चाचणीने दाखवले की Codex ने त्या वेळी पुनरावलोकनकर्त्यांना न दिसलेले धोके समोर आणले, मानवी निर्णयाची जागा न घेता त्याला पूरक ठरले.

Datadog च्या विश्लेषणातून असे दिसून आले की Codex ने सातत्याने असे मुद्दे हायलाइट केले जे तात्काळ diff वरून स्पष्ट होत नाहीत आणि जे deterministic नियमांनी ओळखता येत नाहीत.

अभियंत्यांनी Codex टिप्पण्यांचे वर्णन “बॉट नॉइज”पेक्षा अधिक असे केले आहे:

• Codex ने डिफमध्ये समाविष्ट नसलेल्या मॉड्यूल्ससोबतच्या परस्परसंवादाकडे लक्ष वेधले
• त्याने क्रॉस‑सर्व्हिस कपलिंगच्या क्षेत्रांमध्ये चाचणी कव्हरेजची कमतरता ओळखली
• याने डाउनस्ट्रीम जोखीम निर्माण करणारे API करारातील बदल अधोरेखित केले

रिव्ह्यू फीडबॅकला वास्तविक विश्वासार्हता परिणामांशी जोडण्याची क्षमता Datadog च्या मूल्यांकनात Codex ला विशेष बनवणारी ठरली. स्टॅटिक विश्लेषण साधनांपेक्षा वेगळे, Codex पुल रिक्वेस्टच्या हेतूची सबमिट केलेल्या कोड बदलांशी तुलना करतो, संपूर्ण कोडबेस आणि अवलंबनांवर रीझनिंग करून वर्तन पडताळण्यासाठी कोड आणि चाचण्या कार्यान्वित करतो.

"ज्याने प्रत्यक्षात कार्यक्रमाच्या व्यापक संदर्भात फरकाचा विचार केला, त्याने हे पहिलेच होते," कार्टर म्हणतात. “ते काहीतरी नवीन आणि डोळे उघडणारे होते.”

अनेक अभियंत्यांसाठी, त्या बदलामुळे त्यांनी AI पुनरावलोकनाशी एकूणच कसा संवाद साधला तो बदलला. “मी Codex वरील टिप्पण्यांना प्रत्यक्ष कोड पुनरावलोकन अभिप्रायासारखे वागवायला सुरुवात केली," असे Datadog येथील वरिष्ठ सॉफ्टवेअर अभियंता टेड वेक्सलर म्हणतात. “हे वरवर वाचून किंवा दुर्लक्ष करण्यासारखे नाही, तर लक्ष देण्यासारखे आहे.”

मूल्यांकनानंतर, Datadog ने Codex ला त्याच्या अभियांत्रिकी कार्यबलामध्ये अधिक व्यापकपणे तैनात केले. आज 1,000 पेक्षा अधिक अभियंते ते नियमितपणे वापरतात. 

फीडबॅक प्रामुख्याने औपचारिक साधनांतील मेट्रिक्सद्वारे नव्हे, तर नैसर्गिकरीत्या समोर येतो. अभियंते Slack वर उपयुक्त अंतर्दृष्टी, रचनात्मक टिप्पण्या, आणि Codex ने त्यांना एखाद्या समस्येबद्दल वेगळ्या पद्धतीने विचार करण्यास मदत केली असे क्षण याबद्दल पोस्ट करतात.

वेळेची बचत लक्षणीय असली तरी, संघांनी काम कसे पूर्ण केले जात होते यामध्ये अधिक अर्थपूर्ण बदल झाल्याचे सातत्याने नमूद केले. 

Datadog साठी व्यापक परिणाम म्हणजे कोड रिव्ह्यूची व्याख्या कशी केली जाते यामध्ये बदल. रिव्ह्यूला चुका पकडण्यासाठी किंवा सायकल वेळ ऑप्टिमाइझ करण्यासाठी एक चेकपॉइंट म्हणून पाहण्याऐवजी, संघ आता Codex ला एक भागीदार म्हणून काम करणारी मुख्य विश्वसनीयता प्रणाली म्हणून पाहते:

• वैयक्तिक पुनरावलोककांच्या संदर्भात धरू शकतील त्यापेक्षा अधिक जोखीम उघड करणे
• क्रॉस-मॉड्यूल आणि क्रॉस-सेवा परस्परसंवाद अधोरेखित करणे
• मोठ्या प्रमाणात शिपिंगमध्ये आत्मविश्वास वाढवणे
• मानवी पुनरावलोकनकर्त्यांना वास्तुकला आणि डिझाइनवर लक्ष केंद्रित करण्याची परवानगी देणे

हा बदल Datadog चे नेते अभियांत्रिकी प्राधान्यक्रम कसे मांडतात याशी सुसंगत आहे, जिथे वेगाइतकीच, किंबहुना त्याहूनही अधिक, विश्वासार्हता आणि विश्वास महत्त्वाचे असतात.

"जेव्हा इतर सर्व काही तुटत असतं, तेव्हा कंपन्या आमच्यावर अवलंबून असतात," कार्टर म्हणतात. “घटना टाळल्याने आमच्या ग्राहकांचा आमच्यावर ठेवलेला विश्वास अधिक दृढ होतो.”