Datadog سسٹم کی سطح کے کوڈ جائزے کے لیے Codex استعمال کرتا ہے

Datadog⁠(نئی ونڈو میں کھلتا ہے) دنیا کے سب سے زیادہ استعمال ہونے والے آبزرویبیلٹی پلیٹ فارمز میں سے ایک چلاتا ہے، جو کمپنیوں کو پیچیدہ تقسیم شدہ نظاموں کی نگرانی، خرابیوں کی تشخیص اور انہیں محفوظ بنانے میں مدد فراہم کرتا ہے. جب کوئی چیز خراب ہو جاتی ہے، تو صارفین مسائل کو تیزی سے سامنے لانے کے لیے Datadog پر انحصار کرتے ہیں، جس کا مطلب ہے کہ قابل اعتمادیت کوڈ کی پروڈکشن تک پہنچنے سے بہت پہلے ہی شامل کی جانی چاہیے.

Datadog کی انجینئرنگ ٹیموں کے لیے، یہ کوڈ کے جائزے کو ایک اہم لمحہ بنا دیتا ہے. یہ صرف غلطیاں پکڑنے کے بارے میں نہیں ہے، بلکہ یہ سمجھنے کے بارے میں ہے کہ تبدیلیاں باہم مربوط نظاموں میں کیسے اثر انداز ہوتی ہیں—ایک ایسا شعبہ جہاں روایتی جامد تجزیہ اور قاعدہ-پر مبنی ٹولز اکثر ناکام ہو جاتے ہیں.

اس چیلنج کو پورا کرنے کے لیے، Datadog کی AI Development Experience (AI DevX) ٹیم نے Codex کی طرف رجوع کیا، جو OpenAI کا کوڈنگ ایجنٹ ہے، جو کوڈ جائزہ میں سسٹم لیول کا استدلال لاتا ہے اور ایسے خطرات کو سامنے لاتا ہے جنہیں انسان بڑے پیمانے پر آسانی سے نہیں دیکھ سکتے.

"وقت کی بچت حقیقی اور اہم ہے،" بریڈ کارٹر کہتے ہیں، جو Datadog کی AI DevX ٹیم کی قیادت کرتے ہیں. "لیکن ہمارے پیمانے پر واقعات کو روکنا کہیں زیادہ اہم ہے."

Datadog میں مؤثر کوڈ جائزہ روایتی طور پر سینئر انجینئرز پر بہت زیادہ انحصار کرتا تھا—وہ افراد جو کوڈ بیس، اس کی تاریخ اور آرکیٹیکچرل ٹریڈ آفز کو اتنی اچھی طرح سمجھتے ہیں کہ نظامی خطرے کی نشاندہی کر سکیں. 

لیکن اس طرح کے گہرے سیاق و سباق کو بڑے پیمانے پر پھیلانا مشکل ہے اور ابتدائی AI کوڈ جائزہ ٹولز نے اس مسئلے کو حل نہیں کیا؛ بہت سے جدید لنٹرز کی طرح کام کرتے ہوئے، سطحی مسائل کی نشاندہی کرتے تھے جبکہ وسیع تر نظام کی باریکیوں کو نظر انداز کر دیتے تھے. Datadog کے انجینئرز اکثر ان تجاویز کو بہت سطحی یا بہت شور والی سمجھتے تھے اور انہیں نظر انداز کر دیتے تھے.

Datadog نے OpenAI کے کوڈنگ ایجنٹ Codex کو لائیو ڈیولپمنٹ ورک فلو میں ضم کر کے اس کا پائلٹ شروع کیا. کمپنی کی سب سے بڑی اور سب سے زیادہ استعمال ہونے والی ریپوزٹریز میں سے ایک میں، ہر پل ریکویسٹ کا Codex کے ذریعے خودکار جائزہ لیا جاتا تھا. انجینئرز نے Codex کے تبصروں پر انگوٹھا اوپر یا نیچے دے کر ردعمل ظاہر کیا اور ٹیموں کے درمیان غیر رسمی فیڈبیک کا تبادلہ کیا. بہت سے لوگوں نے نوٹ کیا کہ Codex کی فیڈبیک پڑھنے کے لائق تھی، پچھلے ٹولز کے برعکس جو شور یا سطحی تجاویز پیش کرتے تھے.

یہ جانچ کرنے کے لیے کہ آیا AI‑معاونت کردہ جائزہ، اسٹائل کے مسائل کی نشاندہی سے زیادہ کچھ کر سکتا ہے، Datadog نے ایک واقعاتی دوبارہ چلانے کا ہارنس بنایا.

فرضی منظرناموں کے استعمال کے بجائے، ٹیم نے تاریخی واقعات سے رجوع کیا. انہوں نے ان پل ریکویسٹس کو دوبارہ تشکیل دیا جنہوں نے واقعات میں حصہ ڈالا تھا، ہر ایک پر Codex کو اس طرح چلایا جیسے وہ اصل جائزے کا حصہ ہو، پھر ان انجینئرز سے پوچھا جو ان واقعات کے ذمہ دار تھے کہ آیا Codex کی فیڈبیک سے کوئی فرق پڑتا.

نتیجہ: Codex نے 10 سے زیادہ کیسز، یا تقریباً 22% واقعات جن کا Datadog نے جائزہ لیا، میں ایسے مواقع پائے جہاں انجینئرز نے تصدیق کی کہ Codex کی فراہم کردہ فیڈبیک سے فرق پڑتا—یہ کسی بھی دوسرے جانچے کردہ ٹول سے زیادہ تھا.

چونکہ یہ پل ریکویسٹس پہلے ہی کوڈ جائزہ پاس کر چکی تھیں، ری پلے ٹیسٹ نے یہ ظاہر کیا کہ Codex نے ایسے خطرات کو اجاگر کیا جو اس وقت جائزہ لینے والوں کی نظر سے اوجھل رہ گئے تھے اور یہ انسانی فیصلے کی جگہ لینے کے بجائے اسے مکمل کرتا ہے.

Datadog کے تجزیے سے ظاہر ہوا کہ Codex مسلسل ایسے مسائل کی نشاندہی کرتا ہے جو فوری فرق سے واضح نہیں ہوتے اور جنہیں تعیینی قواعد کے ذریعے نہیں پکڑا جا سکتا.

انجینئرز نے Codex کے تبصروں کو محض "بوٹ نوئز" سے زیادہ قرار دیا:

• Codex نے فرق میں نہ چھیڑے گئے ماڈیولز کے ساتھ تعاملات کی نشاندہی کی
• اس نے کراس‑سروس کپلنگ کے شعبوں میں ٹیسٹ کوریج کی کمی کی نشاندہی کی.
• اس نے API معاہدے میں ہونے والی تبدیلیوں کو اجاگر کیا جن میں نیچے کی طرف خطرہ شامل تھا

جائزہ کی فیڈبیک کو حقیقی قابل اعتماد نتائج سے جوڑنے کی صلاحیت ہی وہ خصوصیت تھی جس نے Datadog کی تشخیص میں Codex کو نمایاں کیا. جامد تجزیہ کے ٹولز کے برعکس، Codex پل ریکویسٹ کے ارادے کا جمع کرائی گئی کوڈ تبدیلیوں کے ساتھ موازنہ کرتا ہے، پورے کوڈ بیس اور انحصار پر استدلال کرتے ہوئے کوڈ اور ٹیسٹ چلاتا ہے تاکہ رویے کی توثیق کی جا سکے.

"یہ وہ پہلی چیز تھی جس نے واقعی پروگرام کے وسیع تر سیاق و سباق میں فرق کو مدنظر رکھا،" کارٹر کہتے ہیں. "یہ نیا اور بصیرت افروز تھا."

بہت سے انجینئروں کے لیے، اس تبدیلی نے AI جائزے کے ساتھ ان کے مکمل تعامل کے طریقے کو بدل دیا. "میں نے Codex کے تبصروں کو حقیقی کوڈ جائزہ فیڈبیک کی طرح لینا شروع کر دیا،" ٹیڈ ویکسلر، جو Datadog میں سینئر سافٹ ویئر انجینئر ہیں، کہتے ہیں. یہ کوئی ایسی چیز نہیں ہے جسے میں سرسری طور پر دیکھوں یا نظر انداز کروں، بلکہ یہ ایسی چیز ہے جس پر توجہ دینا ضروری ہے.

تشخیص کے بعد، Datadog نے Codex کو اپنی انجینئرنگ ٹیم میں زیادہ وسیع پیمانے پر تعینات کیا. آج ایک ہزار سے زیادہ انجینئرز اسے باقاعدگی سے استعمال کرتے ہیں. 

فیڈبیک زیادہ تر رسمی اِن‑ٹول میٹرکس کے بجائے نامیاتی طور پر سامنے آتا ہے. انجینئرز Slack پر مفید بصیرتوں، تعمیری تبصروں اور اُن لمحات کے بارے میں پوسٹ کرتے ہیں جب Codex نے انہیں کسی مسئلے کے بارے میں مختلف انداز میں سوچنے میں مدد دی.

اگرچہ وقت کی بچت نمایاں ہے، ٹیموں نے مسلسل اس بات کی طرف نشاندہی کیا کہ کام کرنے کے طریقے میں ایک زیادہ معنی خیز تبدیلی آئی. 

Datadog کے لیے وسیع تر اثر یہ تھا کہ کوڈ کے جائزے کی تعریف میں خود ایک تبدیلی آئی. نظرِ ثانی کو غلطیوں کو پکڑنے یا سائیکل وقت کو بہتر بنانے کے لیے ایک چیک پوائنٹ کے طور پر دیکھنے کے بجائے، ٹیم اب Codex کو ایک بنیادی قابل اعتماد نظام کے طور پر دیکھتی ہے جو ایک ساتھی کے طور پر کام کرتا ہے:

• انفرادی جائزہ کاروں کے سیاق و سباق سے آگے خطرے کو نمایاں کرنا
• کراس ماڈیول اور کراس سروس تعاملات کو اجاگر کرنا
• وسیع پیمانے پر شپنگ میں اعتماد میں اضافہ کرنا
• انسانی جائزہ کاروں کو آرکیٹیکچر اور ڈیزائن پر توجہ مرکوز کرنے کی اجازت دینا

یہ تبدیلی اس بات کے مطابق ہے کہ Datadog کے قائدین انجینئرنگ کی ترجیحات کو کس طرح بیان کرتے ہیں، جہاں بھروسہ مندی اور اعتماد کی اہمیت رفتار کے برابر، بلکہ اگر زیادہ نہیں تو زیادہ ہوتی ہے.

"ہم وہ پلیٹ فارم ہیں جس پر کمپنیاں اس وقت انحصار کرتی ہیں جب باقی سب کچھ ٹوٹ رہا ہو،" کارٹر کہتے ہیں. "واقعات کی روک تھام ہمارے صارفین کے ہم پر کیے گئے اعتماد کو مضبوط کرتی ہے."