Datadog সিস্টেম স্তরের কোড পর্যালোচনার জন্য Codex ব্যবহার করে

Datadog⁠(একটি নতুন উইন্ডোতে খোলে) বিশ্বের অন্যতম ব্যাপকভাবে ব্যবহৃত অবজারভেবিলিটি প্ল্যাটফর্ম পরিচালনা করে, যা কোম্পানিগুলোকে জটিল বিতরণকৃত সিস্টেম পর্যবেক্ষণ, সমস্যা সমাধান এবং সুরক্ষিত করতে সহায়তা করে. যখন কোনো কিছুতে সমস্যা দেখা দেয়, গ্রাহকরা দ্রুত সমস্যাগুলো চিহ্নিত করার জন্য Datadog-এর উপর নির্ভর করে, যার অর্থ হলো কোড প্রোডাকশনে পৌঁছানোর অনেক আগেই এর নির্ভরযোগ্যতা নিশ্চিত করতে হয়.

Datadog-এর ইঞ্জিনিয়ারিং টিমগুলোর জন্য, এটি কোড রিভিউকে একটি গুরুত্বপূর্ণ মুহূর্ত করে তোলে. এটি শুধু ভুল ধরার ব্যাপার নয়, বরং পরিবর্তনগুলি কিভাবে পরস্পর সংযুক্ত সিস্টেমগুলিতে ঢেউয়ের মতো প্রভাব ফেলে তা বোঝার ব্যাপার—যেখানে প্রচলিত স্থির বিশ্লেষণ এবং নিয়ম-ভিত্তিক সরঞ্জাম প্রায়ই অকার্যকর হয়ে পড়ে.

এই চ্যালেঞ্জ মোকাবিলা করতে, Datadog-এর AI Development Experience (AI DevX) টিম OpenAI-এর কোডিং এজেন্ট Codex-এর দিকে ঝুঁকেছিল, যা কোড রিভিউতে সিস্টেম-লেভেল রিজনিং নিয়ে আসে এবং এমন ঝুঁকি সামনে আনে যা মানুষ সহজে স্কেলে দেখতে পারে না.

“সময় সাশ্রয় বাস্তব এবং গুরুত্বপূর্ণ,” বলেন ব্র্যাড কার্টার, যিনি Datadog-এর AI DevX টিমের নেতৃত্ব দেন. "কিন্তু আমাদের পরিসরে ঘটনা প্রতিরোধ করা অনেক বেশি গুরুত্বপূর্ণ."

Datadog-এ কার্যকর কোড রিভিউ ঐতিহ্যগতভাবে সিনিয়র ইঞ্জিনিয়ারদের উপর অনেকটাই নির্ভর করত—যারা কোডবেস, এর ইতিহাস এবং আর্কিটেকচারাল ট্রেডঅফগুলো যথেষ্ট ভালোভাবে বোঝে, যাতে সিস্টেমিক ঝুঁকি শনাক্ত করতে পারে. 

কিন্তু এ ধরনের গভীর প্রেক্ষাপট স্কেল করা কঠিন, এবং প্রাথমিক AI কোড রিভিউ টুলগুলো এই সমস্যার সমাধান করতে পারেনি; অনেকগুলোই উন্নত লিন্টারের মতো আচরণ করত, উপরিভাগের সমস্যাগুলো চিহ্নিত করলেও সিস্টেমের বৃহত্তর সূক্ষ্মতা মিস করত. Datadog-এর ইঞ্জিনিয়াররা প্রায়ই পরামর্শগুলোকে খুবই উপরিভাগীয় বা খুবই গোলমেলে মনে করতেন এবং সেগুলো উপেক্ষা করতেন.

Datadog লাইভ ডেভেলপমেন্ট ওয়ার্কফ্লোতে OpenAI-এর কোডিং এজেন্ট Codex ইন্টিগ্রেট করে পাইলটিং শুরু করেছে. কোম্পানির বৃহত্তম এবং সবচেয়ে ব্যবহৃত রিপোজিটরিগুলোর একটিতে, প্রতিটি পুল রিকোয়েস্ট Codex দ্বারা স্বয়ংক্রিয়ভাবে পর্যালোচনা করা হতো. ইঞ্জিনিয়াররা Codex-এর মন্তব্যগুলোর প্রতি থাম্বস আপ বা থাম্বস ডাউন দিয়ে প্রতিক্রিয়া জানিয়েছেন এবং দলগুলোর মধ্যে অনানুষ্ঠানিক প্রতিক্রিয়া শেয়ার করেছেন. অনেকেই উল্লেখ করেছেন যে Codex-এর প্রতিক্রিয়া পড়ার মতো ছিল, আগের টুলগুলোর মতো নয় যেগুলো অপ্রয়োজনীয় বা উপরিভাগীয় পরামর্শ দিত.

AI‑সহায়তাপ্রাপ্ত রিভিউ কেবল স্টাইল সমস্যা চিহ্নিত করার চেয়ে বেশি কিছু করতে পারে কি না তা পরীক্ষা করার জন্য, Datadog একটি ইনসিডেন্ট রিপ্লে হারনেস তৈরি করেছে.

কাল্পনিক পরিস্থিতি ব্যবহার না করে, দলটি ঐতিহাসিক ঘটনাগুলোর দিকে ফিরে গেছে. তারা ইনসিডেন্টে অবদান রেখেছিল এমন পুল রিকোয়েস্টগুলো পুনর্গঠন করেছিল, প্রতিটিকে মূল রিভিউয়ের অংশ হিসেবে Codex দিয়ে চালিয়েছিল, তারপর যেসব ইঞ্জিনিয়ার ঐ ইনসিডেন্টগুলোর দায়িত্বে ছিলেন তাদের জিজ্ঞেস করেছিল Codex-এর ফিডব্যাক কোনো পার্থক্য আনত কি না.

ফলাফল: Codex 10-টিরও বেশি ঘটনা, বা Datadog যে ঘটনাগুলি পরীক্ষা করেছে তার প্রায় 22% ঘটনার মধ্যে এমনটি খুঁজে পেয়েছে, যেখানে ইঞ্জিনিয়াররা নিশ্চিত করেছেন যে Codex যে প্রতিক্রিয়া দিয়েছিল তা পার্থক্য তৈরি করত—মূল্যায়িত অন্য যেকোনো টুলের চেয়ে বেশি.

এই পুল রিকোয়েস্টগুলো ইতিমধ্যেই কোড রিভিউ পাস করেছিল, তাই রিপ্লে টেস্টে দেখা গেছে Codex এমন ঝুঁকি সামনে এনেছে যা রিভিউয়াররা তখন দেখতে পাননি এবং এটি মানব বিচারবোধকে প্রতিস্থাপন না করে বরং পরিপূরক হিসেবে কাজ করেছে.

Datadog-এর বিশ্লেষণে দেখা গেছে যে Codex ধারাবাহিকভাবে এমন সমস্যাগুলি চিহ্নিত করেছে, যা তাৎক্ষণিক ডিফ থেকে সহজে বোঝা যায় না এবং ডিটারমিনিস্টিক নিয়ম দ্বারা ধরা যায় না.

ইঞ্জিনিয়াররা Codex-এর মন্তব্যগুলোকে শুধুমাত্র “বট নয়েজ” নয়, বরং আরও বেশি কিছু হিসেবে বর্ণনা করেছেন:

• Codex ডিফে স্পর্শ না করা মডিউলগুলোর সাথে ইন্টারঅ্যাকশন নির্দেশ করেছে
• এটি ক্রস-সার্ভিস কাপলিং-এর ক্ষেত্রগুলোতে অনুপস্থিত টেস্ট কভারেজ শনাক্ত করেছে
• এটি API চুক্তির পরিবর্তনগুলোকে হাইলাইট করেছে, যা নিম্নধারার ঝুঁকি বহন করেছিল

রিভিউ ফিডব্যাককে বাস্তব নির্ভরযোগ্যতার ফলাফলের সাথে সংযুক্ত করার ক্ষমতাই Datadog-এর মূল্যায়নে Codex-কে আলাদা করে তুলেছিল. স্ট্যাটিক অ্যানালাইসিস টুলের বিপরীতে, Codex পুল রিকোয়েস্টের উদ্দেশ্য জমা দেওয়া কোড পরিবর্তনের সাথে তুলনা করে, পুরো কোডবেস ও ডিপেনডেন্সির উপর রিজনিং করে কোড ও টেস্ট চালিয়ে বিহেভিয়ার যাচাই করে.

“এটাই প্রথমটি ছিল যা প্রোগ্রামের বৃহত্তর কনটেক্সটে ডিফ-টিকে সত্যিই বিবেচনা করেছে বলে মনে হয়,” কার্টার বলেন. “ওটা নতুন এবং চোখ খুলে দেওয়ার মতো অভিজ্ঞতা ছিল.”

অনেক ইঞ্জিনিয়ারের জন্য, সেই পরিবর্তনটি AI পর্যালোচনার সঙ্গে তাদের সম্পৃক্ততার পদ্ধতি পুরোপুরি বদলে দিয়েছিল. “আমি Codex-এর মন্তব্যগুলোকে বাস্তব কোড রিভিউ প্রতিক্রিয়ার মতো করে নিতে শুরু করেছি,” বলেন Datadog-এর সিনিয়র সফটওয়্যার ইঞ্জিনিয়ার টেড ওয়েক্সলার. "এমন কিছু নয় যা আমি শুধু চোখ বুলিয়ে যাব বা উপেক্ষা করব না, বরং এমন কিছু যা মনোযোগের দাবি রাখে."

মূল্যায়নের পর, Datadog তার ইঞ্জিনিয়ারিং কর্মীবাহিনীতে Codex আরও ব্যাপকভাবে প্রয়োগ করেছে. আজ 1,000-এর বেশি ইঞ্জিনিয়ার এটি নিয়মিত ব্যবহার করেন. 

ফিডব্যাক মূলত আনুষ্ঠানিক ইন-টুল মেট্রিক্সের মাধ্যমে নয়, বরং স্বাভাবিকভাবেই সামনে আসে. ইঞ্জিনিয়াররা Slack-এ পোস্ট করেন উপকারী অন্তর্দৃষ্টি, গঠনমূলক মন্তব্য এবং এমন মুহূর্তগুলো নিয়ে যখন Codex তাদের কোনো সমস্যা সম্পর্কে ভিন্নভাবে ভাবতে সাহায্য করেছে.

যদিও সময় সাশ্রয় উল্লেখযোগ্য, দলগুলো ধারাবাহিকভাবে কাজ কিভাবে সম্পন্ন হয়েছিল তাতে আরও অর্থবহ পরিবর্তনের দিকে ইঙ্গিত করেছে. 

Datadog-এর জন্য বৃহত্তর প্রভাব ছিল কোড রিভিউ কিভাবে সংজ্ঞায়িত হয়, তার মধ্যে একটি পরিবর্তন. রিভিউকে ভুল ধরার বা সাইকেল সময় অপ্টিমাইজ করার একটি চেকপয়েন্ট হিসেবে দেখার পরিবর্তে, দলটি এখন Codex-কে একটি মূল নির্ভরযোগ্যতা সিস্টেম হিসেবে দেখে, যা একটি অংশীদার হিসেবে কাজ করে:

• স্বতন্ত্র পর্যালোচকরা যে কনটেক্সটে ধারণ করতে পারেন তার বাইরে ঝুঁকি উন্মোচন করা
• ক্রস-মডিউল এবং ক্রস-সার্ভিস মিথস্ক্রিয়াগুলো বিশেষভাবে তুলে ধরা
• স্কেলে শিপিং করার ক্ষেত্রে আত্মবিশ্বাস বৃদ্ধি করা
• মানব পর্যালোচকদের স্থাপত্য এবং নকশার উপর মনোযোগ কেন্দ্রীভূত করতে দেওয়া

এই পরিবর্তনটি Datadog-এর নেতারা যেভাবে ইঞ্জিনিয়ারিং অগ্রাধিকার নির্ধারণ করেন তার সাথে সামঞ্জস্যপূর্ণ, যেখানে নির্ভরযোগ্যতা ও বিশ্বাস গতি যতটা গুরুত্বপূর্ণ, তার সমান বা তার চেয়েও বেশি গুরুত্বপূর্ণ.

“সবকিছু যখন ভেঙে পড়ছে, তখন কোম্পানিগুলো যে প্ল্যাটফর্মের উপর নির্ভর করে, আমরা সেটাই,” বলেন কার্টার. “ঘটনা প্রতিরোধ আমাদের গ্রাহকদের আমাদের প্রতি রাখা আস্থা বাড়ায়.”