Datadog സിസ്റ്റം-തല കോഡ് അവലോകനത്തിനായി കോഡെക്സ് ഉപയോഗിക്കുന്നു

Datadog⁠(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ലോകത്തിലെ ഏറ്റവും വ്യാപകമായി ഉപയോഗിക്കുന്ന നിരീക്ഷണ പ്ലാറ്റ്‌ഫോമുകളിൽ ഒന്നാണ്, ഇത് കമ്പനികൾക്ക് സങ്കീർണ്ണമായ വിതരണ സിസ്റ്റങ്ങൾ നിരീക്ഷിക്കാൻ, പ്രശ്നങ്ങൾ പരിഹരിക്കാൻ, സുരക്ഷിതമാക്കാൻ സഹായിക്കുന്നു. എന്തെങ്കിലും തകരാറുണ്ടാകുമ്പോൾ, ഉപഭോക്താക്കൾ Datadog-നെ ആശ്രയിക്കുന്നു, അതുകൊണ്ടു തന്നെ കോഡ് പ്രൊഡക്ഷനിലേക്ക് എത്തുന്നതിന് എത്രയോ മുമ്പ് തന്നെ അതിൻ്റെ വിശ്വാസ്യത ഉറപ്പാക്കേണ്ടതുണ്ട്.

Datadog-ന്റെ എഞ്ചിനീയറിംഗ് ടീമുകകളെ സംബന്ധിച്ച് , അത് കോഡ് അവലോകനത്തെ ഒരു നിർണായക നിമിഷമാകുന്നു. ഇത് പിഴവുകൾ കണ്ടെത്തുന്നതിനെക്കുറിച്ചല്ല, മറിച്ച് പരസ്പരം ബന്ധിപ്പിച്ചിരിക്കുന്ന സിസ്റ്റങ്ങളിലൂടെയുള്ള മാറ്റങ്ങളുടെ തരംഗപ്രഭാവം മനസ്സിലാക്കുന്നതിനെക്കുറിച്ചാണ്—ഇവിടെയാണ് പരമ്പരാഗത സ്റ്റാറ്റിക് വിശകലനവും റൂൾ-അടിസ്ഥാനത്തിലുള്ള ഉപകരണങ്ങളും പലപ്പോഴും പര്യാപ്തമല്ലാത്തത്.

ഈ വെല്ലുവിളി നേരിടാൻ, Datadog-ന്റെ AI Development Experience (AI DevX) ടീം OpenAI-യുടെ കോഡിംഗ് ഏജന്റ് ആയ Codex-നെ ആശ്രയിച്ചു, ഇത് കോഡ് റിവ്യൂവിലേക്ക് സിസ്റ്റം-തല റീസണിംഗ് കൊണ്ടുവരുകയും, മനുഷ്യർക്ക് വലിയ തോതിൽ എളുപ്പത്തിൽ കാണാനാകാത്ത റിസ്കുകൾ കണ്ടെത്തുകയും ചെയ്യുന്നു.

“സമയം ലാഭിക്കുന്നത് യഥാർത്ഥവും പ്രധാനവുമാണ്,” Datadog AI DevX ടീമിനെ നയിക്കുന്ന Brad Carter പറയുന്നു. “എന്നാൽ സംഭവങ്ങൾ തടയുന്നത് ഞങ്ങളുടെ സ്കെയിലിൽ വളരെ കൂടുതൽ പ്രാധാന്യമുള്ളതാണ്.”

Datadog-ൽ ഫലപ്രദമായ കോഡ് അവലോകനം പരമ്പരാഗതമായി മുതിർന്ന എഞ്ചിനീയർമാരെ—കോഡ്ബേസ്, അതിന്റെ ചരിത്രം, ആർക്കിടെക്ചറൽ ട്രേഡ്ഓഫുകൾ എന്നിവയെക്കുറിച്ച് മതിയായ അറിവുള്ള, സിസ്റ്റമാറ്റിക് റിസ്ക് കണ്ടെത്താൻ കഴിവുള്ള ആളുകളെ—വളരെയധികം ആശ്രയിച്ചിരുന്നു. 

എന്നാൽ ആഴത്തിലുള്ള ആ സന്ദർഭം സ്കെയിൽ ചെയ്യാൻ ബുദ്ധിമുട്ടാണ്, കൂടാതെ പ്രാരംഭ AI കോഡ് റിവ്യൂ ഉപകരണങ്ങൾ ഈ പ്രശ്നം പരിഹരിച്ചില്ല; പലതും പുരോഗതിയുള്ള ലിന്ററുകൾ പോലെ പെരുമാറി, ഉപരിതല-നിലയിലെ പ്രശ്നങ്ങൾ ഫ്ലാഗ് ചെയ്യുമ്പോൾ വിപുലമായ സിസ്റ്റം സൂക്ഷ്മതകൾ കാണാതെ പോയി. Datadog-ന്റെ എഞ്ചിനീയർമാർക്ക് പലപ്പോഴും നിർദേശങ്ങൾ വളരെ ഉപരിപ്ലവമോ വളരെ ശബ്ദമുള്ളതോ ആയി തോന്നിയതിനാൽ, അവർ അവ അവഗണിച്ചു.

Datadog OpenAI-ൽ നിന്നുള്ള കോഡിംഗ് ഏജന്റ് ആയ Codex-നെ തത്സമയ വികസന പ്രവാഹങ്ങളിലേക്ക് സംയോജിപ്പിച്ച് പരീക്ഷണം ആരംഭിച്ചു. കമ്പനിയുടെ ഏറ്റവും വലിയതും ഏറ്റവും കൂടുതൽ ഉപയോഗിക്കപ്പെടുന്നതുമായ റിപ്പോസിറ്ററികളിലൊന്നിൽ, ഓരോ പുൾ റിക്വസ്റ്റും സ്വയമേവ Codex അവലോകനം ചെയ്തു. എഞ്ചിനീയർമാർ Codex-ൽ നിന്നുള്ള അഭിപ്രായങ്ങൾക്ക് തംബ്‌സ് അപ്പ് അല്ലെങ്കിൽ തംബ്‌സ് ഡൗൺ ഉപയോഗിച്ച് പ്രതികരിക്കുകയും, ടീമുകൾക്കിടയിൽ അനൗപചാരിക ഫീഡ്ബാക്ക് പങ്കിടുകയും ചെയ്തു. മുമ്പത്തെ ഉപകരണങ്ങൾ ശബ്ദമുള്ളതോ ഉപരിപ്ലവമായതോ ആയ നിർദേശങ്ങൾ നൽകിയതിനെ അപേക്ഷിച്ച്, Codex ഫീഡ്ബാക്ക് വായിക്കാൻ മൂല്യമുള്ളതാണെന്ന് പലരും ശ്രദ്ധിച്ചു.

AI‑സഹായത്തോടെ റിവ്യൂ സ്റ്റൈൽ പ്രശ്നങ്ങൾ മാത്രമല്ല, കൂടുതൽ കാര്യങ്ങൾ ചെയ്യാൻ കഴിയുമോ എന്ന് പരിശോധിക്കാൻ, Datadog ഒരു ഇൻസിഡന്റ് റീപ്ലേ ഹാർണസ് നിർമ്മിച്ചു.

സങ്കൽപ്പിത സാഹചര്യങ്ങൾ ഉപയോഗിക്കുന്നതിന് പകരം, സംഘം പൂര്ച‍വരിത്ര സംഭവങ്ങളിലേക്കാണ് മടങ്ങിയത്. അവർ സംഭവങ്ങളിൽ സംഭാവന ചെയ്ത പുൾ റിക്വസ്റ്റുകൾ പുനർനിർമ്മിച്ചു, ഓരോന്നിനെയും യഥാർത്ഥ അവലോകനത്തിന്റെ ഭാഗമായിരുന്നുവെന്ന പോലെ Codex ഉപയോഗിച്ച് പരിശോധിച്ചു, തുടർന്ന് ആ സംഭവങ്ങൾക്ക് ഉത്തരവാദികളായ എഞ്ചിനീയർമാരോട് Codex-ൽ നിന്നുള്ള ഫീഡ്ബാക്ക് വ്യത്യാസം വരുത്തുമായിരുന്നോ എന്ന് ചോദിച്ചു.

ഫലം: Codex 10-ലധികം കേസുകൾ, അല്ലെങ്കിൽ Datadog പരിശോധിച്ച സംഭവങ്ങളിൽ ഏകദേശം 22% സംഭവങ്ങൾ കണ്ടെത്തി, അവിടെ Codex നൽകിയ ഫീഡ്ബാക്ക് മാറ്റം വരുത്തുമായിരുന്നെന്ന് എഞ്ചിനീയർമാർ സ്ഥിരീകരിച്ചു—മൂല്യനിർണ്ണയം ചെയ്ത മറ്റ് ഏത് ഉപകരണത്തേക്കാളും കൂടുതൽ.

ഈ പുൾ റിക്വസ്റ്റുകൾ ഇതിനകം കോഡ് അവലോകനം പാസായതിനാൽ, റീപ്ലേ ടെസ്റ്റ് കാണിച്ചത് Codex അന്ന് അവലോകനം ചെയ്യുന്നവര്‍ കാണാതിരുന്ന അപകടസാധ്യതകൾ പുറത്തുകൊണ്ടുവന്നുവെന്നും, മനുഷ്യ വിധിയെ മാറ്റിസ്ഥാപിക്കാതെ അതിനെ പൂരിപ്പിച്ചുവെന്നും തെളിയിച്ചു.

Datadog-ന്റെ വിശകലനം കാണിച്ചതനുസരിച്ച്, Codex സ്ഥിരമായി ഉടനെ കാണുന്ന ഡിഫ് മാത്രം നോക്കിയാൽ വ്യക്തമായതല്ലാത്തതും നിർണായക നിയമങ്ങൾ ഉപയോഗിച്ച് പിടികൂടാൻ കഴിയാത്തതുമായ പ്രശ്നങ്ങൾ ഫ്ലാഗ് ചെയ്തു.

എഞ്ചിനീയർമാർ Codex അഭിപ്രായങ്ങളെ “ബോട്ട് ശബ്ദം” എന്നതിലുപരി കൂടുതൽ പ്രധാനപ്പെട്ടതായി വിവരിച്ചു:

• Codex 'diff'ല്‍ സ്പർശിക്കാത്ത മോഡ്യൂളുകളുമായുള്ള ഇടപെടലുകൾ ചൂണ്ടിക്കാട്ടി
• ക്രോസ്-സർവീസ് കപ്പ്ളിംഗ് ഉള്ള മേഖലകളിൽ ടെസ്റ്റ് കവറേജിലെ കുറവ് തിരിച്ചറിഞ്ഞു
• ഡൗൺസ്ട്രീം അപകടസാധ്യതയുള്ള API കരാർ മാറ്റങ്ങൾ അത് ഹൈലൈറ്റ് ചെയ്തു

റിവ്യൂ ഫീഡ്ബാക്കിനെ യഥാർത്ഥ വിശ്വസനീയതാ ഫലങ്ങളുമായി ബന്ധിപ്പിക്കാനുള്ള കഴിവാണ് Datadog-ന്റെ വിലയിരുത്തലിൽ Codex-നെ വേറിട്ടുനിർത്തിയത്. സ്റ്റാറ്റിക് വിശകലന ഉപകരണങ്ങളിൽ നിന്ന് വ്യത്യസ്തമായി, Codex പുൾ റിക്വസ്റ്റ് ഉദ്ദേശ്യത്തെ സമർപ്പിച്ച കോഡ് മാറ്റങ്ങളുമായി താരതമ്യം ചെയ്യുന്നു, മുഴുവൻ കോഡ്ബേസ്-ഉം ആശ്രിതത്വങ്ങളും സംബന്ധിച്ച് റീസണിംഗ് നടത്തി പെരുമാറ്റം സാധൂകരിക്കാൻ കോഡും ടെസ്റ്റുകളും പ്രവർത്തിപ്പിക്കുന്നു.

“പ്രോഗ്രാമിന്റെ മൊത്തം പശ്ചാത്തലത്തിൽ ‘diff’ നെ കൂടി ഗൗരവമായി കാണുന്നത് പോലെ തോന്നിയ ആദ്യത്തേതായിരുന്നു അത്,” കാർട്ടർ പറയുന്നു. “അത് പുതുമയുള്ളതും കണ്ണുതുറപ്പിക്കുന്നതുമായിരുന്നു.”

ആ മാറ്റം പല എഞ്ചിനീയർമാരും എഐ റിവ്യൂവുമായ് ആകെ എങ്ങനെ ഇടപഴകിയിരുന്നു എന്നതിനെ തന്നെ മാറ്റി. “ഞാൻ Codex അഭിപ്രായങ്ങളെ യഥാർത്ഥ കോഡ് അവലോകന ഫീഡ്ബാക്ക് പോലെ പരിഗണിക്കാൻ തുടങ്ങി,” Datadogയിലെ സീനിയർ സോഫ്റ്റ്വെയർ എഞ്ചിനീയർ Ted Wexler പറയുന്നു. “ഞാൻ ഓടിച്ചു തീര്‍ക്കുകയോ വായിക്കുകയോ അവഗണിക്കുകയോ ചെയ്യേണ്ട ഒന്നല്ല, മറിച്ച് ശ്രദ്ധിക്കേണ്ടതായ ഒന്നാണ്.”

മൂല്യനിർണയത്തിന് ശേഷം, Datadog തന്റെ എഞ്ചിനീയറിംഗ് വിഭാഗത്തിലുടനീളം Codex കൂടുതൽ വ്യാപകമായി വിന്യസിച്ചു. ഇന്ന് 1,000-ലധികം എഞ്ചിനീയർമാർ ഇത് പതിവായി ഉപയോഗിക്കുന്നു. 

ഫീഡ്ബാക്ക് ഔപചാരികമായ ഇന്‍ ടൂള്‍ മെട്രിക്‌സുകളിലൂടെ അല്ല, മറിച്ച് കൂടുതല്‍ സ്വാഭാവികമായി തന്നെ പുറത്തുവരുന്നു. എഞ്ചിനീയർമാർ Slack-ൽ ഉപകാരപ്രദമായ ഉൾക്കാഴ്ചകൾ, നിർമാണാത്മക അഭിപ്രായങ്ങൾ, കൂടാതെ ഒരു പ്രശ്നത്തെക്കുറിച്ച് വ്യത്യസ്തമായി ചിന്തിക്കാൻ Codex അവരെ സഹായിച്ച നിമിഷങ്ങൾ എന്നിവയെക്കുറിച്ച് പോസ്റ്റ് ചെയ്യുന്നു.

സമയം ലാഭം ഗണ്യമായിരുന്നെങ്കിലും, ജോലിയുടെ പൂർത്തീകരണത്തിൽ ഉണ്ടായ കൂടുതൽ അർത്ഥവത്തായ മാറ്റത്തെയാണ് ടീമുകൾ സ്ഥിരമായി ചൂണ്ടിക്കാട്ടിയത്. 

Datadog-നുള്ള വിപുലമായ സ്വാധീനം കോഡ് അവലോകനത്തിന്റെ നിർവചനം തന്നെ മാറ്റിയതാണ്. പിശകുകൾ കണ്ടെത്തുന്നതിനോ സൈക്കിൾ സമയം മെച്ചപ്പെടുത്തുന്നതിനോ ഉള്ള ഒരു ചെക്ക്‌പോയിന്റായി റിവ്യൂവിനെ കാണുന്നതിനുപകരം, ടീം ഇപ്പോൾ Codex-നെ ഒരു പ്രധാന വിശ്വാസ്യതാ സിസ്റ്റമായി, ഒരു പങ്കാളിയായി കാണുന്നു:

• വ്യക്തിഗത നിരൂപകർക്ക് സന്ദർഭത്തിൽ പിടിച്ചുനിര്‍ത്താനാകുന്നതിനെക്കാൾ അപ്പുറം അപകടസാധ്യതയെ പുറത്ത് കൊണ്ടുവരൽ
• ക്രോസ്-മൊഡ്യൂൾ, ക്രോസ്-സർവീസ് ഇടപെടലുകൾ ഹൈലൈറ്റ് ചെയ്യൽ
• വ്യാപകമായ തോതില്‍ ഷിപ്പ് ചെയ്യുന്നതിന് ആത്മവിശ്വാസം വർധിപ്പിക്കൽ
• മനുഷ്യ അവലോകനക്കാരെ ആർക്കിടെക്ചർ, ഡിസൈൻ എന്നിവയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ അനുവദിക്കുന്നു

ഈ മാറ്റം Datadog-ന്റെ നേതാക്കൾ എഞ്ചിനീയറിംഗ് മുൻഗണനകൾ എങ്ങനെ രൂപപ്പെടുത്തുന്നു എന്നതിനോട് പൊരുത്തപ്പെടുന്നു, അവിടെ വിശ്വാസ്യതയും വിശ്വാസവും വേഗതയെപ്പോലെ തന്നെ, അല്ലെങ്കിൽ അതിലും കൂടുതലായി, പ്രാധാന്യമുള്ളവയാണ്.

“മറ്റെല്ലാം തകരുമ്പോൾ കമ്പനികൾ ആശ്രയിക്കുന്ന പ്ലാറ്റ്‌ഫോം ഞങ്ങളാണ്,” കാർട്ടർ പറയുന്നു. “സംഭവങ്ങൾ തടയുന്നത് ഞങ്ങളിലേക്കുള്ള ഉപഭോക്താക്കളുടെ വിശ്വാസം ശക്തിപ്പെടുത്തുന്നു.”