Datadog, கணினி குறியீடு மதிப்பீட்டிற்கு Codex ஐ பயன்படுத்துகிறது

Datadog⁠(புதிய சாளரத்தில் திறக்கும்) உலகின் மிகவும் பரவலாகப் பயன்படுத்தப்படும் கண்காணிப்பு தளங்களில் ஒன்றை இயக்குகிறது, இது நிறுவனங்களுக்கு சிக்கலான விநியோக அமைப்புகளை கண்காணிக்க, சிக்கல்களை தீர்க்க, மற்றும் பாதுகாக்க உதவுகிறது. எப்போது ஏதாவது ஒன்று பழுதாகும் போது, வாடிக்கையாளர்கள் பிரச்சனைகளை விரைவாக கண்டறிய Datadog மீது நம்பிக்கை வைக்கிறார்கள், அதனால் குறியீடு தயாரிப்பு சூழலுக்கு செல்வதற்கும் முன்பே நம்பகத்தன்மை கட்டமைக்கப்பட வேண்டும்.

Datadog-இன் பொறியியல் அணிகளுக்கு, அது குறியீட்டு மதிப்பீட்டை ஒரு முக்கிய தருணமாக்குகிறது. இது தவறுகளைக் கண்டறிவது மட்டுமல்ல, ஒன்றோடொன்று இணைக்கப்பட்ட அமைப்புகளில் மாற்றங்கள் எவ்வாறு அலைபாய்கின்றன என்பதைப் புரிந்துகொள்வதும் ஆகும் - பாரம்பரிய நிலையான பகுப்பாய்வு மற்றும் விதி அடிப்படையிலான கருவிகள் பெரும்பாலும் தோல்வியடையும் ஒரு பகுதி.

இந்த சவாலுக்கு பதிலாக, Datadog (AI DevX) குழு OpenAI Codex-ஐ அணுகியது, இது கோடு மதிப்பீட்டில் கணினி-நிலை காரணத்தை கொண்டுவரும் மற்றும் மனிதர்கள் எளிதில் காண முடியாத அபாயங்களை வெளிப்படுத்துகிறது.

“நேரச் சேமிப்புகள் உண்மையானவை மற்றும் முக்கியமானவை,” என்று Datadog-இன் AI DevX குழுவை வழிநடத்தும் Brad Carter கூறுகிறார். “ஆனால் எங்கள் அளவில் சம்பவங்களைத் தடுப்பது மிகவும் முக்கியமானதாகும்.”

Datadog-இல் பயனுள்ள குறியீடு மீளாய்வு பாரம்பரியமாக மூத்த பொறியாளர்களை—அவர்கள் குறியீட்டுத்தளத்தையும், அதன் வரலாறையும், கட்டமைப்பு சமரசங்களையும் நன்கு புரிந்து கொண்டு அமைப்புமட்ட அபாயத்தை கண்டறியக்கூடியவர்களை—மிகவும் சார்ந்திருந்தது. 

ஆழமான சூழல் புரிதலை அளவுபடுத்துவது கடினம், மேலும் ஆரம்பகால AI குறியீடு மதிப்பாய்வு கருவிகள் இந்த பிரச்சினையைத் தீர்க்கவில்லை; பல கருவிகள் மேம்பட்ட லின்டர்கள் போல நடந்து, மேற்பரப்பு மட்டத்திலான பிரச்சினைகளை குறித்துக் காட்டினாலும், பரந்த அமைப்பு நுணுக்கங்களை தவறவிட்டன. Datadog-இன் பொறியாளர்கள் பெரும்பாலும் பரிந்துரைகள் மிக மேலோட்டமாகவோ அல்லது மிக அதிக சத்தமாகவோ இருப்பதாகக் கண்டதால், அவற்றை புறக்கணித்தனர்.

Datadog, OpenAI-யின் குறியீட்டு ஏஜென்ட் Codex-ஐ நேரடி மேம்பாட்டு பணிப்பாய்வுகளில் ஒருங்கிணைத்து, பைலட் செய்யத் தொடங்கியது. நிறுவனத்தின் மிகப் பெரிய மற்றும் அதிகமாகப் பயன்படுத்தப்படும் ரிபாசிட்டரிகளில் ஒன்றில், ஒவ்வொரு புல் ரிக்வெஸ்டும் Codex மூலம் தானாகவே மதிப்பாய்வு செய்யப்பட்டது. பொறியாளர்கள் Codex-இன் கருத்துகளுக்கு தம்ஸ்-அப் அல்லது தம்ஸ்-டவுன் மூலம் பதிலளித்து, அணிகளுக்கு இடையே அனௌபசாரிக பின்னூட்டத்தைப் பகிர்ந்தனர். முந்தைய கருவிகள் சத்தமுள்ள அல்லது மேலோட்டமான பரிந்துரைகளை உருவாக்கியதற்கு மாறாக, Codex இன் பின்னூட்டம் படிக்கத் தகுந்ததாக இருந்தது என்று பலர் குறிப்பிட்டனர்.

AI-ஆதரிக்கப்பட்ட மதிப்பீடு ஸ்டைல் பிழைகள் காட்டுவதுக்கு மேல் செய்யக்கூடியதா என்று சோதிக்க, Datadog ஒரு சம்பவம் மீள்செயலாக்க கருவியை உருவாக்கியது.

கற்பனையான காட்சிகளைப் பயன்படுத்துவதற்குப் பதிலாக, குழு வரலாற்று நிகழ்வுகளுக்குத் திரும்பியது. அவர்கள் சம்பவங்களுக்கு காரணமாக இருந்த புல் ரிக்வெஸ்ட்களை மீண்டும் உருவாக்கி, ஒவ்வொன்றையும் அசல் மதிப்பாய்வின் ஒரு பகுதியாக இருந்தது போல Codex-ஐ இயக்கினர். பின்னர், அந்த சம்பவங்களுக்கு பொறுப்பான பொறியாளர்களிடம் Codex வழங்கிய பின்னூட்டம் மாற்றத்தை ஏற்படுத்தியிருக்குமா என்று கேட்டனர்.

முடிவு: Datadog ஆய்வு செய்த சம்பவங்களில் 22% சம்பவங்களில் அதாவது 10-க்கும் மேற்பட்ட வழக்குகளில், Codex வழங்கிய பின்னூட்டம் மாற்றத்தை ஏற்படுத்தியிருக்கும் என்று பொறியாளர்கள் உறுதிப்படுத்தினர்—மற்ற எந்த கருவியையும் விட அதிகமாக மதிப்பீடு செய்யப்பட்டது.

இந்த புல் ரிக்வெஸ்ட்கள் ஏற்கனவே குறியீட்டு மதிப்பாய்வைத் தாண்டியிருந்ததால், ரீப்ளே சோதனை Codex அப்போது மதிப்பாய்வாளர்கள் கவனிக்காத அபாயங்களை வெளிக்கொணர்ந்தது, இது மனித தீர்ப்பை மாற்றாமல், அதனைப் பூர்த்தி செய்தது.

உடனடி வேறுபாட்டிலிருந்து மட்டும் தெளிவாகத் தெரியாத மற்றும் நிர்ணயிக்கும் விதிகளால் பிடிக்க முடியாத சிக்கல்களை Codex தொடர்ந்து கொடியிட்டதாக டேட்டாடாக்கின் பகுப்பாய்வு காட்டுகிறது.

பொறியாளர்கள் Codex கருத்துக்களை “bot noise” என்பதைக் காட்டிலும் அதிகமாக விவரித்தனர்:

• Codex, மாற்றத்தில் Touched செய்யப்படாத module களுடன் தொடர்புகளை காட்டியது
• இது குறுக்கு-சேவை இணைப்புகளின் பகுதிகளில் காணாமல் போன சோதனை கவரேஜை கண்டறிந்தது
• இது கீழ்நிலை அபாயத்தை கொண்டிருந்த API ஒப்பந்த மாற்றங்களை வெளிப்படுத்தியது

மதிப்பாய்வு கருத்துக்களை உண்மையான நம்பகத்தன்மை விளைவுகளுடன் இணைக்கும் திறனே Datadog இன் மதிப்பீட்டில் Codex ஐ தனித்துவமாகத் திகழச் செய்தது. நிலையான பகுப்பாய்வு கருவிகளைப் போலல்லாமல், Codex புல் ரிக்வெஸ்ட் நோக்கத்தை சமர்ப்பிக்கப்பட்ட குறியீட்டு மாற்றங்களுடன் ஒப்பிட்டு, முழு குறியீட்டு தளம் மற்றும் சார்புகளை ரீஸனிங் செய்து, நடத்தையை சரிபார்க்க குறியீடும் சோதனைகளும் இயக்குகிறது.

"திட்டத்தின் பெரிய சூழலில் வேறுபாட்டை உண்மையில் கருத்தில் கொண்ட முதல் விஷயம் இதுதான்" என்று Carter கூறுகிறார். "அது புதுமையானதாகவும் கண்களைத் திறக்கும் விதமாகவும் இருந்தது."

பல பொறியியலாளர்களுக்கு, அந்த மாற்றம் அவர்கள் AI மதிப்பாய்வுடன் முழுமையாக ஈடுபடும் விதத்தை மாற்றியது. “நான் Codex கருத்துகளை உண்மையான குறியீடு மதிப்பாய்வு கருத்துக்களாக கருதத் தொடங்கினேன்,” என்று Datadog நிறுவனத்தின் மூத்த மென்பொருள் பொறியாளர் Ted Wexler கூறுகிறார். நான் மேலோட்டமாகப் படிக்கவோ புறக்கணிக்கவோ செய்யக்கூடியது அல்ல, ஆனால் கவனம் செலுத்தத் தகுந்த ஒன்று.

மதிப்பீட்டுக்குப் பிறகு, Datadog அதன் பொறியியல் பணியாளர்கள் முழுவதும் Codex ஐ மேலும் பரவலாகப் பயன்படுத்தியது. இன்று 1,000 க்கும் மேற்பட்ட பொறியாளர்கள் அதை வழக்கமாகப் பயன்படுத்துகின்றனர். 

பின்னூட்டம் பெரும்பாலும் முறையான கருவிக்குள் உள்ள அளவீடுகள் மூலம் அல்ல, இயல்பாகவே வெளிப்படுகிறது. பொறியாளர்கள் Slack-இல் பயனுள்ள நுண்ணறிவுகள், கட்டுமானமான கருத்துகள், மற்றும் ஒரு பிரச்சினையைப் பற்றி Codex அவர்கள் வேறுபட்ட முறையில் சிந்திக்க உதவிய தருணங்களைப் பற்றி பதிவிடுகின்றனர்.

நேரச் சேமிப்பு முக்கியமானதாக இருந்தாலும், குழுக்கள் வேலை செய்யும் முறையில் மேலும் அர்த்தமுள்ள மாற்றத்தை தொடர்ந்து சுட்டிக்காட்டின. 

Datadog-க்கு ஏற்பட்ட பரந்த தாக்கம், குறியீடு மதிப்பீடு எவ்வாறு வரையறுக்கப்படுகிறது என்பதில் ஏற்பட்ட மாற்றமாகும். மதிப்பாய்வை பிழைகளைப் பிடிக்க அல்லது சுழற்சி நேரத்தை மேம்படுத்த ஒரு சோதனைச் சாவடியாகக் கருதுவதற்குப் பதிலாக, குழு இப்போது Codex ஐ ஒரு மைய நம்பகத்தன்மை அமைப்பாகக் காண்கிறது, அது ஒரு கூட்டாளியாக செயல்படுகிறது:

• தனி மதிப்பாய்வாளர்கள் புரிந்துகொள்ளக்கூடிய சூழலைத் தாண்டி அபாயங்களை வெளிப்படுத்துதல்
• மாட்யூல்கள் மற்றும் சேவைகளுக்கு இடையேயான தொடர்புகளை முன்னிலைப்படுத்துதல்
• பெரிய அளவில் வெளியீடு செய்வதில் நம்பிக்கை அதிகரித்தல்
• மனித மதிப்பாய்வாளர்கள் கட்டமைப்பு மற்றும் வடிவமைப்பில் கவனம் செலுத்த அனுமதிக்கிறது

இந்த மாற்றம் Datadog இன் தலைவர்கள் பொறியியல் முன்னுரிமைகளை எவ்வாறு அமைக்கிறார்கள் என்பதுடன் ஒத்துப்போகிறது, அங்கு நம்பகத்தன்மையும் நம்பிக்கையும் வேகத்திற்கும் சமமாக, அல்லது அதைவிட முக்கியமானவை.

“எல்லாம் சிதறிக்கொண்டிருக்கும் போது நிறுவனங்கள் நம்பும் தளம் நாங்கள்தான்,” என்று Carter கூறுகிறார். “சம்பவங்களைத் தடுப்பது எங்கள் மீது வாடிக்கையாளர்கள் வைக்கும் நம்பிக்கையை வலுப்படுத்துகிறது.”