Datadog жүйе деңгейіндегі код тексеруі үшін Codex-ті пайдаланады
Codex көмегімен Datadog инциденттердің алдын алып, клиенттердің сенімін қорғау үшін әрбір код тексеруіне жүйе ауқымындағы контекст қосады.
Datadog(жаңа терезеде ашылады) әлемдегі ең кеңінен қолданылатын observability платформаларының бірін ұсынады. Ол компанияларға күрделі үлестірілген жүйелерді бақылауға, ақауларды анықтап жоюға және қауіпсіздендіруге көмектеседі. Бірдеңе істен шыққанда, тұтынушылар мәселелерді тез анықтау үшін Datadog-қа сенім артады. Сондықтан сенімділік код өндірістік ортаға жетпей тұрып-ақ жүйеге енгізілуі керек.
Datadog инженерлік командалары үшін код тексеру — жауапкершілігі жоғары сәт. Бұл тек қателерді табу емес, өзгерістердің өзара байланысқан жүйелерге қалай әсер ететінін түсіну туралы — дәстүрлі статикалық талдау мен ережеге негізделген құралдар дәл осы тұста жиі әлсіздік танытады.
Бұл сын-қатерді еңсеру үшін Datadog компаниясының ЖИ әзірлеу тәжірибесі (AI DevX) командасы OpenAI ұсынған бағдарламалау агенті Codex-ке жүгінді. Ол код тексеруге жүйе деңгейіндегі ой қорытуды қосып, адамдар ауқымда оңай байқай алмайтын тәуекелдерді көрсетеді.
«Уақыт үнемдеу — нақты әрі маңызды артықшылық», — дейді Datadog компаниясының ЖИ DevX командасын басқаратын Брэд Картер. «Алайда біздің ауқымда инциденттердің алдын алу әлдеқайда салмақтырақ».
Datadog-та тиімді код тексеру дәстүрлі түрде тәжірибелі инженерлерге — код базасын, оның тарихын және архитектуралық таңдаулар мен ымыраларды жүйелік тәуекелді байқай алатындай жақсы түсінетін адамдарға — көп тәуелді болды.
Бірақ мұндай терең контекстті кең ауқымда қолдану қиын, ал алғашқы ЖИ код тексеру құралдары бұл мәселені шеше алмады: олардың көбі жетілдірілген линтерлер сияқты жұмыс істеп, беткі деңгейдегі мәселелерді ғана белгілеп, жүйенің кеңірек нюанстарын байқамай қалды. Datadog инженерлері бұл ұсыныстарды көбіне тым үстірт немесе тым көп шу тудырады деп есептеп, елемей жүрді.
Datadog OpenAI ұсынған бағдарламалау агенті Codex-ті қолданыстағы әзірлеу жұмыс процесстеріне біріктіріп, оны пилоттық түрде сынақтан өткізе бастады. Компанияның ең ірі әрі ең көп пайдаланылатын репозиторийлерінің бірінде әрбір pull request-ті Codex автоматты түрде тексерді. Инженерлер Codex пікірлеріне бас бармақ белгісімен оң не теріс баға беріп, командалар арасында бейресми кері байланыспен бөлісті. Көпшілік Codex пікірлерін оқуға тұрарлық деп атап өтті, ал бұрынғы құралдар көбіне қажетсіз ескертулері көп немесе үстірт ұсыныстар беретін.
ЖИ көмегімен код тексеру стильге қатысты мәселелерді көрсетумен ғана шектелмей, одан да көп нәрсе істей ала ма, соны тексеру үшін Datadog инциденттерді қайта ойнатуға арналған сынақ жүйесін құрды.
Гипотетикалық сценарийлерді қолданудың орнына, команда тарихи инциденттерге қайта оралды. Олар инциденттерге себеп болған pull request-терді қайта құрастырып, әрқайсысын бастапқы тексерудің бір бөлігі сияқты Codex арқылы тексерді. Содан кейін сол инциденттерге жауапты инженерлерден Codex пікірлері жағдайды өзгерте алар ма еді деп сұрады.
Нәтиже: Codex 10-нан астам жағдайды, яғни Datadog зерттеген инциденттердің шамамен 22%-ын анықтады. Бұл жағдайларда инженерлер Codex пікірлері жағдайды өзгерте алар еді деп растады — бұл бағаланған кез келген басқа құралдан көп.
Бұл pull request-тер код тексеруден әлдеқашан өткендіктен, қайта ойнату сынағы Codex сол кезде тексерушілер байқамаған тәуекелдерді көрсеткенін дәлелдеді — ол адамның сараптамалық бағасын алмастырмай, оны толықтырды.
Datadog талдауы Codex тек diff-тің өзінен анық көрінбейтін және детерминистік ережелермен ұсталмайтын мәселелерді дәйекті түрде көрсеткенін көрсетті.
Инженерлер Codex пікірлерін жай ғана «бот шуы» емес деп сипаттады:
- Codex diff-те өзгертілмеген модульдермен байланыстарды көрсетті
- Ол сервистер арасындағы тығыз байланыс аймақтарында тест қамтуы жетіспейтінін анықтады
- Ол кейінгі тәуелді жүйелерге тәуекел төндіретін API келісіміндегі өзгерістерді көрсетті
«Мен үшін Codex пікірі мен бірге жұмыс істеген ең ақылды инженер сияқты әсер қалдырады, әрі оның қателерді табуға шексіз уақыты бардай. Ол менің миым бірден қамти алмайтын байланыстарды көре алады».
Тексеру пікірлерін нақты сенімділік нәтижелерімен байланыстыра алуы Codex-ті Datadog бағалауында ерекшелендірді. Статикалық талдау құралдарынан айырмашылығы, Codex pull request мақсатын ұсынылған код өзгерістерімен салыстырады және әрекетті тексеру үшін код пен тесттерді орындай отырып, бүкіл код базасы мен тәуелділіктер бойынша ой қорытады.
«Бұл бағдарламаның кеңірек контекстінде diff-ті шынымен ескерген алғашқы құрал болды», — дейді Картер. «Бұл тың әрі көз ашарлық болды.»
Көптеген инженерлер үшін бұл өзгеріс ЖИ арқылы код тексеруге деген көзқарасын түбегейлі өзгертті. «Мен Codex пікірлерін нағыз код тексеру пікірлері сияқты қабылдай бастадым», — дейді Datadog компаниясының аға бағдарламалық жасақтама инженері Тед Векслер. «Бұл үстірт қарап не елемей өте шығатын нәрсе емес, назар аударуға тұрарлық.»
Бағалаудан кейін Datadog Codex-ті инженерлік командалары арасында кеңінен енгізді. Бүгінде оны 1000-нан астам инженер тұрақты түрде пайдаланады.
Кері байланыс көбіне құрал ішіндегі ресми метрикалар арқылы емес, табиғи түрде пайда болады. Инженерлер Slack-та пайдалы ой-түйіндермен, сындарлы пікірлермен және Codex мәселе туралы басқаша ойлануға көмектескен сәттермен бөліседі.
Уақытты үнемдеу айтарлықтай болғанымен, командалар жұмыстың қалай атқарылатынындағы анағұрлым маңызды өзгерісті үнемі атап өтті.
«Codex кодты тексеру қандай болуы керек деген көзқарасымды өзгертті. Мәселе ең үздік код тексеруші мамандарымызды айнытпай қайталауда емес. Мәселе өзгерістерді жеке қарастырғанда адамдар байқамай қалуы мүмкін маңызды кемшіліктер мен шеткі сценарийлерді табуда».
Datadog үшін кеңірек әсер код тексерудің өзін қалай түсінетінін өзгерту болды. Код тексеруді қателерді табатын немесе цикл уақытын оңтайландыратын бақылау нүктесі ретінде қараудың орнына, команда енді Codex-ті серіктес ретінде жұмыс істейтін негізгі сенімділік жүйесі деп санайды:
- Жеке тексерушілер ойда ұстай алатын контекстен тыс тәуекелдерді көрсету
- Модульаралық және сервисаралық байланыстарды көрсету
- Кең ауқымда іске қосуға деген сенімділікті арттыру
- Адам тексерушілерге архитектура мен дизайнға назар аударуға мүмкіндік беру
Бұл өзгеріс Datadog басшыларының инженерлік басымдықтарды қалай айқындайтынымен үндеседі: олар үшін сенімділік пен сенім қарқыннан кем емес, кейде одан да маңызды.
«Қалғанының бәрі істен шығып жатқанда, компаниялар сенім артатын платформа — біз», — дейді Картер. «Инциденттердің алдын алу клиенттеріміздің бізге артқан сенімін нығайтады.»
