Datadog користи Codex за преглед на кодот на системско ниво

Datadog⁠(се отвора во нов прозорец) управува со една од најшироко користените платформи за набљудување во светот, помагајќи им на компаниите да следат, да решаваат проблеми и да обезбедуваат безбедност на сложени дистрибуирани системи. Кога нешто ќе се расипе, клиентите се потпираат на Datadog за брзо откривање на проблемите, што значи дека доверливоста мора да биде вградена далеку пред кодот да стигне до продукција.

За инженерските тимови на Datadog, тоа го прави прегледот на кодот високоризичен момент. Не се работи само за откривање грешки, туку и за разбирање на тоа како промените се прелеваат во меѓусебно поврзани системи - област каде што традиционалната статичка анализа и алатките засновани на правила честопати не успеваат.

За да се справи со овој предизвик, тимот на AI Development Experience (AI DevX) на Datadog се обрати до Codex, агентот за кодирање од OpenAI, кој внесува системско расудување во прегледот на кодот и ги истакнува ризиците што луѓето не можат лесно да ги забележат при голем обем.

„Заштедата на време е реална и важна“, вели Бред Картер, кој го предводи тимот за вештачка интелигенција DevX на Datadog. „Но спречувањето инциденти е многу поважно при нашиот обем.“

Ефективниот преглед на кодот во Datadog традиционално во голема мера се потпираше на искусни инженери - луѓе кои ја разбираат базата на кодови, нејзината историја и архитектонските компромиси доволно добро за да забележат системски ризик. 

Но таквиот вид длабок контекст е тешко да се прошири, а раните алатки за преглед на кодот со вештачка интелигенција не го решија овој проблем; многу од нив се однесуваа како напредни алатки за проверка на код, означувајќи површински проблеми, додека ги пропуштаа пошироките системски нијанси. Инженерите на Datadog честопати ги сметаа предлозите за премногу површни или премногу небитни и ги игнорираа.

Datadog започна да го тестира Codex, агентот за кодирање од OpenAI, со интегрирање во работните процеси за кодирање во живо. Во еден од најголемите и најинтензивно користените репозиториуми на компанијата, Codex автоматски го прегледуваше секое барање за повлекување. Инженерите реагираа на коментарите од Codex со палец нагоре или надолу и споделија неформални повратни информации со сите тимови. Многумина забележаа дека повратните информации од Codex вредат да се прочитаат, за разлика од претходните алатки кои создаваа небитни или површни предлози.

За да тестира дали прегледот со помош на вештачка интелигенција може да направи повеќе од само укажување на стилски проблеми, Datadog изгради алатка за репродукција на инциденти.

Наместо да користат хипотетички сценарија, тимот се врати на историските инциденти. Тие ги реконструираа барањата за повлекување што придонеле за настанување инциденти, го активираа Codex врз секое од нив како да е дел од оригиналниот преглед, а потоа ги прашаа инженерите одговорни за тие инциденти дали повратните информации од Codex би направиле разлика.

Резултат: Codex пронајде повеќе од 10 случаи, или приближно 22 % од инцидентите што ги испита Datadog, каде што инженерите потврдија дека повратните информации што ги обезбеди Codex би направиле разлика - повеќе од која било друга алатка што беше евалуирана.

Бидејќи овие барања за повлекување веќе го поминале прегледот на кодот, тестот за репродукција покажа дека Codex откри ризици што прегледувачите не ги забележале во тој момент, надополнувајќи ја човечката проценка наместо да ја замени.

Анализата на Datadog покажа дека Codex постојано означуваше проблеми кои не се очигледни само од непосредниот diff и не можат да се откријат со детерминистички правила.

Инженерите ги опишаа коментарите на Codex како повеќе од „шум на бот“:

• Codex истакна интеракции со модули кои не беа опфатени во diff
• Идентификуваше недостаток на покриеност на тестовите во областите на вкрстено поврзување на услугите
• Ги истакна промените во договорот за API кои носеа ризик по надолна линија

Способноста да се поврзат повратните информации од прегледот со реални резултати за сигурност беше она што направи Codex да се истакне во евалуацијата на Datadog. За разлика од алатките за статичка анализа, Codex ја споредува намерата на барањето за повлекување со поднесените промени во кодот, врши расудување за целата база на кодови и зависности за да изврши одреден код и врши тестирање за да го потврди однесувањето.

„Тоа беше првото што навистина изгледаше дека ја зема предвид разликата во поширокиот контекст на програмата“, вели Картер. „Тоа беше ново и впечатливо.“

За многумина инженери, таа промена целосно го смени начинот на кој тие се вклучуваа во прегледот на вештачката интелигенција. „Почнав да ги третирам коментарите од Codex како вистински повратни информации од преглед на код“, вели Тед Векслер, виш софтверски инженер во Datadog. „Не е нешто што би го прелетал или игнорирал, туку нешто на кое вреди да се обрне внимание.“

По евалуацијата, Datadog го распореди Codex пошироко низ својата инженерска работна сила. Денес повеќе од 1.000 инженери го користат редовно. 

Повратните информации најчесто се појавуваат природно, а не преку формални метрики во алатката. Инженерите објавуваат на Slack за корисни сознанија, конструктивни коментари и моменти кога Codex им помогнал да размислуваат поинаку за некој проблем.

Иако заштедата на време е значителна, тимовите постојано укажуваа на позначајна промена во начинот на кој се извршуваше работата. 

Поширокото влијание за Datadog беше промена во начинот на кој се дефинира самиот преглед на кодот. Наместо да го третира прегледот како контролна точка за откривање грешки или оптимизирање на времето на циклусот, тимот сега го гледа Codex како основен систем за доверливост кој дејствува како партнер:

• Идентификување на ризик што е надвор од она што поединечните прегледувачи можат да го задржат во контекст
• Истакнување на интеракциите помеѓу модулите и сервисите
• Зголемување на довербата при испорака во големи количини
• Овозможување на луѓето-прегледувачи да се фокусираат на архитектурата и дизајнот

Оваа промена е во согласност со начинот на кој лидерите на Datadog ги поставуваат техничките приоритети, каде што сигурноста и довербата се исто толку важни, а можеби и поважни од брзината.

„Ние сме платформата на која компаниите се потпираат кога сè друго се распаѓа“, вели Картер. „Спречувањето инциденти ја зајакнува довербата што нашите клиенти ја имаат во нас.“