Datadog нь системийн түвшний кодын хяналтад Codex-г ашигладаг
Datadog компани Codex-ийн тусламжтайар код хянах бүрдээ системийн хэмжээний контекстыг оруулж өгснөөр саатлаас сэргийлж, хэрэглэгчдийн итгэлийг хамгаалж байна.
Datadog(шинэ цонхонд нээгдэнэ) нь дэлхийн хамгийн өргөн хэрэглэгддэг ажиглалтын платформуудын нэгийг ажиллуулдаг бөгөөд компаниудад нарийн төвөгтэй тархсан системийг хянах, алдааг олж засах, аюулгүй байдлыг хангахад тусалдаг. Ямар нэгэн зүйл эвдэрсэн үед хэрэглэгчид асуудлыг хурдан илрүүлэхийн тулд Datadog-д найдах бөгөөд энэ нь код үйлдвэрлэлд хүрэхээс өмнө найдвартай байдлыг бүрдүүлэх ёстой гэсэн үг юм.
Datadog-ийн инженерийн багуудын хувьд энэ нь код хянах ажлыг өндөр эрсдэлтэй мөч болгодог. Энэ нь зөвхөн алдааг олж мэдэх тухай биш, харин өөрчлөлтүүд хоорондоо холбогдсон системүүдээр хэрхэн дамжин өнгөрч байгааг ойлгох тухай юм—уламжлалт статик шинжилгээ болон дүрэмд суурилсан хэрэгслүүд ихэвчлэн дутагдалтай байдаг.
Энэ сорилтыг даван туулахын тулд Datadog-ийн AI Development Experience (AI DevX) баг OpenAI-ийн код бичих агент Codex-ийг ашигласан бөгөөд энэ нь кодын хяналтад системийн түвшний сэтгэн бодох чадварыг нэвтрүүлж, хүмүүс өргөн цар хүрээнд амархан олж харж чаддаггүй эрсдэлүүдийг илрүүлдэг.
“Цаг хэмнэх нь бодит бөгөөд чухал” гэж Datadog-ийн хиймэл оюун ухааны DevX багийг удирддаг Брэд Картер хэлэв. “Гэхдээ бидний хэмжээнд ослоос урьдчилан сэргийлэх нь хамаагүй илүү чухал юм.”
Datadog дээр үр дүнтэй кодын хяналт нь уламжлал ёсоор ахлах инженерүүдээс ихээхэн хамаардаг байсан бөгөөд эдгээр нь кодын суурь, түүний түүх, архитектурын тэнцвэрийг сайн ойлгодог, системийн эрсдэлийг илрүүлдэг хүмүүс юм.
Гэхдээ ийм гүнзгий агуулгыг өргөжүүлэхэд хэцүү бөгөөд эрт үеийн хиймэл оюун ухааны код хянах хэрэгслүүд энэ асуудлыг шийдээгүй. Олонх нь дэвшилтэт линтерүүд шиг ажиллаж, гадаргуугийн түвшний асуудлуудыг тэмдэглэж, системийн өргөн хүрээтэй нарийн ширийн зүйлийг орхигдуулсан. Datadog-ийн инженерүүд саналуудыг хэтэрхий өнгөцхөн эсвэл хэт их дуу авиатай гэж үзэж, үл тоомсорлодог байв.
Datadog нь OpenAI-ийн код бичих агент болох Codex-ийг шууд хөгжүүлэлтийн ажлын урсгалд нэгтгэснээр туршилтын ажлаа эхлүүлсэн. Компанийн хамгийн том бөгөөд хамгийн өргөн ашиглагддаг репозиторуудын нэгэнд татах хүсэлт бүрийг Codex автоматаар хянадаг байсан. Инженерүүд Codex-оос ирсэн тайлбарт эрхий хуруугаа дээш эсвэл доош харуулан хариу үйлдэл үзүүлж, багуудын хооронд албан бус санал хүсэлтийг хуваалцсан. Өмнөх хэрэгслүүд алдаатай эсвэл өнгөц санал гаргадаг байсан бол Codex-ийн санал хүсэлтийг унших нь үнэ цэнтэй гэж олон хүн тэмдэглэжээ.
Хиймэл оюун ухаанд суурилсан хяналт нь кодын хэв маягийн асуудлыг заахаас илүү ихийг хийж чадах эсэхийг туршихын тулд Datadog компани саатлыг дахин тоглуулах орчныг бүтээжээ.
Таамагласан нөхцөл байдал ашиглахын оронд тус баг өмнө нь гарч байсан бодит саатлуудыг эргэж харсан. Тэд саатал гарахад нөлөөлсөн татах хүсэлтүүдийг дахин сэргээж, яг анхны код хяналтын нэг хэсэг байсан мэт тус бүр дээр нь Codex-ийг ажиллуулжээ. Дараа нь тухайн саатлыг хариуцаж байсан инженерүүдээс Codex-ийн өгсөн санал хүсэлт үр дүнг өөрчилж чадах байсан эсэхийг асуусан байна.
Үр дүн: Codex нь Datadog-ийн шалгасан ослын 10 гаруй тохиолдол буюу ойролцоогоор 22%-ийг илрүүлсэн бөгөөд инженерүүд Codex-ийн өгсөн санал хүсэлт нь бусад ямар ч хэрэгслээс илүү өөрчлөлт авчрах байсан гэдгийг баталсан.
Эдгээр татах хүсэлт нь кодын хяналтыг аль хэдийн давсан байсан тул дахин тоглуулах туршилт нь Codex-ийн хянагчдын тухайн үед хараагүй эрсдэлийг илрүүлсэн нь хүний үнэлгээг орлуулахын оронд нөхөж байгааг харуулсан.
Datadog-ийн дүн шинжилгээгээр Codex нь зөвхөн тухайн өөрчлөлтийн зөрүүгээс шууд харагдахгүй, мөн тодорхойлсон тогтмол дүрмүүдээр илрүүлэх боломжгүй асуудлуудыг тогтмол илрүүлдэг болохыг харуулсан.
Инженерүүд Codex-ийн тайлбарыг зүгээр нэг “ботны хэрэгцээгүй шуугиан” биш болохыг тэмдэглэжээ:
- Codex нь тухайн кодын өөрчлөлтөд шууд ороогүй бусад модулиудтай хэрхэн харилцан үйлчилж буйг зааж өгч байв
- Энэ нь үйлчилгээ хоорондын холболтын хэсгүүдэд туршилтын хамрах хүрээ дутуу байгааг тогтоосон
- Энэ нь API гэрээний өөрчлөлтүүдийг эрсдэл дагуулж байгааг онцолсон
"Миний хувьд Codex-н тайлбар нь миний хамтран ажиллаж байсан хамгийн ухаалаг бөгөөд алдаа олоход хязгааргүй цаг хугацаатай инженер шиг санагддаг. Энэ нь миний тархи нэгэн зэрэг барьж чаддаггүй холболтуудыг хардаг.”
Codex-ийг Datadog-ийн үнэлгээнд онцгой болгосон зүйл бол үнэлгээний санал хүсэлтийг бодит найдвартай байдлын үр дүнтэй холбох чадвар байв. Статик шинжилгээний хэрэгслээс ялгаатай нь Codex нь татах хүсэлтийн зорилгыг илгээсэн кодын өөрчлөлттэй харьцуулж, кодын бүхэл бүтэн суурь болон хамаарлуудыг харгалзан үзээд код болон туршилтуудыг гүйцэтгэж, зан төлөвийг баталгаажуулдаг.
“Энэ бол хөтөлбөрийн өргөн хүрээнд ялгааг авч үзсэн анхны тохиолдол байсан” гэж Картер хэлэв. “Энэ бол шинэлэг бөгөөд нүд нээсэн хэрэг байлаа.”
Маш олон инженерүүдийн хувьд энэхүү шилжилт нь тэдний AI-ийн хийсэн код хяналтыг хүлээж авах, түүнтэй ажиллах хандлагыг бүхэлд нь өөрчилсөн юм. “Би Codex-ийн тайлбаруудыг жинхэнэ кодын хяналтын санал хүсэлт мэтээр авч үзэж эхэлсэн” гэж Datadog-ийн ахлах программ хангамжийн инженер Тед Векслер хэлэв. “Энэ нь миний хувьд гүйлгэж хараад өнгөрөх эсвэл үл тоомсорлох зүйл биш, харин анхаарал хандуулах ёстой зүйл.”
Үнэлгээний дараа Datadog нь Codex-ийг инженерийн ажиллах хүчнийхээ хүрээнд илүү өргөн хүрээнд хэрэгжүүлсэн. Өнөөдөр 1000 гаруй инженер үүнийг тогтмол ашиглаж байна.
Санал хүсэлт нь албан ёсны багаж хэрэгслийн хэмжүүрээр бус харин байгалийн аргаар илэрдэг. Инженерүүд Slack дээр хэрэгтэй ойлголтууд, бүтээлч сэтгэгдэл, Codex нь асуудлын талаар өөрөөр бодоход нь хэрхэн тусалсан мөчүүдийн талаар нийтэлдэг.
Цаг хугацаа хэмнэх нь чухал ач холбогдолтой ч, багууд ажил хэрхэн явагдсан нь илүү утга учиртай өөрчлөлт болсон гэдгийг тогтмол онцолдог.
“Codex код хянах үйл явцын талаарх миний бодлыг бүрэн өөрчилсөн. Энэ нь манай шилдэг инженерүүдийг орлох тухай биш. Харин хүн дангаараа кодын өөрчлөлтийг шалгах үед олж харахад хэцүү байдаг ноцтой алдаанууд болон тусгай тохиолдлуудыг илрүүлэх тухай юм.”
Datadog-д илүү өргөн нөлөө үзүүлсэн нь кодын хяналтыг хэрхэн тодорхойлдогт гарсан өөрчлөлт байв. Алдаа илрүүлэх эсвэл мөчлөгийн хугацааг оновчтой болгох хяналтын цэг гэж үзэхийн оронд баг одоо Codex-ийг түншийн үүрэг гүйцэтгэдэг гол найдвартай байдлын систем гэж үзэж байна:
- Хувь хүний шүүмжлэгчид ойлгож чадах хүрээнээс давсан эрсдэлийг илрүүлэх
- Модуль хоорондын болон үйлчилгээ хоорондын харилцан үйлчлэлийг онцлон харуулах
- Системийн өргөн хүрээний өөрчлөлтийг илүү итгэлтэйгээр нэвтрүүлэх
- Код хянаж буй инженерүүдэд архитектур болон загвар дээрээ илүү төвлөрөх боломжийг олгох
Энэхүү өөрчлөлт нь Datadog-ийн удирдагчид инженерчлэлийн тэргүүлэх чиглэлийг хэрхэн тодорхойлдогтой нийцэж байгаа бөгөөд найдвартай байдал, итгэлцэл нь хурдтай адил чухал юм.
“Бусад бүх зүйл хурж байхад компаниуд бидний тулгуурладаг платформ” гэж Картер хэлэв. “Осол гэмтлээс урьдчилан сэргийлэх нь үйлчлүүлэгчдийн бидэнд итгэх итгэлийг бэхжүүлдэг.”
