Datadog menggunakan Codex untuk semakan kod pada peringkat sistem
Dengan Codex, Datadog membawa konteks menyeluruh sistem ke dalam setiap semakan kod untuk mencegah insiden dan melindungi kepercayaan pelanggan.
Datadog(dibuka dalam tetingkap baru) mengendalikan salah satu platform pemerhatian yang paling banyak digunakan di dunia, membantu syarikat memantau, menyelesaikan masalah, dan melindungi sistem teragih yang kompleks. Apabila sesuatu rosak, pelanggan bergantung pada Datadog untuk memaparkan isu dengan cepat, yang bermaksud kebolehpercayaan mesti dibina jauh lebih awal sebelum kod sampai ke pengeluaran.
Bagi pasukan kejuruteraan Datadog, ini menjadikan semakan kod sebagai saat yang sangat penting. Ini bukan sekadar tentang mengesan kesilapan, tetapi tentang memahami bagaimana perubahan memberi kesan berantai merentasi sistem yang saling berhubung—satu bidang di mana analisis statik tradisional dan alat berasaskan peraturan sering tidak mencukupi.
Untuk menghadapi cabaran ini, pasukan AI Development Experience (AI DevX) Datadog beralih kepada Codex, ejen pengekodan daripada OpenAI, yang membawa penaakulan peringkat sistem ke dalam semakan kod dan menonjolkan risiko yang sukar dilihat oleh manusia pada skala besar.
“Penjimatan masa adalah nyata dan penting,” kata Brad Carter, yang mengetuai pasukan AI DevX Datadog. “Tetapi mencegah insiden adalah jauh lebih penting pada skala kami.”
Semakan kod yang berkesan di Datadog secara tradisional sangat bergantung pada jurutera kanan—mereka yang memahami pangkalan kod, sejarahnya, dan pertukaran seni bina dengan cukup baik untuk mengenal pasti risiko sistemik.
Namun, konteks mendalam seperti itu sukar untuk diskalakan, dan alat semakan kod AI awal tidak menyelesaikan masalah ini; banyak yang berfungsi seperti linter lanjutan, menandakan isu pada peringkat permukaan sambil terlepas nuansa sistem yang lebih luas. Jurutera Datadog sering mendapati cadangan tersebut terlalu cetek atau terlalu bising, dan mengabaikannya.
Datadog mula menjalankan perintis Codex, ejen pengaturcaraan daripada OpenAI, dengan mengintegrasikannya ke dalam aliran kerja pembangunan secara langsung. Dalam salah satu repositori terbesar dan paling banyak digunakan oleh syarikat, setiap permintaan penarikan disemak secara automatik oleh Codex. Jurutera memberikan reaksi kepada komen daripada Codex dengan ibu jari ke atas atau ke bawah dan berkongsi maklum balas tidak formal di seluruh pasukan. Ramai menyatakan bahawa maklum balas Codex berbaloi untuk dibaca, tidak seperti alat sebelumnya yang menghasilkan cadangan yang tidak relevan atau cetek.
Untuk menguji sama ada semakan yang dibantu AI boleh melakukan lebih daripada sekadar menunjukkan isu gaya, Datadog membina alat main semula insiden.
Daripada menggunakan senario hipotesis, pasukan itu kembali kepada insiden-insiden lampau. Mereka membina semula permintaan penarikan yang telah menyumbang kepada insiden, menjalankan Codex terhadap setiap satu seolah-olah ia sebahagian daripada semakan asal, kemudian bertanya kepada jurutera yang bertanggungjawab ke atas insiden tersebut sama ada maklum balas daripada Codex akan membuat perbezaan.
Hasilnya: Codex menemui lebih daripada 10 kes, atau kira-kira 22% daripada insiden yang diperiksa oleh Datadog, di mana jurutera mengesahkan bahawa maklum balas yang diberikan oleh Codex akan membuat perbezaan—lebih daripada mana-mana alat lain yang dinilai.
Oleh kerana permintaan penarikan ini telah lulus semakan kod, ujian main semula menunjukkan bahawa Codex menonjolkan risiko yang tidak dilihat oleh penyemak pada masa itu, melengkapi pertimbangan manusia dan bukannya menggantikannya.
Analisis Datadog menunjukkan bahawa Codex secara konsisten menandakan isu-isu yang tidak jelas daripada perbezaan kod serta-merta sahaja dan tidak dapat dikesan oleh peraturan berketentuan.
Jurutera menggambarkan komen Codex sebagai lebih daripada sekadar “bunyi bot”:
- Codex menunjukkan interaksi dengan modul yang tidak disentuh dalam perbezaan kod
- Ia mengenal pasti kekurangan liputan ujian dalam kawasan gandingan antara perkhidmatan
- Ia menyoroti perubahan kontrak API yang membawa risiko hiliran
“Bagi saya, komen Codex terasa seperti jurutera paling bijak yang pernah saya bekerjasama, dan yang mempunyai masa tanpa had untuk mencari pepijat. "Ia melihat hubungan yang otak saya tidak dapat urus sekaligus.”
Keupayaan untuk menghubungkan maklum balas semakan kepada hasil kebolehpercayaan sebenar itulah yang menjadikan Codex menonjol dalam penilaian Datadog. Tidak seperti alat analisis statik, Codex membandingkan niat permintaan penarikan dengan perubahan kod yang dihantar, membuat penaakulan ke atas keseluruhan pangkalan kod dan kebergantungan untuk melaksanakan kod dan ujian bagi mengesahkan kelakuan.
“Ia adalah yang pertama yang benar-benar kelihatan mempertimbangkan perbezaan dalam konteks yang lebih besar dalam program,” kata Carter. “Itu sesuatu yang baharu dan membuka mata.”
Bagi ramai jurutera, perubahan itu mengubah cara mereka berinteraksi dengan semakan AI secara keseluruhan. “Saya mula menganggap komen Codex seperti maklum balas semakan kod sebenar,” kata Ted Wexler, Jurutera Perisian Kanan di Datadog. “Bukan sesuatu yang saya akan baca sepintas lalu atau abaikan, tetapi sesuatu yang berbaloi untuk diberi perhatian.”
Selepas penilaian, Datadog melancarkan Codex dengan lebih meluas di seluruh tenaga kerja kejuruteraannya. Hari ini lebih daripada 1,000 jurutera menggunakannya secara berkala.
Maklum balas sebahagian besarnya dipaparkan secara organik dan bukannya melalui metrik formal dalam alat. Jurutera membuat siaran di Slack mengenai pandangan berguna, komen membina, dan saat-saat apabila Codex membantu mereka berfikir secara berbeza tentang masalah.
Walaupun penjimatan masa adalah ketara, pasukan secara konsisten menunjukkan perubahan yang lebih bermakna dalam cara kerja dilaksanakan.
“Codex telah mengubah pandangan saya tentang bagaimana semakan kod sepatutnya dilakukan. Ia bukan mengenai meniru penyemak manusia terbaik kami. "Ia mengenai mencari kelemahan kritikal dan kes terpinggir yang sukar dilihat oleh manusia apabila menyemak perubahan secara berasingan.”
Kesan yang lebih luas untuk Datadog adalah perubahan dalam cara semakan kod itu sendiri ditakrifkan. Daripada menganggap semakan sebagai titik semak untuk mengesan ralat atau mengoptimumkan masa kitaran, pasukan kini melihat Codex sebagai sistem kebolehpercayaan teras yang bertindak sebagai rakan kongsi:
- Memaparkan risiko yang melebihi apa yang dapat difahami dalam konteks oleh penilai individu
- Menyerlahkan interaksi merentas modul dan merentas perkhidmatan
- Meningkatkan keyakinan dalam penghantaran berskala besar
- Membolehkan penyemak manusia menumpukan perhatian kepada seni bina dan reka bentuk
Perubahan ini selaras dengan cara pemimpin Datadog menetapkan keutamaan kejuruteraan, di mana kebolehpercayaan dan kepercayaan adalah sama pentingnya, jika tidak lebih penting, daripada kelajuan.
“Kami adalah platform yang menjadi sandaran syarikat apabila segala-galanya yang lain gagal,” kata Carter. “Pencegahan insiden memperkukuhkan kepercayaan yang diletakkan oleh pelanggan kami kepada kami.”
