Datadog, sistem seviyesinde kod incelemesi için Codex'i kullanır

Datadog⁠(yeni bir pencerede açılır), şirketlerin karmaşık dağıtılmış sistemleri izlemesine, sorunlarını gidermesine ve güvenliğini sağlamasına yardımcı olan, dünyanın en yaygın kullanılan gözlemlenebilirlik platformlarından birini işletir. Bir sorun yaşandığında müşteriler, sorunu hızla tespit etmek için Datadog'a güvenir. Bu nedenle güvenilirliğin, kod canlı kullanıma ulaşmadan çok önce sağlanması gerekir.

Datadog’un mühendislik ekipleri için bu, kod incelemesini yüksek riskli bir an haline getirir. Bu sadece hataları yakalamakla ilgili değil, aynı zamanda değişikliklerin birbirine bağlı sistemler boyunca nasıl dalga etkisi yarattığını anlamakla ilgili; bu, geleneksel statik analiz ve kural tabanlı araçların çoğu zaman yetersiz kaldığı bir alandır.

Bu zorluğun üstesinden gelmek için Datadog’un Yapay Zeka Geliştirme Deneyimi (AI DevX) ekibi, OpenAI’ın otonom ajanı Codex’e başvurdu. Codex, sistem düzeyinde akıl yürütmeyi kod incelemesine entegre eder ve insanların geniş ölçekte kolayca fark edemediği riskleri ortaya çıkarır.

"Zaman tasarrufu gerçektir ve önemlidir," diyor Datadog’un AI DevX ekibinin lideri Brad Carter. "Ancak bizim ölçeğimizde olayları önlemek çok daha etkileyici."

Datadog'da etkili kod incelemesi, geleneksel olarak kod tabanını, geçmişini ve mimari ödünleşimleri sistemik riski fark edecek kadar iyi anlayan kıdemli mühendislere dayanıyordu. 

Ancak bu tür derin bağlamı ölçeklendirmek zordur ve ilk yapay zeka kod inceleme araçları bu sorunu çözmedi; birçoğu gelişmiş linter'lar gibi davranarak, yüzeysel sorunları işaretlerken sistemin daha geniş nüanslarını gözden kaçırdı. Datadog mühendisleri, önerileri genellikle çok yüzeysel veya çok gürültülü bulup görmezden geliyorlardı.

Datadog, OpenAI'ın kodlama otonom ajanı Codex'i canlı geliştirme iş akışlarına entegre ederek pilot uygulamaya başladı. Şirketin en büyük ve en sık kullanılan depolarından birinde, her çekme isteği Codex tarafından otomatik olarak gözden geçirildi. Mühendisler, Codex'ten gelen yorumlara başparmak yukarı veya aşağı işaretiyle yanıt verdi ve ekipler arasında gayriresmî geri bildirim paylaştılar. Birçok kişi, önceki araçların gürültülü veya yüzeysel öneriler üretmesine karşın Codex geri bildiriminin okunmaya değer olduğunu belirtti.

Yapay zeka destekli incelemenin stil sorunlarına işaret etmekten daha fazlasını yapıp yapamayacağını test etmek için Datadog bir olay tekrar oynatma donanımı oluşturdu.

Varsayımsal senaryolar kullanmak yerine ekip, geçmişteki olaylara geri döndü. Olaylara katkıda bulunan çekme isteklerini yeniden oluşturdular, her birine Codex'i orijinal incelemenin bir parçasıymış gibi çalıştırdılar ve ardından bu olaylardan sorumlu mühendislerden Codex'ten gelen geri bildirimin bir fark yaratıp yaratmayacağını sordular.

Sonuç: Codex, Datadog'un incelediği olayların yaklaşık %22'sinden fazlasında, mühendislerin Codex'in sağladığı geri bildirimin fark yaratacağını doğruladığı 10'dan fazla vaka buldu. Bu, değerlendirilen diğer araçlardan daha fazla bir sayıdır.

Bu çekme talepleri zaten kod incelemesinden geçtiği için, tekrar testi Codex'in incelemecilerin o sırada görmediği riskleri ortaya çıkardığını ve insan kararının yerini almak yerine onu tamamladığını gösterdi.

Datadog’un analizi, Codex’in yalnızca anlık farktan bakıldığında fark edilmesi zor olan ve deterministik kurallarla yakalanamayan sorunları tutarlı bir şekilde işaretlediğini gösterdi.

Mühendisler, Codex yorumlarını "bot gürültüsü"nden daha fazlası olarak nitelendirdi:

• Codex, farkta değiştirilmeyen modüllerle etkileşimleri belirtti.
• Hizmetler arası bağlanmanın olduğu alanlarda eksik test kapsamını belirledi
• Aşağı akış riski taşıyan API sözleşmesi değişikliklerini öne çıkardı

İnceleme geri bildirimlerini gerçek güvenilirlik sonuçlarıyla ilişkilendirme yeteneği, Datadog'un değerlendirmesinde Codex'i öne çıkaran unsurdu. Statik analiz araçlarının aksine Codex, çekme isteğinin amacını gönderilen kod değişiklikleriyle karşılaştırır ve tüm kod tabanı ile bağımlılıklar üzerinde akıl yürütme yaparak kodu ve testleri çalıştırır, böylece davranışı doğrular.

"Programın daha geniş bağlamında farkı gerçekten dikkate alıyor gibi görünen ilk şey buydu," diyor Carter. "Bu yenilikçi ve ufuk açıcıydı."

Pek çok mühendis için bu değişim, yapay zeka incelemesiyle olan ilişkilerini tamamen değiştirdi. "Codex yorumlarını gerçek kod inceleme geri bildirimi gibi ele almaya başladım," diyor Datadog'da Kıdemli Yazılım Mühendisi Ted Wexler. "Üstünkörü okuyup geçeceğim bir şey değil, dikkat etmeye değer bir şey."

Değerlendirmenin ardından Datadog, Codex'i mühendislik ekibi genelinde daha geniş çapta devreye aldı. Bugün 1.000'den fazla mühendis bunu düzenli olarak kullanıyor. 

Geri bildirim, resmi araç içi metrikler yerine büyük ölçüde organik olarak ortaya çıkmaktadır. Mühendisler Slack'te faydalı içgörüler, yapıcı yorumlar ve Codex'in bir sorun hakkında farklı düşünmelerine yardımcı olduğu anları paylaşıyor.

Zaman tasarrufu önemli olsa da, ekipler sürekli olarak işin yapılma biçiminde daha anlamlı bir değişim olduğunu belirttiler. 

Datadog için daha geniş etki, kod incelemesinin kendisinin nasıl tanımlandığına dair bir değişiklik oldu. Ekip, incelemeyi hataları yakalamak veya döngü süresini optimize etmek için bir kontrol noktası olarak görmek yerine, Codex'i artık bir ortak olarak hareket eden temel bir güvenilirlik sistemi olarak görüyor:

• Bireysel değerlendiricilerin bağlam içinde tutabileceğinden daha büyük risklerin ortaya çıkarılması
• Modüller arası ve hizmetler arası etkileşimlerin vurgulanması
• Büyük ölçekte sevkiyat güvenini artırmak
• İnsan incelemecilerin mimari ve tasarım üzerine odaklanabilmesini sağlamak

Bu değişim, Datadog’un liderlerinin mühendislik önceliklerini nasıl belirlediğiyle uyumludur; burada güvenilirlik ve güven, hız kadar, hatta daha fazla önem taşır.

"Her şey bozulurken şirketlerin güvendiği platform biziz," diyor Carter. "Olayları önlemek, müşterilerimizin bize duyduğu güveni artırır."