Datadog משתמשת ב-Codex לסקירת קוד ברמת המערכת
בעזרת Codex, Datadog משלבת בכל סקירת קוד את ההקשר של המערכת כולה, כדי למנוע תקלות ולשמור על אמון הלקוחות.
Datadog(נפתח בחלון חדש) מפעילה את אחת מפלטפורמות התצפיתיות הנפוצות בעולם, ומסייעת לחברות לנטר מערכות מבוזרות מורכבות, לפתור בהן תקלות ולאבטח אותן. כשמשהו משתבש, הלקוחות סומכים על Datadog שתציף בעיות במהירות. לכן צריך להבטיח אמינות הרבה לפני שהקוד מגיע לסביבת הייצור.
מבחינת צוותי ההנדסה של Datadog, זה הופך את סקירת הקוד לשלב קריטי. לא מדובר רק באיתור טעויות, אלא בהבנת האופן שבו שינויים משפיעים על מערכות מקושרות — תחום שבו ניתוח סטטי מסורתי וכלים מבוססי כללים לרוב אינם מספקים מענה.
כדי להתמודד עם האתגר, צוות חוויית הפיתוח באמצעות בינה מלאכותית (AI DevX) של Datadog פנה ל-Codex, סוכן התכנות של OpenAI. הוא משלב יכולות reasoning ברמת המערכת בסקירת הקוד, ומציף סיכונים שקשה לבני אדם לזהות בהיקפים גדולים.
"החיסכון בזמן אמיתי וחשוב", אומר בראד קרטר, שעומד בראש צוות AI DevX של Datadog. "אבל בהיקף הפעילות שלנו, למניעת תקלות יש ערך גדול בהרבה."
סקירת קוד אפקטיבית ב-Datadog הסתמכה במשך שנים במידה רבה על מהנדסים בכירים — אלה שמכירים את בסיס הקוד, את ההיסטוריה שלו ואת הפשרות הארכיטקטוניות לעומק הנדרש כדי לזהות סיכון מערכתי.
אבל קשה להרחיב היכרות מעמיקה כזו לצוותים גדולים, וכלי סקירת קוד מוקדמים המבוססים על בינה מלאכותית לא פתרו את הבעיה. רבים מהם פעלו כמו כלי lint מתקדמים: סימנו בעיות נקודתיות, אך החמיצו דקויות בהקשר המערכתי הרחב. המהנדסים של Datadog מצאו לעיתים קרובות שההצעות שטחיות מדי או עמוסות בהערות מיותרות, והתעלמו מהן.
Datadog החלה בפיילוט של Codex, סוכן התכנות של OpenAI, ושילבה אותו בתהליכי הפיתוח השוטפים. באחד ממאגרי הקוד הגדולים והפעילים ביותר בחברה, כל pull request נסקר אוטומטית על ידי Codex. המהנדסים סימנו הערות של Codex באגודל למעלה או למטה, ושיתפו משוב לא רשמי בין הצוותים. רבים ציינו שהמשוב של Codex שווה קריאה, בניגוד לכלים קודמים שהפיקו הצעות שטחיות או עמוסות בהערות מיותרות.
כדי לבדוק אם סקירה בסיוע בינה מלאכותית יכולה לעשות יותר מאשר להצביע על בעיות בסגנון הקוד, Datadog בנתה harness לשחזור תקלות.
במקום להשתמש בתרחישים היפותטיים, הצוות חזר לתקלות שהתרחשו בעבר. הצוות שחזר בקשות pull request שתרמו לתקלות, הפעיל את Codex על כל אחת מהן כאילו היה חלק מהסקירה המקורית, ואז שאל את המהנדסים שהיו אחראים לטיפול בתקלות האלה אם המשוב של Codex היה משנה את התוצאה.
התוצאה: Codex מצא יותר מ-10 מקרים, שהם כ-22% מהתקלות ש-Datadog בחנה, שבהם המהנדסים אישרו שהמשוב שלו היה משנה את התוצאה — יותר מכל כלי אחר שנבדק.
מכיוון שבקשות ה-pull request האלה כבר עברו סקירת קוד, בדיקת השחזור הראתה ש-Codex הציף סיכונים שהסוקרים לא זיהו בזמנו, וכך השלים את שיקול הדעת האנושי במקום להחליף אותו.
הניתוח של Datadog הראה ש-Codex סימן בעקביות בעיות שאינן ברורות מתוך ה-diff הנקודתי בלבד, ושאי אפשר לזהות באמצעות כללים דטרמיניסטיים.
המהנדסים תיארו את ההערות של Codex כהרבה מעבר ל"רעש של בוט":
Codex הצביע על אינטראקציות עם מודולים שלא שונו ב-diff
הוא זיהה פערים בכיסוי הבדיקות בנקודות של תלות בין שירותים
הוא הדגיש שינויים בחוזה ה-API שיצרו סיכון לרכיבים התלויים בו
"מבחינתי, הערה של Codex מרגישה כאילו הגיעה מהמהנדס הכי חכם שעבדתי איתו, שיש לו אינסוף זמן למצוא באגים. הוא מזהה קשרים שאני לא מסוגל להחזיק בראש בבת אחת."
היכולת לקשר בין משוב בסקירת קוד לבין השפעה ממשית על האמינות היא שהבליטה את Codex בהערכה של Datadog. בניגוד לכלי ניתוח סטטי, Codex משווה בין כוונת ה-pull request לבין שינויי הקוד שהוגשו, בוחן את כלל בסיס הקוד והתלויות בו, ומריץ קוד ובדיקות כדי לאמת את ההתנהגות.
"זה היה הכלי הראשון שבאמת נראה כאילו הוא בוחן את ה-diff בהקשר הרחב של התוכנה", אומר קרטר. "זה היה חדשני ופתח לנו את העיניים."
עבור מהנדסים רבים, השינוי הזה שינה לחלוטין את היחס לסקירת קוד באמצעות בינה מלאכותית. "התחלתי להתייחס להערות של Codex כמו למשוב אמיתי מסקירת קוד", אומר טד וקסלר, מהנדס תוכנה בכיר ב-Datadog. "לא משהו שאעבור עליו ברפרוף או אתעלם ממנו, אלא משהו ששווה להקדיש לו תשומת לב."
בעקבות ההערכה, Datadog הרחיבה את השימוש ב-Codex בקרב צוותי ההנדסה שלה. כיום יותר מ-1,000 מהנדסים משתמשים בו באופן קבוע.
המשוב עולה בעיקר באופן טבעי מהשטח, ולא דרך מדדים רשמיים בתוך הכלי. המהנדסים משתפים ב-Slack תובנות מועילות, הערות בונות ומקרים שבהם Codex עזר להם לחשוב אחרת על בעיה.
לצד החיסכון המשמעותי בזמן, הצוותים הצביעו שוב ושוב על שינוי עמוק יותר באופן שבו העבודה מתבצעת.
"Codex שינה את התפיסה שלי לגבי מה שסקירת קוד אמורה להיות. המטרה היא לא לשחזר את היכולות של סוקרי הקוד האנושיים הטובים ביותר שלנו. המטרה היא למצוא כשלים קריטיים ומקרי קצה שאנשים מתקשים לזהות כשהם בוחנים שינויים במנותק מההקשר הרחב."
ההשפעה הרחבה יותר על Datadog הייתה שינוי בהגדרה של סקירת הקוד עצמה. במקום לראות בסקירה נקודת ביקורת לאיתור שגיאות או לקיצור מחזור הפיתוח, הצוות רואה כיום ב-Codex מערכת ליבה להבטחת אמינות, שפועלת כשותפה:
מציפה סיכונים שחורגים מההקשר שסוקר יחיד יכול להחזיק בראש
מדגישה אינטראקציות בין מודולים ובין שירותים
מגבירה את הביטחון בהפצת קוד בהיקפים גדולים
מאפשרת לסוקרים האנושיים להתמקד בארכיטקטורה ובתכנון
השינוי הזה תואם את האופן שבו הנהלת Datadog מגדירה את סדרי העדיפויות בהנדסה: אמינות ואמון חשובים לא פחות ממהירות הפיתוח, ואולי אף יותר.
"אנחנו הפלטפורמה שחברות סומכות עליה כשכל השאר קורס", אומר קרטר. "מניעת תקלות מחזקת את האמון שהלקוחות נותנים בנו."
