מציגים את EVMbench

חוזים חכמים מגינים דרך קבע על נכסי קריפטו בקוד פתוח בשווי של יותר מ-100 מיליארד דולר. ככל שסוכני בינה מלאכותית משתפרים בקריאה, בכתיבה ובהרצה של קוד, גוברת החשיבות של מדידת יכולותיהם בסביבות בעלות משמעות כלכלית, ושל עידוד השימוש במערכות בינה מלאכותית לצורכי הגנה — לבדיקת חוזים שכבר נפרסו ולחיזוק אבטחתם.

יחד עם Paradigm⁠(נפתח בחלון חדש), אנחנו מציגים את EVMbench, מבחן ביצועים שמעריך את יכולתם של סוכני בינה מלאכותית לזהות, לתקן ולנצל חולשות ברמת חומרה גבוהה בחוזים חכמים. EVMbench מבוסס על 117 חולשות שנבחרו בקפידה מתוך 40 בדיקות אבטחה, רובן מתחרויות פתוחות לבדיקת אבטחת קוד.  EVMbench כולל גם כמה תרחישי חולשות שנלקחו מתהליך בדיקת האבטחה של הבלוקצ'יין Tempo⁠(נפתח בחלון חדש), רשת שכבה ראשונה (L1) שנבנתה במיוחד כדי לאפשר תשלומים בתפוקה גבוהה ובעלות נמוכה באמצעות מטבעות יציבים. תרחישים אלה מרחיבים את מבחן הביצועים לקוד של חוזים חכמים המיועדים לתשלומים — תחום שבו אנו צופים צמיחה בתשלומים אג'נטיים במטבעות יציבים — ומסייעים לעגן אותו בתחום שחשיבותו המעשית הולכת וגוברת.

כדי ליצור את סביבות המשימות, התאמנו בדיקות קיימות להוכחת היתכנות של ניצול חולשות וסקריפטים לפריסה, כשהיו כאלה, ובמקרים אחרים כתבנו אותם ידנית. במצב התיקון, וידאנו שאפשר לנצל את החולשות ושאפשר לצמצם את הסיכון מהן בלי להכניס שינויים שיכשילו את ההידור ויפגעו במערך הבדיקה שלנו. במצב הניצול, כתבנו מנגנוני ניקוד ייעודיים וביצענו בדיקות תקיפה לסביבות בניסיון לאתר ולחסום דרכים שבהן סוכן עלול להטעות את מנגנון הניקוד. לצד בקרת איכות המשימות בעזרת המומחיות של Paradigm בתחום, השתמשנו בסוכנים אוטומטיים לבדיקת משימות כדי לסייע בשיפור התקינות של הסביבות שלנו.

EVMbench מעריך יכולות בשלושה מצבים:

• זיהוי: סוכנים בודקים את האבטחה של מאגר חוזים חכמים ומקבלים ניקוד לפי שיעור החולשות הידועות שזיהו ולפי התגמולים המשויכים להן בבדיקות האבטחה.

• תיקון: סוכנים משנים חוזים שיש בהם חולשות, ונדרשים לשמר את התפקוד המיועד שלהם תוך ביטול האפשרות לנצל את החולשות. הדבר מאומת באמצעות בדיקות אוטומטיות ובדיקות ניצול.

• ניצול: סוכנים מבצעים מתחילתן ועד סופן מתקפות לריקון כספים מחוזים שנפרסו בסביבת בלוקצ'יין מבודדת. הניקוד נקבע באופן תכנותי באמצעות הרצה חוזרת של עסקאות ואימות בשרשרת.

כדי לאפשר הערכה אובייקטיבית וניתנת לשחזור, פיתחנו harness מבוסס Rust שפורס חוזים, מריץ מחדש את עסקאות הסוכנים באופן דטרמיניסטי ומגביל שיטות RPC לא בטוחות. משימות הניצול פועלות בסביבת Anvil מקומית ומבודדת ולא ברשתות פעילות, והחולשות הן חולשות עבר המתועדות בפומבי.

אנחנו מעריכים סוכני חזית בכל שלושת המצבים. במצב ״ניצול״, המודל GPT‑5.3‑Codex שפועל דרך Codex CLI משיג ציון של 71.0%. זהו שיפור משמעותי לעומת מודלים קודמים, כגון GPT‑5, שמשיג ציון של 33.3% והושק רק לפני קצת יותר מחצי שנה. שיעור החולשות המזוהות ושיעור ההצלחה בתיקונן עדיין אינם מגיעים לכיסוי מלא, שכן חלק ניכר מהחולשות עדיין קשה לסוכנים לאתר ולתקן.

EVMbench חושף גם הבדלים מעניינים בהתנהגות המודלים במשימות השונות. הסוכנים מגיעים לביצועים הטובים ביותר במצב הניצול, שבו היעד ברור: להמשיך לנסות עד לריקון הכספים. לעומת זאת, הביצועים חלשים יותר במשימות זיהוי ותיקון. במצב ״זיהוי״, סוכנים לעיתים עוצרים לאחר זיהוי בעיה אחת במקום לבדוק ביסודיות את כל בסיס הקוד. במצב ״תיקון״, שימור התפקוד המלא תוך הסרת חולשות שקשה להבחין בהן עדיין מהווה אתגר.

EVMbench אינו משקף את מלוא המורכבות של אבטחת חוזים חכמים בעולם האמיתי. החולשות שנכללו בו נלקחו מתחרויות בדיקת אבטחה של Code4rena. אף שמדובר בחולשות מציאותיות וברמת חומרה גבוהה, חוזי קריפטו רבים שנפרסו בהיקף גדול ונמצאים בשימוש נרחב עוברים בדיקות מעמיקות הרבה יותר, וייתכן שקשה יותר לנצל חולשות בהם.

מערכת הניקוד שלנו אמינה, אך אינה מושלמת. במצב ״זיהוי״, אנחנו בודקים אם הסוכן מוצא את אותן חולשות שזיהו בודקי אבטחה אנושיים. אם הסוכן מזהה בעיות נוספות, כרגע אין לנו דרך אמינה לקבוע אם אלה חולשות אמיתיות שבני אדם החמיצו או זיהויים שגויים.

גם במצב ״ניצול״ יש מגבלות מבניות. העסקאות מורצות מחדש בזו אחר זו בקונטיינר הניקוד, ולכן התנהגויות שתלויות במנגנוני תזמון מדויקים אינן נכללות בהערכה. מצב השרשרת מבוסס על מופע Anvil מקומי ונקי ולא על פיצול של הרשת הראשית, וכרגע אנחנו תומכים רק בסביבות של שרשרת אחת. במקרים מסוימים הדבר מחייב שימוש בחוזי דמה במקום בחוזים שנפרסו ברשת הראשית.

חוזים חכמים מגינים על נכסים בשווי מיליארדי דולרים, וסוכני בינה מלאכותית צפויים לחולל שינוי מהותי הן עבור תוקפים והן עבור מגינים. מדידת יכולות המודלים בתחום זה מסייעת לעקוב אחר סיכוני סייבר מתפתחים ומדגישה את החשיבות של שימוש במערכות בינה מלאכותית לצורכי הגנה — לבדיקת חוזים שכבר נפרסו ולחיזוק אבטחתם.

EVMbench נועד לשמש גם כלי מדידה וגם קריאה לפעולה. ככל שהסוכנים משתפרים, גוברת החשיבות של שילוב בדיקות אבטחה בסיוע בינה מלאכותית בתהליכי העבודה של מפתחים וחוקרי אבטחה.

בחודשים האחרונים ראינו שיפור משמעותי בביצועי המודלים במשימות אבטחת סייבר, שמועיל הן למפתחים והן לאנשי אבטחה. במקביל, אנחנו מכינים אמצעי הגנה מחוזקים בתחום הסייבר כדי לתמוך בשימוש לצורכי הגנה ובחוסן של כלל המערכת האקולוגית.

מכיוון שאבטחת סייבר היא מטבעה תחום דו-שימושי, אנחנו נוקטים גישה מבוססת ראיות המשתפרת בסבבים, כדי להאיץ את יכולתם של מגינים לאתר ולתקן חולשות, ובה בעת להאט שימוש לרעה. האמצעים שלנו לצמצום סיכונים כוללים אימון לבטיחות, ניטור אוטומטי, גישה למשתמשים מהימנים ליכולות מתקדמות, ותהליכי אכיפה המשלבים מודיעין איומים.

אנחנו משקיעים באמצעי הגנה לכלל המערכת האקולוגית, ובהם הרחבת הבטא הפרטית של Aardvark, סוכן מחקר האבטחה שלנו, ושיתוף פעולה עם מתחזקי קוד פתוח כדי לספק סריקה חינמית של בסיסי קוד בפרויקטים הנמצאים בשימוש נרחב.

בהמשך לתוכנית המענקים שלנו לאבטחת סייבר שהושקה ב-2023, אנחנו מתחייבים גם להקצות קרדיטים לשימוש ב-API בשווי 10 מיליון דולר, כדי להאיץ את הגנת הסייבר בעזרת המודלים בעלי היכולות הגבוהות ביותר שלנו, במיוחד עבור תוכנות קוד פתוח ומערכות תשתית קריטיות. ארגונים העוסקים במחקר אבטחה בתום לב יכולים להגיש בקשה לקרדיטים לשימוש ב-API ולתמיכה דרך תוכנית המענקים שלנו לאבטחת סייבר.

אנחנו מפרסמים את המשימות, הכלים ומסגרת ההערכה של EVMbench כדי לתמוך בהמשך המחקר על מדידה וניהול של יכולות הסייבר המתפתחות של בינה מלאכותית.