OpenAI תרכוש את Promptfoo
האצת הפיתוח של יכולות בדיקת אבטחה והערכה למערכות אג'נטיות ב-OpenAI Frontier
אנחנו רוכשים את Promptfoo, פלטפורמת אבטחה לבינה מלאכותית שמסייעת לארגונים לזהות ולתקן חולשות במערכות בינה מלאכותית במהלך הפיתוח. לאחר השלמת הרכישה נשלב את הטכנולוגיה של Promptfoo ישירות ב-OpenAI Frontier, הפלטפורמה שלנו לבנייה ולהפעלה של עמיתים לעבודה מבוססי בינה מלאכותית.
ככל שארגונים משלבים עמיתים מבוססי בינה מלאכותית בתהליכי העבודה בפועל, הערכה, אבטחה ועמידה בדרישות הופכות לדרישות יסוד. ארגונים זקוקים לדרכים שיטתיות לבדיקת התנהגותם של סוכנים, לזיהוי סיכונים לפני ההטמעה ולשמירה על תיעוד ברור שיתמוך בפיקוח, בממשל ובאחריותיות לאורך זמן.
צוות Promptfoo, בהובלת איאן ובסטר ומייקל ד'אנג'לו, בנה חבילת כלים רבת-עוצמה שיותר מ-25 אחוזים מחברות Fortune 500 נותנות בה אמון, לצד ממשק שורת פקודה (CLI) וספרייה בקוד פתוח(נפתח בחלון חדש) שנמצאים בשימוש נרחב להערכה ולבדיקות red teaming של יישומי LLM. יחד נמשיך לפתח את פרויקט הקוד הפתוח, ובמקביל נקדם את היכולות הארגוניות המשולבות ב-Frontier.
"Promptfoo מביאה עמה מומחיות הנדסית מעמיקה בהערכה, באבטחה ובבדיקה של מערכות בינה מלאכותית בקנה מידה ארגוני. העבודה שלה מסייעת לעסקים להטמיע יישומי בינה מלאכותית מאובטחים ואמינים, ואנחנו נרגשים לשלב את היכולות האלה ישירות ב-Frontier."
נמשיך לפתח כמה יכולות ליבה עבור ארגונים שבונים סוכנים ב-Frontier:
בדיקות אבטחה ובטיחות מובנות בפלטפורמה: יכולות אוטומטיות לבדיקות אבטחה ול-red teaming יהפכו לחלק מובנה בפלטפורמת Frontier, ויסייעו לארגונים לזהות ולטפל בסיכונים כגון הזרקות פרומפט, פרצות, דליפות נתונים, שימוש לרעה בכלים והתנהגויות של סוכנים שחורגות מהמדיניות.
אבטחה והערכה המשולבות בתהליכי הפיתוח: Frontier תשתלב באופן עמוק בתהליכי העבודה הנדרשים לזיהוי, לחקירה ולטיפול בסיכונים הקשורים לסוכנים בשלב מוקדם יותר. כך תהפוך האבטחה לחלק מרכזי בפיתוח ובהפעלה של מערכות בינה מלאכותית ארגוניות.
פיקוח ואחריותיות: יכולות משולבות של דיווח ועקיבות יסייעו לארגונים לתעד בדיקות, לעקוב אחר שינויים לאורך זמן ולעמוד בציפיות הגוברות לממשל, לניהול סיכונים ולעמידה בדרישות בתחום הבינה המלאכותית.
"הקמנו את Promptfoo כי מפתחים היו זקוקים לדרך מעשית לאבטח מערכות בינה מלאכותית. ככל שסוכני בינה מלאכותית מתחברים ליותר נתונים ומערכות בעולם האמיתי, האבטחה והתיקוף שלהם נעשים מאתגרים וחשובים יותר מאי פעם. ההצטרפות ל-OpenAI מאפשרת לנו להאיץ את העבודה הזו ולהעניק יכולות אבטחה, בטיחות וממשל חזקות יותר לצוותים שבונים מערכות בינה מלאכותית לשימוש בעולם האמיתי."
אנחנו נרגשים לקבל את צוות Promptfoo ולהמשיך לפתח את הכלים שארגונים זקוקים להם כדי להטמיע בינה מלאכותית מאובטחת ואמינה.
השלמת הרכישה כפופה לתנאי ההשלמה המקובלים.
