מקדמים את השימוש במחשב עם Ironclad
כיצד שיתוף פעולה מחקרי בתחום ההתקשרויות החוזיות עוזר לנו לאמן ולהעריך סוכני בינה מלאכותית במשימות מקצועיות מורכבות.
כשהצגנו את GPT‑6 Astra, הדגמנו עד כמה התקדמו המודלים שלנו בשימוש במחשב לצורכי עבודה מקצועית, מהכנת מסמכים ועד בדיקת אתרי אינטרנט. היעד הבא שלנו הוא לשפר את היכולות והיעילות של סוכנים בשימוש בתוכנות ייעודיות לפתרון בעיות עסקיות מורכבות. אנחנו בוחנים כיצד לאמן מודלים להבין את הכללים העסקיים של חברה, לבצע תהליכי עבודה מרובי-שלבים ולוודא שהעבודה שלהם עומדת בדרישות המקוריות.
כדי להאיץ את המחקר הזה, אנחנו משתפים פעולה ישירות עם מספר מצומצם של חברות תוכנה שמכירות היטב את תהליכי העבודה האלה. יחד אנחנו מזהים משימות מאתגרות ובעלות ערך רב והופכים אותן לבעיות מחקר לצורכי אימון והערכה של המודלים שלנו. כך נוכל בסופו של דבר לשפר את היכולות של המודלים ואת התועלת שלהם ביישומים עסקיים בעולם האמיתי.
השותפה הראשונה שלנו היא Ironclad, חברה מובילה בתחום ניהול החוזים בעזרת בינה מלאכותית. בעבודה צמודה עם הצוות של Ironclad, פיתחנו משימות שדורשות מסוכנים להגדיר הסכמים, אישורים ותנאים משפטיים לשימוש חוזר, והדגמנו התקדמות בביצוע תהליכי העבודה המורכבים האלה. למומחיות של Ironclad היה תפקיד מרכזי בהגדרת המדדים להצלחה ובהבאת הצרכים הממשיים של לקוחות ישירות לתהליך הפיתוח של מודלי חזית. אנחנו מודים להם על השותפות ושמחים לשתף את ההישגים המשותפים שלנו.
GPT‑6 Astra הוא מודל החזית הראשון שלנו שאומן על משימות ב-Ironclad. בהערכה המחקרית שלנו, הציון הממוצע שלו היה גבוה ב-32% מזה של GPT‑5.6 Sol, ואילו הזמן המוערך לכל ניסיון היה קצר ב-48%.1
ניקח לדוגמה צוות תפעול משפטי שמקים תהליך לרכישת תוכנה. ייתכן שמחלקת הכספים תצטרך לאשר רכישות מעל סכום מסוים, שמחלקת אבטחת המידע תצטרך לבדוק בקשות מסוימות, ושהמחלקה המשפטית תצטרך לבחון תנאים לא סטנדרטיים. מי שמקים את התהליך צריך לתרגם את הרשימה הקצרה הזו לטופס להגשת בקשות, לתבניות מסמכים, לכללי אישור ולתיעוד של ההסכם הסופי.
סוכן בינה מלאכותית שמבצע את אותה עבודה צריך לזכור את הדרישות האלה לאורך כל העבודה בתוכנה. למשל, עליו להגדיר דרישה לאישור של מחלקת הכספים להוצאות מעל סכום הסף, ולבדוק שבקשות מעל הסף ומתחתיו עוברות במסלולים הנכונים. לא מספיק לבצע נכון כל שלב בנפרד: התהליך המוגמר חייב לפעול בכל המצבים שהוא נועד לתת להם מענה.
עובדי Ironclad ומשתמשי Ironclad ב-OpenAI עזרו לחוקרים שלנו לזהות 11 משימות בתחומי המשפט, המסחר והרכש. אלה כללו משימות כמו הגדרת הסכמי סודיות, יצירת תהליכי אישור רכש ועדכון סעיף משפטי לשימוש חוזר כך שישקף את תחום השיפוט שהמבקש בוחר. להערכתנו, העבודה הזו הייתה אורכת כ-30 עד 40 דקות למשימה בממוצע למשתמש מנוסה.
הערכנו כל משימה לפי 8 עד 50 קריטריונים, בהתאם למורכבותה. כך יכולנו לראות אילו חלקים המודל ביצע נכון ובאילו מקרים לא עמד בדרישות. Ironclad סיפקה גם סביבות תוכנה מתארחות של המוצר שלה, שבהן המודלים יכלו לתרגל את המשימות האלה. החוקרים שלנו פיתחו משימות אימון סינתטיות2 המבוססות על תהליכי עבודה מייצגים, והשתמשו בלמידת חיזוק כדי לעזור למודלים להשתפר באמצעות תרגול ומשוב. השילוב הזה — משימות שנבחרו יחד עם אנשים שמכירים את העבודה, קריטריונים מפורטים וסביבה שבה המודלים יכולים לתרגל — מבטיח שאנחנו משפרים את הביצועים במשימות מעשיות שלקוחותינו מייחסים להן את החשיבות הרבה ביותר.
השווינו בין Astra ל-GPT‑5.6 Sol, עם reasoning ברמה מקסימלית עבור Astra וברמה גבוהה עבור Sol — ההגדרות שבהן כל מודל השיג את הציון הגבוה ביותר שלו. ב-11 משימות המחקר, הציון הממוצע של Astra היה 55.0%, לעומת 41.6% של GPT‑5.6 Sol, ואילו הזמן הממוצע המוערך לכל ניסיון ירד מ-37.0 דקות ל-Sol ל-19.2 דקות ל-Astra.3 מודל פנימי ששימש בפיתוח של Astra השיג תוצאה טובה עוד יותר של 63.7% במשימות האלה, ואנו שואפים לשלב את השיפורים הנוספים האלה במודלים עתידיים.
מדד | GPT‑5.6 Sol | GPT‑6 Astra |
ציון ממוצע לפי מחוון | 41.6% | 55.0% |
זמן ממוצע מוערך לכל ניסיון | 37.0 דקות | 19.2 דקות |
Astra עמדה בדרישות רבות יותר של המשימה, בזמן קצר יותר בכל ניסיון במסגרת הסימולציה. שני הסרטונים שלהלן מציגים כיצד המודלים התמודדו עם אותה משימת מחקר. Astra (בסרטון הראשון) עמד בכ-94% מהקריטריונים של המשימה בזמן מוערך של 20 דקות; GPT‑5.6 Sol (בסרטון השני) עמד בכ-85% בזמן מוערך של 32 דקות.
GPT‑6 Astra עמד בכ-94% מהקריטריונים של המשימה בזמן מוערך של 20 דקות.
GPT‑5.6 Sol עמד בכ-85% מהקריטריונים של המשימה בזמן מוערך של 32 דקות.
התפקיד של Ironclad בעבודה הזו משקף אתגר שלקוחותיה מכירים היטב: על תהליך ההתקשרות החוזית לתת מענה למקרים חריגים, תוך שמירה על הכללים שהעסק מסתמך עליהם. אם במהלך המשימה סוכן לא פועל לפי אחד הכללים האלה, הדבר מגביל את המשימות שחברת תוכנה יכולה להפקיד בידיו בביטחון. הדבר ממחיש מדוע בקרה אנושית עדיין חשובה גם כשהסוכנים משתפרים בביצוע משימות מורכבות בתחום החוזים, ומדוע פלטפורמה מקיפה בתחום החוזים עדיין חיונית. העבודה עם החוקרים שלנו מאפשרת ל-Ironclad להביא בחשבון את הבעיות האלה בתהליך הפיתוח של המודל שבבסיס המערכת, וכך נוכל לחקור אותן יחד.
ככל שיכולות המודלים משתפרות, נפתחת בפני Ironclad האפשרות להשתמש בהם במספר רב יותר של מוצריה. עבור צוותים משפטיים ועסקיים, המשמעות עשויה להיות שבינה מלאכותית תבצע חלק גדול יותר מהעבודה הכרוכה בהתקשרות חוזית מורכבת, תוך שמירה על מנגנוני הבקרה שהצוותים האלה מסתמכים עליהם.
אנחנו מזמינים מספר מצומצם של חברות תוכנה לעבוד ישירות עם צוותי המחקר וההנדסה שלנו על משימות מקצועיות חשובות שהסוכנים כיום עדיין אינם מסוגלים להשלים באופן אמין. אם הצוות שלכם מתמודד עם משימה כזו, נשמח לראות דוגמה קונקרטית: מה אתם מבקשים מהסוכן לעשות, ראיות למקרים שבהם הוא נכשל, ואיך הייתם מגדירים תוצאה מוצלחת. השותפים צריכים גם להיות מסוגלים להעמיד לרשות המחקר אנשים שמכירים את העבודה לעומק, סביבה מאובטחת לבדיקות ונתונים שאפשר להשתמש בהם בבטחה לצורכי מחקר. כך תהיה לנו נקודת מוצא לחקירת הכשל ולמדידה של השיפור במודל.
אם התיאור הזה מתאים לצוות שלכם, הגישו בקשה לבחינת שיתוף פעולה מחקרי.
מחבר/ת
הערות שוליים
- 1
- 2
- 3
