Asana מפחיתה פי 76 את עלויות המודל בבדיקות בדפדפן עם GPT‑6.1 Sol

בעזרת ניסויים שהריץ GPT‑6 Astra ב־Codex, חברת Asana ייעלה את תהליך העבודה של סוכן הדפדפן שלה עם GPT‑6.1 Sol, כך שעלותו פחתה פי 76 והוא פעל מהר פי 5.

Asana עוזרת ללקוחות להפוך את העבודה במגוון יישומים עסקיים לאוטומטית באמצעות StackAI⁠(נפתח בחלון חדש), פלטפורמה שהיא רכשה⁠(נפתח בחלון חדש). באמצעות StackAI, לקוחות יכולים לבנות תהליכי עבודה שמנווטים באתרים, ממלאים טפסים ואוספים מידע, בלי לכתוב קוד. בהיקף הפעילות של Asana, גם חוסר יעילות קטן בתהליכים האלה מצטבר.

ד״ר פרנק הידלגו, סמנכ״ל הטכנולוגיות של StackAI ב־Asana, ביקש להאיץ את סוכן הדפדפן ולהוזיל את הפעלתו. הוא הנחה את GPT‑6 Astra ב־Codex לחקור את הסוכן, לבדוק שיפורים ולהשוות את התוצאות. עבודה שלהערכתו הייתה נמשכת חודש עד חודשיים בביצוע ידני הושלמה בתוך כשבוע.

מחקר של Asana שכלל 144 הרצות⁠(נפתח בחלון חדש) בדק את GPT‑6.1 Sol ושלושה מודלי חזית נוספים, המכונים כאן מודלים A, B ו־C. בתהליך העבודה המיועל שגובש עם GPT‑6.1 Sol, עלות המודל המשוערת עמדה בממוצע על 0.47 דולר וזמן הריצה על כארבע דקות להרצה — זול פי 76 ומהיר פי 5 מהתצורה המקורית בסביבת הייצור עם מודל B.

כדי להתקדם במהירות, הידלגו התחיל בשימוש ב־GPT‑6 Astra ב־Codex למיפוי בסיס הקוד ולהסבר כיצד הסוכן בונה כל בקשה למודל. GPT‑6 Astra גילה שהסוכן שומר במטמון את ההוראות הקבועות והגדרות הכלים שלו, אך לא את ההיסטוריה המצטברת של טקסט הדפים וצילומי המסך שהוא אוסף. לכן כל בקשה שלחה מחדש את ההיסטוריה הזאת במחיר מלא.

הסוכן גם הסיר צילומי מסך ישנים וקיצר טקסט כמעט בכל שלב. כל עריכה שינתה את ההיסטוריה, כך ששמירת ההיסטוריה במטמון לבדה לא הייתה עוזרת, ואובדן המידע הזה עלול היה לחייב את הסוכן לחזור לדפים שכבר קרא.

הידלגו בחן את התיקונים שהציע GPT‑6 Astra ובחר שלושה לבדיקה:

• הרחבת השמירה במטמון גם להיסטוריית הגלישה של הסוכן

• הגדלת כמות הטקסט שהסוכן יכול לשמור

• הסרת צילומי מסך באצוות במקום בכל שלב

GPT‑6 Astra התחיל בבדיקות מהירות כדי לזהות אילו משתנים משפיעים על התוצאות. מכיוון שהקוד לא תוכנן לניסויים מבוקרים, המודל ארגן מחדש את מבנה הקוד כך שאותו צד לקוח ואותו צד שרת יוכלו לתמוך בתהליכי עבודה רבים במקביל, כל אחד עם הגדרות משלו.

Astra ביצע את המחקר המלא: מכסות היסטוריה של 120,000 ו־480,000 תווים ושש מדיניות לשמירה במטמון ולניהול צילומי מסך. כל שילוב נבדק שלוש פעמים בכל אחד מארבעת המודלים (ראו בטבלה למטה). המדיניות שהניבה את הביצועים הטובים ביותר אפשרה לצילומי המסך להצטבר עד ל־20, ואז השאירה רק את צילום המסך האחרון. כך ההיסטוריה המוקדמת נותרה ללא שינוי לפרקי זמן ארוכים יותר בין פעולות ההסרה. השילוב של מדיניות זו עם מכסת ההיסטוריה הגדולה יותר הפך לתהליך העבודה המיועל. כל תצורה ביצעה את אותה משימה: איסוף שישה שדות מידע לכל אחד מ־32 ספרים מתוך קטלוג הדגמה ציבורי — משימה המייצגת את העבודה שחלק מלקוחות Asana מריצים ב־StackAI.

GPT‑6 Astra הריץ את תהליכי העבודה ובחן את הבקשות, רשומות השימוש והפלטים, והעבודה נבדקה בהפעלות נפרדות של המודל. הבקשות, נתוני המעקב והתוצאות מכל הפעלה תועדו ב־Command⁠(נפתח בחלון חדש), פלטפורמת אספקת התוכנה של Asana, כדי שהצוות יוכל לסקור לאחר מכן את המחקר במלואו. מתוך Command, הממצאים הפכו לכרטיסי משימה ולאחר מכן לבקשות מיזוג קוד, והשינויים הועלו לסביבת הייצור.

במודל B, הייעול הפחית את עלות המודל המשוערת מ־36.21 דולר לפחות (חלק מההרצות המקוריות הגיעו למגבלת השלבים לפני שהסתיימו) ל־1.24 דולר להרצה — הפחתה פי 29. תהליך העבודה המיועל עם GPT‑6.1 Sol היה זול פי 2.6 נוספים, בעלות של 0.47 דולר. כל הרצה בתהליך העבודה המיועל השלימה את המשימה והחזירה את התשובה הנכונה.

ב־GPT‑6.1 Sol לבדו, עם מכסת ההיסטוריה הגדולה יותר, המדיניות החדשה לשמירה במטמון ולניהול צילומי מסך הפחיתה את העלות פי 4, מ־1.97 ל־0.47 דולר להרצה. כל קריאה הייתה זולה פי 3 בקירוב, משום ש־89% מהקלט הגיעו מהמטמון, בעלות של 5% ממחיר הקלט שאינו שמור במטמון. גם ההרצות הואצו: מ־22.5 דקות לפחות בתצורה המקורית עם מודל B לכארבע דקות בתהליך העבודה המיועל עם GPT‑6.1 Sol.

המחקר גם הראה כיצד ניהול ההיסטוריה משפיע על עצם יכולתו של הסוכן להפיק תשובה. הגדלת המקום הזמין ל־GPT‑6.1 Sol לשמירת היסטוריית הגלישה העלתה את מספר ההרצות שהפיקו תשובה משלוש מתוך 18 עם המכסה הקטנה יותר לכל 18 ההרצות עם המכסה הגדולה יותר — ובכולן התקבלה התשובה הנכונה. מבחינת הידלגו, הערך העסקי הוא מתן גישה ללקוחות למודלים מהירים ובעלי יכולות גבוהות יותר, תוך שמירה על עלויות תפעול שאפשר לעמוד בהן לאורך זמן.

Asana השיקה את השינויים בניווט בדפדפן ב־StackAI, והיא מפתחת כלים שיקלו על חזרה על ניסויים דומים. בהמשך, הצוות מתכנן לשלב את הבדיקות האלה במבחני ההערכה של הפלטפורמה, כדי שלקוחות וצוותים פנימיים יוכלו להשוות עלות, זמן ריצה ואיכות תשובות בעת הגדרת הסוכנים שלהם.

כעת Asana משתמשת ב־GPT‑6 Astra ב־Codex לבדיקת תכונות מוצר לפני השקתן: Astra מנווט בפלטפורמה, מנסה קלטים שונים ומדווח על באגים לבודקי אבטחת איכות אנושיים. הידלגו רואה בכך בסיס למחזור חיים חדש של פיתוח תוכנה, שבו הפעלות רבות של סוכנים בענן בודקות תכונות במקביל.

המחקר המלא זמין בבלוג של Asana⁠(נפתח בחלון חדש) ובבלוג של StackAI⁠(נפתח בחלון חדש).