כך Amplitude משיקה שיפורים בתוך יום–יומיים בעזרת OpenAI

Amplitude תמיד עזרה לצוותים לראות איך אנשים משתמשים בפועל במוצרים שלהם. Wave, סוכן המוצר היזום שלה, עוזר לצוותים להפוך את התובנות האלה לשיפורים שמגיעים למשתמשים. לפי Amplitude, כ־80% מהפעילות של Wave מבוססים על מודלים של OpenAI, ובהם GPT‑6.1 Sol, ‏GPT‑6 Luna ו־GPT‑Image‑2.5 Flare. Wave הופך תובנות על המוצר לתוכניות יישום שצוותים יכולים להעביר לסוכני קוד, ובהם Codex, ולאחר מכן מודד את ההשפעה.

לפי הערכת Amplitude, ‏Wave יכול לעזור לצוותים להשיק שיפורים במוצר בתוך יום–יומיים, במקום כחודש. בדף הבית של Amplitude עצמה, Wave עזר להתאים אישית את כרטיסי ההצעות, והביא לעלייה של 160% בשליחת הודעות דרך הכרטיסים.

Wave הוא סוכן המוצר היזום של Amplitude. הצוותים מגדירים לו תחום במוצר, ואת היעדים והמדדים שהם רוצים לשפר. Wave משלב נתונים מ־Amplitude, הקלטות של פעילות משתמשים, משוב מלקוחות וקוד כדי לזהות ולתעדף הזדמנויות, לפתח פתרונות ולתאם את היישום עם אנשים וסוכני קוד. לאחר מכן הוא עוקב אחר התוצאות ומשתמש בתובנות שהפיק כדי לכוון את סבב השיפורים הבא.

מאחורי תהליך העבודה הזה, Amplitude משתמשת במודלים שונים של OpenAI למשימות שונות. GPT‑6.1 Sol משמש את מנהל ההזדמנויות ותומך בחקירות מעמיקות של קוד ונתונים. GPT‑6 Luna מטפל במשימות תכופות בעלות נמוכה יותר, כמו סריקת קוד והרצת בדיקות הערכה קטנות. GPT‑Image‑2.5 Flare יוצר הדמיות של המוצר על סמך צילומי מסך מהקלטות של פעילות משתמשים, המשמשים כבסיס חזותי.

כשהזדמנות מוכנה לפיתוח, צוותים יכולים לשלוח אותה ישירות מ־Wave לסוכני קוד, ובהם Codex, עם תוכנית טכנית וקריטריונים לקבלה שינחו את היישום.

״הרעיון מאחורי Wave הוא פלטפורמה מאוחדת עם סוכנים שסורקים כמויות עצומות של הקלטות פעילות משתמשים, נתוני שימוש וקוד כדי למצוא הזדמנויות לשיפור מוצרים״, מסביר ג׳ייקוב ניומן, מנהל מוצר AI ראשי ב־Amplitude.

Amplitude בחנה את Wave בדף הבית שלה, שבו כרטיסי הצעות כלליות נועדו לעזור למשתמשים לפתוח שיחה עם סוכן AI. Wave גילה שאנשים מרבים לדלג עליהם: במדגם של 100 הקלטות של פעילות משתמשים, 80 משתמשים הקלידו שאלות משלהם ורק 12 בחרו בהצעה.

Wave הציע להתאים אישית את הכרטיסים על סמך תרשימים ולוחות מחוונים מהפעילות האחרונה, או הדף שממנו הגיע המשתמש. הוא המחיש את השינוי והפיק תוכנית טכנית, שכללה שמירה על האפשרות להקליד בחופשיות והצגת הצעות כלליות כשאין הקשר זמין להתאמה אישית. לאחר סקירה קצרה, הצוות העביר את העבודה לסוכן קוד ובחן את השינוי בניסוי A/B.

לפי תוצאות הניסוי ששיתפה Amplitude, מספר ההודעות שנשלחו דרך כרטיסי ההצעות בדף הבית עלה ב־160% ביחס לקבוצת הביקורת לאחר יום אחד. ״זו דוגמה מצוינת לאופן שבו דברים שאינם פורצי דרך, ופשוט לא זוכים לתשומת לב, יכולים להגדיל את השימוש בתכונות בדרכים לא צפויות״, מסביר אריק קרלסון, מהנדס AI ראשי בכיר ב־Amplitude.

המשימות של Wave מציבות דרישות שונות מהמודלים שלו. חקירה מעמיקה דורשת יכולות reasoning חזקות ומסקנות מבוססות היטב. בדיקה קטנה שחוזרת על עצמה מאות פעמים צריכה להיות מהירה וזולה. Amplitude מעריכה את האיכות, זמן התגובה והעלות לכל משימה, ובוחרת את המודלים בהתאם.

עבור חוקר ההזדמנויות של Wave, ‏Amplitude בדקה אם המודלים אימתו ממצאים באמצעות ראיות תומכות, נמנעו מזיהויים חיוביים שגויים, יישמו משוב מהמעריך, התאוששו מכשלים בכלים והתאימו את הטענות לראיות. GPT‑6.1 Sol קיבל ציון כולל של 4.06 מתוך 5, לעומת 3.62, 3.52 ו־2.94 לשלושה מודלים חלופיים. הוא הוביל בכל חמשת הקריטריונים לחקירה, וזמן החקירה החציוני שלו היה הקצר ביותר: 54 דקות.

בהערכה נפרדת של סוכן מדע הנתונים של Wave, ‏GPT‑6.1 Sol קיבל ציון של 67.5 מתוך 100, לעומת 69.3 למודל מוביל אחר, בעלות מודל ממוצעת של $1.28 לעומת $2.63 להפעלת משימה. GPT‑6.1 Sol קיבל ציונים גבוהים יותר גם בעמידה בדרישות ממשקי הכלים, באומדן ואי־ודאות ובעיגון בראיות.

לעבודה בהיקפים גדולים, כמו סריקת קוד והרצת בדיקות הערכה קטנות, Amplitude משתמשת ב־GPT‑6 Luna כדי לשמור על זמן תגובה קצר ועלות נמוכה. חלוקת העבודה בין סוכנים מתמחים מאפשרת לצוות לשמור את יכולות ה־reasoning היקרות יותר למשימות שזקוקות להן ביותר.

ביצירת תרשימי מסך והדמיות, המודל ליצירת תמונות של OpenAI קיבל ציון של 80.3 מתוך 100 על תרשימי מסך של פתרונות, לעומת 63.9 למודל אחר ליצירת תמונות. ההערכה של Amplitude בחנה את איכות העברת המסר, הנאמנות למוצר, ההקפדה על ההוראות, קריאות הטקסט וממשק המשתמש והעקביות החזותית, על פני 15 הזדמנויות.

לקוחות ממגוון ענפים כבר משתמשים בגרסת הבטא של Wave כדי לזהות שיפורים אפשריים במוצר ולהשיק אותם. Wave מנתח נתוני פעילות ושימוש, ואז מגבש המלצות הכוללות תיקון מוצע, תוכנית טכנית וקריטריונים לקבלה.

משם, הצוותים יכולים לקבוע את רמת האוטומציה. רוב הצוותים שולחים תיקוני באגים ישירות לסוכני קוד, ואילו תכונות חדשות ומהלכים משמעותיים יותר עוברים בדיקה אנושית.

בשינויים שמגיעים להשקה, הדרך מזיהוי ההזדמנות לביצוע יכולה להיות קצרה: מבין הניסויים, דגלי התכונות והמדריכים שהשיקו לקוחות, אחד מכל ארבעה עלה לאוויר באותו יום שבו Wave זיהה את ההזדמנות, מחציתם תוך פחות מארבעה ימים, ושניים מכל שלושה בתוך שבוע.

״השאיפה שלנו עם OpenAI היא להפוך מוצרים שמשפרים את עצמם לדרך שבה חברות בונות תוכנה״, אומר סקייטס. ככל שהמודלים של OpenAI ישתפרו ב־reasoning ובכתיבת קוד, צוותים יוכלו להאציל לסוכנים יותר עבודת חקירה ויישום, ובסופו של דבר מוצרים טובים יותר יגיעו למשתמשים מהר יותר. Amplitude כבר רואה זאת בפועל: סוכנים מזהים שיפורים במוצר שלה ועוזרים ליישם אותם, בזמן שהצוות עוסק במשימות אחרות שבסדר העדיפויות. ״אני חושב שצוותים יופתעו לגלות כמה הם יכולים להשיג כשהתוכנה שלהם עובדת לצידם כדי לשפר את המוצר.״