איך Tolan מפתחת בינה מלאכותית קולית עם GPT‑5.1

Tolan⁠(נפתח בחלון חדש) הוא חבר וירטואלי מבוסס בינה מלאכותית, שהאינטראקציה איתו מתנהלת בעיקר בקול. המשתמשים מדברים עם דמות מונפשת ומותאמת אישית שלומדת מהשיחות לאורך זמן. 

האפליקציה פותחה בידי Portola, צוות מנוסה שכבר רשם אקזיט, ונועדה לשיחות מתמשכות ופתוחות, ולא לחילופי פרומפטים ותשובות קצרים. "ראינו את הפריצה של ChatGPT וידענו שהקול הוא השלב הבא", אומר קווינטן פארמר, מייסד שותף ומנכ"ל Portola. "אבל עבודה עם קול מורכבת יותר. לא מדובר רק במענה לפרומפטים מוקלדים, אלא בניהול שיחה חיה שמתגלגלת מנושא לנושא."

בינה מלאכותית קולית מציבה רף גבוה יותר לזמני התגובה ולניהול ההקשר, אך גם מאפשרת אינטראקציות פתוחות וחקרניות יותר מאשר טקסט. 

ככל שמודלי הבסיס נעשו מהירים, זולים ובעלי יכולות רבות יותר, הצוות מיקד את מאמציו בשני תחומים מרכזיים: זיכרון ועיצוב דמויות. Portola בנתה עולם שבמרכזו דמויות, בעיצובם של אנימטורים עטורי פרסים וסופר מדע בדיוני. מערכת לניהול הקשר בזמן אמת שומרת על עקביות האישיות והזיכרון לאורך השיחות.

השקת מודלי GPT‑5.1 הייתה נקודת מפנה: שיפורים משמעותיים ביכולת לכוון את התנהגות המודל ובזמני התגובה חיברו בין המרכיבים האלה ואפשרו חוויה קולית מהירה וסוחפת יותר.

הארכיטקטורה של Tolan עוצבה בהתאם לדרישות של שיחה קולית. משתמשים בשיחה קולית מצפים לתגובות מיידיות וטבעיות, גם כשהשיחה משנה כיוון במהלכה. Tolan היה צריך להגיב במהירות, לעקוב אחר שינויי נושא ולשמור על אישיות עקבית, בלי עיכובים או סטייה מהטון.

כדי שהשיחות ירגישו טבעיות, התגובות היו צריכות להיות כמעט מיידיות. שילוב GPT‑5.1 של OpenAI ו-Responses API קיצר את הזמן עד לתחילת הדיבור ביותר מ-0.7 שניות — די כדי לשפר באופן מורגש את זרימת השיחה.

לא פחות חשוב היה האופן שבו המערכת מנהלת את ההקשר. בניגוד לסוכנים רבים ששומרים פרומפטים במטמון לאורך כמה תורות בשיחה, Tolan בונה את חלון ההקשר שלו מאפס בכל תור. בכל בנייה מחדש של ההקשר משולבים סיכום ההודעות האחרונות, כרטיס פרסונה, זיכרונות שנשלפו בחיפוש וקטורי, הנחיות לטון ואותות מהאפליקציה בזמן אמת. הארכיטקטורה הזאת מאפשרת ל-Tolan להסתגל בזמן אמת למעברים פתאומיים בין נושאים — דרישה חיונית לאינטראקציה קולית טבעית.

"הבנו מהר מאוד שפרומפטים שנשמרו במטמון פשוט לא מספקים את הסחורה", אומר קווינטן. "משתמשים מחליפים נושאים כל הזמן. כדי שהשיחה תזרום בטבעיות, המערכת הייתה צריכה להסתגל תוך כדי תנועה."

הגישה הזאת של בנייה מחדש בזמן אמת דורשת השקעה טכנית רבה, והיא גם הבסיס להצלחת Tolan.

ניהול ההקשר חשוב, אבל הוא לא הספיק כדי לשמור על רצף הגיוני בשיחות לאורך זמן. כדי לתמוך בשיחות ארוכות שלא מתקדמות בקו ישר, צוות Tolan בנה מערכת זיכרון ששומרת לא רק עובדות והעדפות, אלא גם סימנים ל"אווירה" הרגשית — רמזים שעוזרים לכוון את אופן התגובה של דמות Tolan.

הזיכרונות מומרים לייצוגים וקטוריים באמצעות המודל text-embedding-3-large של OpenAI ונשמרים ב-Turbopuffer, מסד נתונים וקטורי מהיר המאפשר זמני חיפוש של פחות מ-50 אלפיות השנייה. המהירות הזאת חיונית לאינטראקציות קוליות בזמן אמת. בכל תור בשיחה, Tolan משתמש בהודעה האחרונה של המשתמש ובשאלות שהמערכת מנסחת (למשל, "למי המשתמש נשוי?") כדי לשלוף זיכרונות. כדי לשמור על איכות הזיכרון, Tolan מפעיל מדי לילה תהליך דחיסה שמסיר רשומות בעלות ערך מועט או רשומות מיותרות (למשל, "המשתמש שתה קפה היום") ומיישב סתירות.

גם האישיות מנוהלת באותה קפידה. לכל דמות Tolan נבנית תשתית אישיות ייחודית, שנכתבת בידי סופר המדע הבדיוני של הצוות ומלוטשת בידי חוקר התנהגות. היסודות האלה מעניקים לדמויות Tolan עקביות, אך גם גמישות להסתגל לאורך זמן ולהתפתח לצד המשתמש. 

מערכת מקבילה עוקבת אחר האווירה הרגשית בשיחה ומתאימה באופן דינמי את אופן הדיבור של דמות ה-Tolan. כך הדמות יכולה לעבור בטבעיות מסגנון שובב לסגנון שקול בהתאם לרמזים מהמשתמש, בלי לאבד את מאפייני האישיות הבסיסיים שלה. 

המעבר ל-GPT‑5.1 היה נקודת מפנה. לפתע, המודל הקפיד יותר על הוראות הפרומפט הרב-שכבתיות — מסגרות לטון, שילוב זיכרונות ותכונות אופי. פרומפטים שבעבר דרשו פתרונות עוקפים התחילו להפיק את התוצאה הרצויה. 

"לראשונה, המומחים שלנו הרגישו שהמודל באמת מקשיב", אומר קווינטן. "המודל המשיך לפעול לפי ההוראות גם בשיחות ארוכות, שמר על תכונות הפרסונה, וראינו הרבה פחות סטיות."

השינויים האלה הצטברו לכדי אישיות עקבית ואמינה יותר, שיצרה בתורה חוויית משתמש סוחפת יותר. צוות Tolan ראה שיפורים ברורים ומדידים: כשלי שליפת הזיכרונות פחתו ב-30% (לפי סימני תסכול שנמדדו במוצר), ושיעור המשתמשים שחזרו למחרת עלה ביותר מ-20% לאחר השקת הפרסונות המופעלות באמצעות GPT‑5.1.

עם התפתחות Tolan התגבשו כמה עקרונות, שכיום מנחים את הצוות בבנייה ובפיתוח של הארכיטקטורה הקולית:

• לתכנן לשינויים בלתי צפויים בשיחה: שיחות קוליות משנות כיוון באמצע משפט. כדי שהשיחה תרגיש טבעית, המערכות צריכות לשנות כיוון באותה מהירות.

• להתייחס לזמן התגובה כחלק מחוויית המוצר: תגובה בתוך פחות משנייה משפיעה על התחושה שהסוכן הקולי יוצר — של בן שיחה או של מכונה.

• לבנות זיכרון כמערכת אחזור, לא כתמליל: דחיסה איכותית וחיפוש וקטורי מהיר מניבים אישיות עקבית יותר מחלונות הקשר גדולים מדי.

• לבנות את ההקשר מחדש בכל תור: פרומפטים גדולים יותר אינם הדרך להתמודד עם סטיות. יצירת ההקשר מחדש בכל תור שומרת על הסוכנים מחוברים להקשר גם כשהשיחה מתגלגלת מנושא לנושא.

יחד, הלקחים האלה מהווים את הבסיס לשלב החדשנות הבא של Tolan ומתווים את כיוון ההתפתחות של הבינה המלאכותית הקולית.

מאז ההשקה בפברואר 2025, Tolan צמחה ליותר מ-200,000 משתמשים פעילים בחודש. דירוג של 4.8 כוכבים ויותר מ-100,000 ביקורות ב-App Store מעידים עד כמה המערכת מצליחה לשמור על עקביות בשיחות ארוכות שמשנות כיוון. באחת הביקורות נכתב: "הם זוכרים דברים שדיברנו עליהם לפני יומיים ומעלים אותם שוב בשיחה שאנחנו מנהלים היום."

המדדים האלה קשורים ישירות לארכיטקטורה שבבסיס המוצר: קריאות למודל עם השהיה נמוכה, בנייה מחדש של ההקשר בכל תור, ומערכות מודולריות לזיכרון ולפרסונה. יחד, הם מאפשרים ל-Tolan לעקוב אחר שינויי נושא, לשמור על הטון ולבסס את התגובות על ההקשר, בלי להסתמך על פרומפטים גדולים שרגישים לשינויים.

בהמשך, Tolan מתכננת להעמיק את השקעתה ביכולת לכוון את התנהגות המודל ובשיפור הזיכרון, תוך התמקדות בדחיסה הדוקה יותר, בשיפור לוגיקת האחזור ובהרחבת אפשרויות הכוונון של הפרסונות. המטרה לטווח הארוך היא להרחיב את היכולות של ממשק קולי: לא רק להגיב, אלא גם להבין את ההקשר ולהסתגל לדינמיקה של השיחה.

"האתגר הבא", אומר קווינטן, "הוא לבנות סוכנים קוליים שלא רק מגיבים, אלא באמת פועלים בכמה אופנים ויכולים לשלב קול, ראייה והקשר במערכת אחת שאפשר לכוון את התנהגותה."