אנחנו מציגים שלושה מודלי אודיו ב-API שפותחים בפני מפתחים אפשרויות לסוג חדש של יישומים קוליים. בעזרת המודלים האלה, מפתחים יכולים לבנות חוויות קוליות שמרגישות טבעיות יותר, מגיבות בצורה חכמה יותר ופועלות בזמן אמת:
GPT‑Realtime‑2, המודל הקולי הראשון שלנו עם יכולות reasoning ברמה של GPT‑5, שיכול להתמודד עם בקשות קשות יותר ולקדם את השיחה באופן טבעי.
GPT‑Realtime‑Translate, מודל חדש לתרגום בזמן אמת שמתרגם דיבור מיותר מ-70 שפות קלט ל-13 שפות פלט, תוך שמירה על קצב הדיבור.
GPT‑Realtime‑Whisper, מודל חדש להמרת דיבור לטקסט בהזרמה, שמתמלל דיבור בזמן אמת, תוך כדי השיחה.
נסו את GPT-Realtime-2
מה אפשר לשאול?
אחרי שמתחילים את השיחה, אפשר לנסות לומר אחד מהמשפטים הבאים:
- אני מארח/ת הערב ארוחת ערב של הרגע האחרון. יש לי 30 דקות, שני אנשים מהחברים שלי שמעדיפים אוכל צמחוני, אדם אחד שלא מתחבר לפטריות, ומטבח קטנטן. אפשר לעזור לי בתכנון תפריט פשוט?
- אני רוצה לקבל את פני האורחים באירוע חי ביפן. לומר ברכת ברוכים הבאים חמה וטבעית ביפנית – כמו מנחה בפתיחה של אירוע מיוחד.
- מספר ההזמנה שלי הוא Orbit-742Q. חזור עליו בבירור כדי שאוכל לוודא שהוא נכון.
- עזור לי לתרגל איך להודיע לצוות שלי שהגענו לאבן הדרך של ההשקה. קודם להגיד את זה בביטחון שקט, ואז בהתלהבות רבה יותר.
- אני מתכננ/ת חידון טריוויה לנסיעה ברכב. תן לי שלוש שאלות מכשילות שנשמעות פשוטות באופן מטעה, ואז הסבר כל תשובה במשפט אחד.
ההדגמה הזו מוגבלת בזמן. השימוש בה מהווה הסכמה לתנאים של OpenAI והכרה במדיניות הפרטיות שלנו.
קול הופך לאחת הדרכים הטבעיות ביותר להשתמש בתוכנה. הוא מאפשר לבקש עזרה בזמן נהיגה, לשנות תוכנית נסיעה תוך כדי הליכה בנמל התעופה, לקבל תמיכה בשפה המועדפת או להתקדם במשימה בלי לעצור כדי להקליד.
אבל כדי לבנות מוצרים קוליים שימושיים, לא די בחילופי דברים מהירים או בקול שנשמע טבעי. סוכן קולי צריך להבין את כוונת המשתמש, לעקוב אחר ההקשר, להתאים את עצמו כשהבקשה משתנה, להשתמש בכלים תוך כדי השיחה ולהגיב באופן שמתאים לרגע.
יחד, המודלים שאנחנו משיקים מקדמים אודיו בזמן אמת מעבר לחילופי שאלות ותשובות פשוטים, אל ממשקים קוליים שיכולים לבצע עבודה של ממש: להקשיב, להסיק מסקנות, לתרגם, לתמלל ולפעול תוך כדי השיחה.
ככל שהשימוש בקול הופך לדרך טבעית יותר להשתמש בתוכנה, אנחנו רואים מפתחים בונים פתרונות סביב שלושה דפוסים מתפתחים בבינה מלאכותית קולית:
מקול לפעולה, כאשר אנשים מתארים מה הם צריכים והמערכת יכולה לנתח את הבקשה, להשתמש בכלים ולהשלים את המשימה. לדוגמה, Zillow בונה עוזר שיכול להקשיב, להסיק מסקנות ולפעול בהתאם לבקשות כמו: ״מצא לי בתים במסגרת ה-BuyAbility שלי, לא ברחובות סואנים, וקבע לי סיור לשבת.״
ממערכות לקול, כאשר תוכנה יכולה להפוך מידע הקשרי להנחיות קוליות בזמן אמת. לדוגמה, אפליקציית נסיעות יכולה לומר לנוסע מיוזמתה: ״הטיסה הנכנסת שלך מתעכבת, אבל עדיין אפשר להספיק לטיסת ההמשך. מצאתי את השער החדש, מיפיתי את המסלול המהיר ביותר בטרמינל, והמזוודה שלך עדיין צפויה לעבור לטיסת ההמשך.״
מקול לקול, כאשר בינה מלאכותית יכולה לסייע לשיחות בזמן אמת להימשך גם במעבר בין שפות, משימות או הקשרים משתנים. לדוגמה, Deutsche Telekom בונה חוויות תמיכה קולית שבהן לקוחות יכולים לדבר בשפה הנוחה להם ביותר, בזמן שהמודל מתרגם את השיחה בזמן אמת.
אפשר גם לשלב בין הדפוסים האלה. Priceline פועלת לקראת עתיד שבו נוסעים יוכלו לנהל נסיעות שלמות באמצעות קול: לחפש טיסות ומלונות בשיחה, לטפל בשינויים כמו עדכון הזמנת מלון בעקבות עיכוב בטיסה או לקבל עדכונים בזמן אמת על זמני ההמתנה בבידוק הביטחוני של TSA, ולתרגם שיחות לאחר ההגעה ליעד.
GPT‑Realtime‑2 נבנה לאינטראקציות קוליות בזמן אמת, שבהן המודל ממשיך לקדם את השיחה תוך ניתוח הבקשה, קריאה לכלים, התמודדות עם תיקונים או הפרעות ומתן תגובה שמתאימה לרגע.
משפטי פתיחה: מפתחים יכולים להפעיל אמירות קצרות לפני התשובה העיקרית, כמו ״תנו לי לבדוק את זה״ או ״רק רגע, אני בודק את הנושא״, כדי שהמשתמשים ידעו שהסוכן מטפל בבקשה.
קריאות מקבילות לכלים ושקיפות בשימוש בהם: המודל יכול לקרוא לכמה כלים בו-זמנית ולדווח בקול על הפעולות האלה באמצעות משפטים כמו ״אני בודק את היומן שלך״ או ״אני מחפש את זה עכשיו״, כך שהסוכנים יישארו קשובים למשתמשים גם בזמן השלמת משימות.
התאוששות טובה יותר מתקלות: המודל יכול להתמודד עם תקלות בצורה חלקה יותר באמצעות אמירות כמו ״אני מתקשה לעשות את זה כרגע״, במקום להיכשל ללא הסבר או לקטוע את השיחה.
הקשר ארוך יותר לתהליכי עבודה אג'נטיים: אנחנו מגדילים את חלון ההקשר מ-32K ל-128K כדי לתמוך בשיחות ארוכות ולכידות יותר וברצפי משימות מורכבים יותר.
הבנה מקצועית טובה יותר: המודל שומר טוב יותר על מונחים מקצועיים, שמות פרטיים, מונחים רפואיים ואוצר מילים נוסף שחשוב בסביבות ייצור.
שליטה טובה יותר בטון ובאופן הדיבור: המודל יכול להתאים טוב יותר את הטון שלו – לדבר ברוגע בזמן פתרון בעיה, באמפתיה כשהמשתמש מתוסכל או בעליזות כשהוא מאשר שפעולה הצליחה.
מאמץ reasoning הניתן להתאמה: מפתחים יכולים כעת לבחור מבין רמות ה-reasoning minimal, low, medium, high ו-xhigh, כאשר low היא ברירת המחדל, ולאזן בין זמן השהיה קצר יותר באינטראקציות פשוטות לבין reasoning מעמיק יותר בבקשות מורכבות.
השיפור ניכר בהערכות אודיו שמשקפות היטב את עבודתם של סוכנים קוליים בסביבת ייצור: GPT‑Realtime‑2 (high) משיג ציון גבוה ב-15.2% מזה של GPT‑Realtime‑1.5 במבחן Big Bench Audio לבינת אודיו. GPT‑Realtime‑2 (xhigh) משיג ציון גבוה ב-13.8% מזה של GPT‑Realtime‑1.5 במבחן Audio MultiChallenge למילוי הוראות, ומציג יכולות משופרות של reasoning, ניהול הקשר ושליטה בשיחות בזמן אמת.
Big Bench Audio(נפתח בחלון חדש) בוחן יכולות reasoning מאתגרות במודלי שפה שתומכים בקלט אודיו. Audio MultiChallenge(נפתח בחלון חדש) בוחן יכולות שיחה חכמות לאורך חילופי דברים מרובים במערכות דיאלוג קולי, כולל מילוי הוראות, שילוב הקשר, עקביות פנימית והתמודדות עם תיקונים טבעיים בדיבור.
הקסם של GPT‑Realtime‑2 בא לידי ביטוי במגוון שימושים:
במהלך בדיקות מוקדמות, עסקים השתמשו ב-GPT‑Realtime‑2 כדי לבנות סוכנים קוליים שעוזרים ללקוחות ולעובדים לבצע משימות באמצעות שיחה טבעית:
GPT‑Realtime‑Translate עוזר למפתחים לבנות חוויות קוליות רב-לשוניות בזמן אמת, שבהן כל אדם יכול לדבר בשפה המועדפת עליו, לשמוע את השיחה מתורגמת ולקרוא את התמלול בזמן אמת. הוא תומך ביותר מ-70 שפות קלט וב-13 שפות פלט, ולכן מתאים לתמיכת לקוחות, למכירות בינלאומיות, לחינוך, לאירועים, למדיה ולפלטפורמות ליוצרים שפונים לקהלים ברחבי העולם.
עבור מפתחים, תרגום בזמן אמת צריך לשמר את המשמעות ולעמוד בקצב הדיבור, גם כשאנשים מדברים באופן טבעי, משנים הקשר או משתמשים בהגייה אזורית ובשפה מקצועית. לדוגמה, Deutsche Telekom בוחנת את המודל באינטראקציות קוליות רב-לשוניות, שבהן זמן השהיה קצר יותר ושטף דיבור משופר יכולים להפוך שיחות בין דוברי שפות שונות לטבעיות יותר.
בסרטון הזה, Vimeo מדגימה כיצד GPT‑Realtime‑Translate יכול לתרגם סרטון הדרכה על מוצר בזמן שהוא מתנגן, כך שלקוחות ברחבי העולם יוכלו לשמוע עדכונים בשפה המועדפת עליהם בלי לחכות לגרסה שתופק בנפרד.
GPT‑Realtime‑Whisper הוא מודל חדש לתמלול בהזרמה, שנבנה להמרת דיבור לטקסט עם השהיה נמוכה. הוא מתמלל אודיו תוך כדי דיבור, כך שמוצרים הפועלים בזמן אמת יוכלו להרגיש מהירים, קשובים וטבעיים יותר – מכתוביות שמופיעות מיד ועד לרשימות פגישה שמתעדכנות בקצב השיחה.
המודל מאפשר לשלב דיבור בתהליכי עבודה עסקיים בזמן אמת, תוך כדי השיחה. צוותים יכולים להוסיף כתוביות לפגישות, לשיעורים, לשידורים ולאירועים; ליצור רשימות וסיכומים כשהשיחות עדיין מתנהלות; לבנות סוכנים קוליים שצריכים להבין משתמשים באופן רציף; וליצור תהליכי המשך מהירים יותר לתמיכת לקוחות, לרפואה, למכירות, לגיוס עובדים ולאינטראקציות קוליות נוספות שמתנהלות בהיקפים גדולים.
Realtime API משלב כמה שכבות של אמצעי הגנה וצמצום סיכונים כדי לסייע במניעת שימוש לרעה. אנחנו מפעילים מסווגים פעילים במהלך שיחות ב-Realtime API, כך שניתן לעצור שיחות מסוימות אם מזוהה בהן הפרה של ההנחיות שלנו בנושא תוכן מזיק. מפתחים יכולים גם להוסיף בקלות מנגנוני בטיחות משלהם באמצעות Agents SDK.(נפתח בחלון חדש)
מדיניות השימוש שלנו אוסרת לעשות שימוש חוזר בתוצרים מהשירותים שלנו או להפיץ אותם לצורך ספאם, הונאה או מטרות מזיקות אחרות. מפתחים חייבים גם להבהיר למשתמשי הקצה מתי הם מקיימים אינטראקציה עם בינה מלאכותית, אלא אם הדבר כבר ברור מההקשר.
Realtime API תומך באופן מלא בתושבות נתונים באיחוד האירופי(נפתח בחלון חדש) עבור יישומים שמבוססים באיחוד האירופי, וכפוף להתחייבויות הפרטיות שלנו לארגונים.
GPT‑Realtime‑2, GPT‑Realtime‑Translate ו-GPT‑Realtime‑Whisper זמינים ב-Realtime API. המחיר של GPT‑Realtime‑2 הוא 32 דולר למיליון טוקני קלט אודיו (0.40 דולר לטוקני קלט שנשמרו במטמון) ו-64 דולר למיליון טוקני פלט אודיו. המחיר של GPT‑Realtime‑Translate הוא 0.034 דולר לדקה. המחיר של GPT‑Realtime‑Whisper הוא 0.017 דולר לדקה.
אפשר לנסות את המודלים הקוליים החדשים בזמן אמת ב-Playground(נפתח בחלון חדש).
כדי להתחיל לבנות, פתחו את הפרומפט הזה ב-Codex(נפתח בחלון חדש) כדי להוסיף את GPT‑Realtime‑2 לאפליקציה קיימת או ליצור אפליקציה חדשה. אם עדיין אין לכם Codex, הורידו קודם את אפליקציית Codex.
