28 באוגוסט 2025

מציגים את gpt-realtime ועדכונים ל-Realtime API עבור סוכנים קוליים בסביבת הייצור

אנחנו משיקים מודל speech-to-speech מתקדם יותר ויכולות API חדשות, ובהן תמיכה בשרתי MCP, קלט תמונה ותמיכה בשיחות טלפון באמצעות SIP.

ממשק מעוצב המציג אינטראקציה קולית. במרכז מופיע נגן שמע מלבני בעל פינות מעוגלות, ובו תצוגת גל קול, כפתור הפעלה/השהיה, חיווי מצב "הסוכן מחובר" וחותמת זמן של 00:35. קווים לבנים מעוקלים עם נקודות זורמים לרוחב התמונה ומרמזים על שמע חי או תנועה של אותות. הרקע כחול עז, עם צורות פרחים מטושטשות בגוונים של ורוד וסגול.

בטעינה…

היום אנחנו פותחים את Realtime API לזמינות כללית, עם תכונות חדשות שמאפשרות למפתחים ולארגונים לבנות סוכנים קוליים אמינים ומוכנים לסביבת הייצור. ה-API תומך כעת בשרתי MCP מרוחקים, בקלט תמונה ובשיחות טלפון באמצעות Session Initiation Protocol ‏(SIP), ומרחיב את יכולות הסוכנים הקוליים בזכות גישה לכלים ולהקשר נוספים.

אנחנו משיקים גם את מודל ה-speech-to-speech המתקדם ביותר שלנו עד כה — gpt-realtime. המודל החדש מציג שיפורים בביצוע הוראות מורכבות, בקריאה מדויקת לכלים ובהפקת דיבור שנשמע טבעי יותר ועשיר יותר בהבעה. הוא מבין טוב יותר הודעות מערכת והנחיות מפתחים — בין שמדובר בהקראה מילה במילה של נוסחי הבהרה משפטית בשיחת תמיכה, בחזרה על רצפים של אותיות ומספרים או במעבר חלק בין שפות באמצע משפט. אנחנו משיקים גם שני קולות חדשים, Cedar ו-Marin, שזמינים החל מהיום באופן בלעדי ב-Realtime API.

מאז שהצגנו לראשונה את Realtime API בגרסת בטא ציבורית באוקטובר האחרון, אלפי מפתחים בנו באמצעותו ועזרו לעצב את השיפורים שאנחנו משיקים היום. השיפורים מתמקדים באמינות, בהשהיה נמוכה ובאיכות גבוהה, כדי לאפשר פריסה מוצלחת של סוכנים קוליים בסביבת הייצור. בניגוד לתהליכי עיבוד מסורתיים שמחברים כמה מודלים להמרת דיבור לטקסט וטקסט לדיבור, Realtime API מעבד ומפיק שמע ישירות באמצעות מודל אחד ו-API אחד. כך מתקצרת ההשהיה, נשמרים גוני הדיבור ונוצרות תגובות טבעיות ועשירות יותר בהבעה.

"מודל ה-speech-to-speech החדש ב-Realtime API של OpenAI מציג יכולות reasoning משופרות ודיבור טבעי יותר. כך הוא יכול לטפל בבקשות מורכבות ומרובות שלבים, כמו סינון נכסים לפי צרכים הנוגעים לסגנון החיים או הכוונת שיחות על יכולת כלכלית לרכישה בעזרת כלים כמו מדד BuyAbility שלנו. כך חיפוש בית ב-Zillow או בחינת אפשרויות מימון עשויים להרגיש טבעיים כמו שיחה עם חבר, ולעזור לפשט החלטות כמו קנייה, מכירה ושכירה של בית."

– ג'וש וייסברג, ראש תחום הבינה המלאכותית ב-Zillow

מציגים את gpt-realtime

מודל ה-speech-to-speech החדש — gpt-realtime — הוא המודל הקולי המתקדם ביותר שלנו, והוא מוכן לשימוש בסביבת הייצור. אימנו את המודל בשיתוף פעולה הדוק עם לקוחות כדי שיצטיין במשימות מהעולם האמיתי, כמו תמיכת לקוחות, סיוע אישי וחינוך — והתאמנו אותו לאופן שבו מפתחים בונים ופורסים סוכנים קוליים. המודל מציג שיפורים באיכות השמע, באינטליגנציה, בביצוע הוראות ובקריאה לפונקציות.

איכות השמע

שיחה שנשמעת טבעית היא חיונית לשימוש בסוכנים קוליים בעולם האמיתי. מודלים צריכים לדבר באינטונציה, ברגש ובקצב אנושיים כדי ליצור חוויה נעימה ולעודד שיחה מתמשכת עם המשתמשים. אימנו את gpt-realtime להפיק דיבור איכותי יותר שנשמע טבעי יותר, ולפעול לפי הוראות מפורטות, כגון "דבר במהירות ובמקצועיות" או "דבר באמפתיה ובמבטא צרפתי".

אנחנו משיקים ב-API שני קולות חדשים, Marin ו-Cedar, עם השיפורים המשמעותיים ביותר בטבעיות הדיבור. אנחנו מעדכנים גם את שמונת הקולות הקיימים שלנו כדי להחיל גם עליהם את השיפורים האלה.

דוגמת קול – Marin

דוגמת קול – Cedar

אינטליגנציה והבנה

gpt-realtime מציג אינטליגנציה גבוהה יותר ומסוגל להבין שמע ישירות ובדיוק רב יותר. המודל יכול לזהות רמזים לא מילוליים (כמו צחוק), לעבור בין שפות באמצע משפט ולהתאים את הטון ("נמרץ ומקצועי" לעומת "אדיב ואמפתי"). לפי הערכות פנימיות, המודל מפגין גם דיוק רב יותר בזיהוי רצפים של אותיות ומספרים (כמו מספרי טלפון, מספרי זיהוי רכב וכדומה) בשפות נוספות, ובהן ספרדית, סינית, יפנית וצרפתית. במבחן Big Bench Audio, המודד יכולות reasoning, ‏gpt-realtime משיג דיוק של 82.8% — לעומת 65.6% שהשיג המודל הקודם שלנו מדצמבר 2024.

מבחן הביצועים Big Bench Audio⁠(נפתח בחלון חדש) הוא מערך נתונים להערכת יכולות ה-reasoning של מודלי שפה התומכים בקלט שמע. מערך הנתונים הזה מתאים לתחום השמע שאלות מ-Big Bench Hard, שנבחר בזכות הבדיקה הקפדנית שלו ליכולות reasoning מתקדמות.

ביצוע הוראות

בבניית יישום speech-to-speech, מפתחים נותנים למודל סדרת הוראות לגבי אופן ההתנהגות שלו, ובכלל זה איך לדבר, מה לומר במצב מסוים ומה לעשות או לא לעשות. מיקדנו את השיפורים בהיצמדות להוראות האלה, כך שהמודל ייתן משקל רב יותר גם להנחיות קטנות. במבחן הביצועים הקולי MultiChallenge, המודד דיוק בביצוע הוראות, gpt-realtime משיג ציון של 30.5% — שיפור משמעותי לעומת המודל הקודם שלנו מדצמבר 2024, שמשיג 20.6%.

MultiChallenge⁠(נפתח בחלון חדש) מעריך עד כמה מודלי שפה גדולים מצליחים לנהל שיחות מרובות חילופי דברים עם בני אדם. הוא מתמקד בארבע קטגוריות של אתגרים מציאותיים שמודלי החזית הנוכחיים מתקשים להתמודד איתם. האתגרים האלה דורשים מהמודלים לשלב בו-זמנית ביצוע הוראות, ניהול הקשר ו-reasoning בתוך ההקשר. בחרנו שאלות מתוך המבחן שמתאימות להצגה קולית והמרנו אותן מטקסט לדיבור, כדי ליצור גרסת שמע של מבחן ההערכה הזה.

קריאה לפונקציות

כדי לבנות סוכן קולי בעל יכולות מתקדמות באמצעות מודל speech-to-speech, המודל צריך לדעת לקרוא לכלים הנכונים בזמן הנכון, כך שיהיה שימושי בסביבת הייצור. שיפרנו את הקריאה לפונקציות בשלושה היבטים: קריאה לפונקציות רלוונטיות, קריאה לפונקציות בזמן המתאים וקריאה לפונקציות עם הארגומנטים המתאימים (שמובילה לדיוק גבוה יותר). במבחן הקולי ComplexFuncBench, המודד ביצועי קריאה לפונקציות, gpt-realtime משיג ציון של 66.5%, לעומת 49.7% שמשיג המודל הקודם שלנו מדצמבר 2024.

שיפרנו גם את היכולת לבצע קריאה לפונקציות באופן אסינכרוני⁠(נפתח בחלון חדש). קריאות לפונקציות שזמן הריצה שלהן ארוך כבר לא יפריעו לרצף השיחה — המודל יכול להמשיך בשיחה שוטפת בזמן ההמתנה לתוצאות. היכולת הזו מובנית ב-gpt-realtime, כך שמפתחים לא צריכים לעדכן את הקוד שלהם.

ComplexFuncBench⁠(נפתח בחלון חדש) מודד עד כמה מודלים מצליחים להתמודד עם משימות מאתגרות של קריאה לפונקציות. הוא מעריך ביצועים בתרחישים כגון קריאות מרובות שלבים, reasoning לגבי אילוצים או פרמטרים משתמעים, וטיפול בקלט ארוך מאוד. המרנו את הנחיות הטקסט המקוריות לדיבור כדי לבנות את מבחן ההערכה הזה עבור המודל שלנו.

מה חדש ב-Realtime API

תמיכה בשרתי MCP מרוחקים

אפשר להפעיל תמיכה ב-MCP בסשן של Realtime API על ידי העברת כתובת ה-URL של שרת MCP מרוחק להגדרות הסשן. לאחר החיבור, ה-API מטפל אוטומטית בקריאות לכלים עבורכם, כך שאין צורך להגדיר אינטגרציות באופן ידני.

התצורה הזו מאפשרת להוסיף בקלות יכולות חדשות לסוכן שלכם — פשוט מפנים את הסשן לשרת MCP אחר, והכלים שבו זמינים מיד. למידע נוסף על הגדרת MCP עם Realtime, עיינו במדריך הזה⁠(נפתח בחלון חדש).

JavaScript

1// POST /v1/realtime/client_secrets
2{
3  "session": {
4    "type": "realtime",
5    "tools": [
6      {
7        "type": "mcp",
8        "server_label": "stripe",
9        "server_url": "https://mcp.stripe.com",
10        "authorization": "{access_token}",
11        "require_approval": "never"
12      }
13    ]
14  }
15}
16

קלט תמונה

כעת, כש-gpt-realtime תומך בקלט תמונה, אפשר להוסיף תמונות, תצלומים וצילומי מסך לצד שמע או טקסט לסשן של Realtime API. המודל יכול כעת לבסס את השיחה על מה שהמשתמש רואה בפועל, ולאפשר למשתמשים לשאול שאלות כמו "מה אתה רואה?" או "קרא את הטקסט בצילום המסך הזה".

במקום להתייחס לתמונה כאל זרם וידאו חי, המערכת מתייחסת אליה יותר כמו לתמונה שנוספה לשיחה. האפליקציה שלכם יכולה להחליט אילו תמונות לשתף עם המודל ומתי. כך אתם שומרים על שליטה במה שהמודל רואה ובמועד שבו הוא מגיב.

כדי להתחיל לעבוד עם קלט תמונה, עיינו בתיעוד⁠(נפתח בחלון חדש) שלנו.

JavaScript

1{
2    "type": "conversation.item.create",
3    "previous_item_id": null,
4    "item": {
5        "type": "message",
6        "role": "user",
7        "content": [
8            {
9                "type": "input_image",
10                "image_url": "data:image/{format(example: png)};base64,{some_base64_image_bytes}"
11            }
12        ]
13    }
14}
15

יכולות נוספות

הוספנו עוד כמה תכונות כדי להקל על השילוב של Realtime API ולהפוך אותו לגמיש יותר לשימוש בסביבת הייצור.

תמיכה ב-Session Initiation Protocol ‏(SIP): חברו את האפליקציות שלכם לרשת הטלפוניה הציבורית, למרכזיות PBX, לטלפונים שולחניים ולנקודות קצה נוספות של SIP, באמצעות תמיכה ישירה ב-Realtime API. קראו על כך בתיעוד.⁠(נפתח בחלון חדש)
הנחיות לשימוש חוזר: כעת אפשר לשמור הנחיות — הכוללות הודעות מפתח, כלים, משתנים והודעות לדוגמה של משתמש ועוזר — ולהשתמש בהן שוב בסשנים שונים של Realtime API, כמו ב-Responses API. למידע נוסף, עיינו בתיעוד.⁠(נפתח בחלון חדש)

בטיחות ופרטיות

Realtime API משלב כמה שכבות של אמצעי הגנה והפחתת סיכונים כדי לסייע במניעת שימוש לרעה. אפשר לקרוא עוד על הגישה שלנו לבטיחות ועל פרטי כרטיס המערכת בפוסט ההכרזה על גרסת הבטא⁠. אנחנו מפעילים מסווגים פעילים על סשנים של Realtime API, כך ששיחות מסוימות עשויות להיעצר אם הן מזוהות כמפרות את ההנחיות שלנו בנוגע לתוכן מזיק. מפתחים יכולים גם להוסיף בקלות מנגנוני בטיחות משלהם באמצעות Agents SDK⁠(נפתח בחלון חדש).

מדיניות השימוש⁠ שלנו אוסרת להשתמש מחדש בתוצרים מהשירותים שלנו או להפיץ אותם לצורכי ספאם, הטעיה או מטרות מזיקות אחרות. על המפתחים גם להבהיר למשתמשי הקצה מתי הם מקיימים אינטראקציה עם בינה מלאכותית, אלא אם הדבר כבר ברור מההקשר. Realtime API משתמש בקולות מוגדרים מראש כדי לסייע במניעת התחזות לאחרים מצד גורמים זדוניים.

Realtime API תומך באופן מלא בתושבות נתונים באיחוד האירופי⁠(נפתח בחלון חדש) עבור יישומים הפועלים באיחוד האירופי, וחלות עליו התחייבויות הפרטיות שלנו לארגונים⁠.

תמחור וזמינות

Realtime API בזמינות כללית והמודל החדש gpt-realtime זמינים לכל המפתחים החל מהיום. אנחנו מורידים את המחירים של gpt-realtime ב-20% בהשוואה ל-gpt-4o-realtime-preview — 32 דולר למיליון טוקנים של קלט שמע (0.40 דולר לטוקנים של קלט שמור במטמון) ו-64 דולר למיליון טוקנים של פלט שמע (ראו תמחור מפורט⁠(נפתח בחלון חדש)). הוספנו גם שליטה מדוקדקת בהקשר השיחה, כדי לאפשר למפתחים לקבוע מגבלות חכמות על מספר הטוקנים ולהסיר כמה חילופי דברים בבת אחת — וכך להפחית משמעותית את העלות של סשנים ארוכים.

כדי להתחיל, עיינו בתיעוד של Realtime API⁠(נפתח בחלון חדש), נסו את המודל החדש ב-Playground⁠(נפתח בחלון חדש), וקראו את המדריך שלנו לכתיבת הנחיות עבור Realtime API⁠(נפתח בחלון חדש).