מציגים את הדור הבא של מודלי האודיו ב-API
סדרה חדשה של מודלי אודיו להפעלת סוכנים קוליים, זמינה כעת למפתחים ברחבי העולם.
עדכון מ-28 באוגוסט 2025: הכרזנו על הזמינות הכללית של Realtime API. למידע נוסף.
בחודשים האחרונים השקענו בשיפור התבונה, היכולות והתועלת של סוכנים מבוססי טקסט — מערכות שמבצעות משימות באופן עצמאי עבור משתמשים — עם השקות כמו מפעיל, מחקר מעמיק, סוכנים המשתמשים במחשב ו-Responses API עם כלים מובנים. אבל כדי שסוכנים יהיו שימושיים באמת, אנשים צריכים להיות מסוגלים לקיים איתם אינטראקציות מעמיקות ואינטואיטיביות יותר, מעבר לטקסט בלבד — ולתקשר ביעילות בשפה מדוברת טבעית.
היום אנחנו משיקים ב-API מודלי אודיו חדשים להמרת דיבור לטקסט וטקסט לדיבור. הם מאפשרים לבנות סוכנים קוליים בעלי יכולות משופרות, חכמים יותר וניתנים יותר להתאמה אישית, שמספקים ערך אמיתי. המודלים העדכניים שלנו להמרת דיבור לטקסט מציבים רף חדש בתחום ועולים על פתרונות קיימים בדיוק ובאמינות — במיוחד בתנאים מאתגרים הכוללים מבטאים, סביבות רועשות וקצבי דיבור משתנים. השיפורים האלה מגבירים את אמינות התמלול, ולכן המודלים מתאימים במיוחד לשימושים כמו מוקדי שירות לקוחות טלפוניים, תמלול פגישות ועוד.
לראשונה, מפתחים יכולים גם להנחות את המודל להמרת טקסט לדיבור לדבר בסגנון מסוים — למשל, "דבר כמו נציג שירות לקוחות אמפתי" — וכך להתאים סוכנים קוליים באופן אישי ברמה חדשה. כך נפתח פתח למגוון רחב של יישומים מותאמים, מקולות אמפתיים ודינמיים יותר בשירות לקוחות ועד לקריינות מלאת הבעה בחוויות יצירתיות של סיפור סיפורים.
השקנו את מודל האודיו הראשון שלנו ב-2022, ומאז אנחנו מחויבים לשיפור התבונה, הדיוק והאמינות של המודלים האלה. באמצעות מודלי האודיו החדשים, מפתחים יכולים לבנות מערכות מדויקות ואמינות יותר להמרת דיבור לטקסט וליצור קולות מלאי הבעה ואופי להמרת טקסט לדיבור — הכול דרך ה-API.
אנחנו מציגים את המודלים החדשים gpt-4o-transcribe ו-gpt-4o-mini-transcribe, עם שיעור שגיאות מילים נמוך יותר, זיהוי שפות משופר ודיוק גבוה יותר בהשוואה למודלי Whisper המקוריים.
המודל gpt-4o-transcribe מציג שיפור בשיעור שגיאות המילים (WER) לעומת מודלי Whisper הקיימים במגוון מבחני ביצועים מקובלים — עדות להתקדמות המשמעותית בטכנולוגיה שלנו להמרת דיבור לטקסט. ההתקדמות הזו נובעת ישירות מחידושים ממוקדים בלמידת חיזוק ומאימון ביניים נרחב על מערכי נתוני אודיו מגוונים ואיכותיים.
כתוצאה מכך, המודלים החדשים להמרת דיבור לטקסט מסוגלים לקלוט טוב יותר דקויות בדיבור, לצמצם שגיאות זיהוי ולהגביר את אמינות התמלול, במיוחד בתנאים מאתגרים הכוללים מבטאים, סביבות רועשות וקצבי דיבור משתנים. המודלים האלה זמינים כעת ב-API להמרת דיבור לטקסט(נפתח בחלון חדש).
שיעור שגיאות מילים (WER) מודד את הדיוק של מודלים לזיהוי דיבור באמצעות חישוב אחוז המילים שתומללו באופן שגוי ביחס לתמליל ייחוס. WER נמוך יותר מעיד על תוצאה טובה יותר ועל פחות שגיאות. המודלים העדכניים שלנו להמרת דיבור לטקסט משיגים WER נמוך יותר במגוון מבחני ביצועים, ובהם FLEURS (Few-shot Learning Evaluation of Universal Representations of Speech) — מבחן ביצועים רב-לשוני לדיבור, הכולל יותר מ-100 שפות ומשתמש בדגימות אודיו שתומללו ידנית. התוצאות מעידות על תמלול מדויק יותר ועל תמיכה אמינה יותר במגוון שפות. כפי שמוצג כאן, המודלים שלנו עולים באופן עקבי על Whisper v2 ועל Whisper v3 בכל הערכות הביצועים לפי שפה.
במבחן FLEURS, המודלים שלנו משיגים שיעור שגיאות מילים (WER) נמוך יותר וביצועים טובים במגוון שפות. WER נמוך יותר מעיד על תוצאה טובה יותר ועל פחות שגיאות. כפי שמוצג כאן, ברוב השפות המרכזיות המודלים שלנו משתווים למודלים מובילים אחרים או עולים עליהם.
אנחנו משיקים גם מודל חדש, gpt-4o-mini-tts, שמציע יכולת משופרת להכוונת אופן הדיבור. לראשונה, מפתחים יכולים "להנחות" את המודל לא רק מה לומר, אלא גם איך לומר זאת — וליצור חוויות מותאמות יותר במגוון שימושים, משירות לקוחות ועד לסיפור סיפורים יצירתי. המודל זמין ב-API להמרת טקסט לדיבור(נפתח בחלון חדש). חשוב לציין שהמודלים האלה להמרת טקסט לדיבור מוגבלים לקולות מלאכותיים שהוגדרו מראש. אנחנו מנטרים אותם כדי לוודא שהם תואמים בעקביות להגדרות הקול הסינתטי שנקבעו.
מודלי האודיו החדשים שלנו מבוססים על הארכיטקטורות של GPT‑4o ו-GPT‑4o‑mini ועוברים אימון מקדים נרחב על מערכי נתונים ייעודיים המתמקדים באודיו, שמילאו תפקיד מכריע בשיפור ביצועי המודלים. הגישה הממוקדת הזו מאפשרת הבנה עמוקה יותר של דקויות בדיבור וביצועים יוצאי דופן במגוון משימות אודיו.
שיפרנו את טכניקות הזיקוק שלנו, שמאפשרות להעביר ידע ממודלי האודיו הגדולים ביותר שלנו למודלים קטנים ויעילים יותר. באמצעות שיטות מתקדמות של משחק עצמי, מערכי הנתונים שלנו לזיקוק משקפים היטב דינמיקה מציאותית של שיחה ומשחזרים אינטראקציות אמיתיות בין משתמש לעוזר. כך המודלים הקטנים שלנו יכולים לספק שיחות באיכות מצוינת ולהגיב במהירות.
במודלים שלנו להמרת דיבור לטקסט שילבנו גישה הנשענת במידה רבה על למידת חיזוק (RL), והבאנו את דיוק התמלול לרמה המתקדמת ביותר בתחום. השיטה הזו משפרת באופן דרמטי את הדיוק ומצמצמת הזיות, כך שהפתרונות שלנו להמרת דיבור לטקסט תחרותיים במיוחד גם בתרחישים מורכבים של זיהוי דיבור.
הפיתוחים האלה מקדמים את תחום מודלי האודיו ומשלבים שיטות חדשניות עם שיפורים מעשיים, לטובת ביצועים טובים יותר ביישומי דיבור.
מודלי האודיו החדשים זמינים כעת לכל המפתחים — מידע נוסף על פיתוח עם אודיו זמין כאן(נפתח בחלון חדש). למפתחים שכבר בונים חוויות שיחה עם מודלים מבוססי טקסט, הדרך הפשוטה ביותר לבנות סוכן קולי היא להוסיף את המודלים שלנו להמרת דיבור לטקסט וטקסט לדיבור. אנחנו משיקים אינטגרציה עם Agents SDK(נפתח בחלון חדש), שמפשטת את תהליך הפיתוח הזה. למפתחים שמעוניינים לבנות חוויות speech-to-speech עם השהיה נמוכה, אנחנו ממליצים לפתח באמצעות מודלי ה-speech-to-speech שלנו ב-Realtime API.
בהמשך, אנחנו מתכננים להמשיך להשקיע בשיפור התבונה והדיוק של מודלי האודיו שלנו, ולבחון דרכים שיאפשרו למפתחים להשתמש בקולות מותאמים משלהם כדי לבנות חוויות אישיות עוד יותר, תוך עמידה בתקני הבטיחות שלנו. בנוסף, אנחנו ממשיכים לקיים שיח עם קובעי מדיניות, חוקרים, מפתחים ויוצרים על האתגרים וההזדמנויות שקולות סינתטיים עשויים להביא איתם. אנחנו מצפים לראות את היישומים החדשניים והיצירתיים שמפתחים יבנו באמצעות יכולות האודיו המשופרות האלה. נשקיע גם בסוגי מדיה נוספים — כולל וידאו — כדי לאפשר למפתחים לבנות חוויות אג'נטיות רב-מודאליות.
מחברים
מובילי המחקר
כריסטינה קים, ג'ונחואה מאו, יי שן, יו ג'אנג
שותפים לעשייה
מחקר
אלכס פיינו, בואן צ'נג, צ'נגשו ג'ואנג, כריס קוך, דמיאן מרובצה, אריק ריטר, ג'ייקוב מניק, ג'יימס בטקר, ג'י לין, ג'יימי קירוס, ג'יהווי יו, ליאנג ג'ואו, ליו צ'ן, קווין לו, מדליין בויד, מייקל למפה, מייק היטון, נאנשין צ'ן, ניטיש קסקר, סאצ'י ג'יין, סם טויזר, סומאי ג'יין, טאו שו, תומר קפלן, ויי האן, שיאנגנינג צ'ן, יה ג'יה
הנדסה
אלינה וו, אנדרס גרסיה גרסיה, ארשי בהטנגר, אביטל אוליבר, ברנדן קווין, כריסטינה הואנג, דייוויד פאנג, דראגוש אופריקה, דומיניק קונדל, אדדה אויוו, ירוסלב טוורדוחליב, ג'יהצ'נג פנג, ג'יי צ'ן, ג'ניה וראווה, ג'ורדן סיטקין, ג'וזף פלורנסיו, ליאן ממיצוקה, מאדא אפלק, מנולי ליודקיס, מארק הדנל, נואה מקאלום, אולה אוקלולה, פיטר בקום, רוהן מהטה, רומן יואה, ואנינג ג'יאנג, ויין צ'אנג, ייליי צ'יין
מוצר
אנובה שריווסטווה, ג'קי שאנון, ג'ף האריס, ריאה מיארה, שיאולין האו
ליווי ותמיכה מטעם ההנהלה
איידן קלארק, אנדרו גיביאנסקי, דייוויד ססאקי, קווין וייל, ליאם פדוס, מארק צ'ן, ניק ריידר, ניק טרלי, אוליבייה גודמן, פרפולה דריוואל, שנגג'יה ג'או, שוצ'או בי, שרווין וו, סולמן צ'ודרי