מציגים את Whisper

Whisper היא מערכת לזיהוי דיבור אוטומטי (ASR), שאומנה על 680,000 שעות של נתונים שנאספו מהאינטרנט לאימון מונחה במגוון שפות ומשימות. אנו מראים שהשימוש במערך נתונים כה גדול ומגוון משפר את העמידות בפני מבטאים, רעשי רקע ושפה טכנית. נוסף על כך, הוא מאפשר תמלול בשפות רבות, וכן תרגום משפות אלו לאנגלית. אנו משחררים בקוד פתוח מודלים וקוד להסקה, שישמשו בסיס לפיתוח יישומים שימושיים ולמחקר נוסף על עיבוד דיבור עמיד.

הארכיטקטורה של Whisper מבוססת על גישה פשוטה מקצה לקצה, המיושמת כטרנספורמר מסוג מקודד-מפענח. האודיו המתקבל כקלט מחולק למקטעים באורך 30 שניות, מומר לספקטרוגרמת log-Mel ואז מועבר למקודד. המפענח מאומן לחזות את הטקסט התואם, בשילוב טוקנים מיוחדים המנחים מודל יחיד לבצע משימות כמו זיהוי שפה, הוספת חותמות זמן ברמת הביטוי, תמלול דיבור במגוון שפות ותרגום דיבור לאנגלית.

גישות קיימות אחרות משתמשות לעיתים קרובות במערכי נתוני אימון קטנים יותר, שבהם ההתאמה בין האודיו לטקסט הדוקה יותר,^{1 2 ו-3} או באימון מקדים נרחב אך לא מונחה על אודיו.^{4, 5 ו-6} מכיוון ש-Whisper אומן על מערך נתונים גדול ומגוון ולא עבר כוונון עדין למערך מסוים, הוא אינו עולה בביצועיו על מודלים המתמחים ב-LibriSpeech, אמת מידה לזיהוי דיבור הידועה בתחרות העזה סביבה. עם זאת, כשאנו מודדים את ביצועי ה-zero-shot של Whisper על פני מערכי נתונים רבים ומגוונים, אנו מוצאים שהוא עמיד הרבה יותר ושמספר השגיאות שלו נמוך ב-50% מזה של אותם מודלים.

כשליש ממערך נתוני האודיו של Whisper הוא בשפות שאינן אנגלית, והמודל מקבל לסירוגין משימת תמלול בשפת המקור או משימת תרגום לאנגלית. מצאנו שגישה זו יעילה במיוחד ללמידת תרגום מדיבור לטקסט, ובתרגום לאנגלית בתנאי zero-shot על CoVoST2 היא אף עולה על הביצועים המתקדמים ביותר שהושגו בלמידה מונחית.

אנו מקווים שהדיוק הגבוה וקלות השימוש ב-Whisper יאפשרו למפתחים להוסיף ממשקים קוליים למגוון רחב הרבה יותר של יישומים. עיינו במאמר⁠(נפתח בחלון חדש), בכרטיס המודל⁠(נפתח בחלון חדש) ובקוד⁠(נפתח בחלון חדש) כדי ללמוד עוד ולהתנסות ב-Whisper.