Wir stellen vor: Whisper

Whisper ist ein System zur automatischen Spracherkennung (ASR), das mit 680.000 Stunden mehrsprachiger und multitaskingfähiger überwachter Daten aus dem Internet trainiert wurde. Wir zeigen, dass die Verwendung eines so großen und vielfältigen Datensatzes zu einer verbesserten Robustheit hinsichtlich Akzenten, Hintergrundgeräuschen und Fachsprache führt. Darüber hinaus ermöglicht Whisper die Transkription in mehrere Sprachen sowie die Übersetzung aus diesen Sprachen ins Englische. Wir stellen Modelle und Inferenzcode als Open Source zur Verfügung, die als Grundlage für die Entwicklung nützlicher Anwendungen und für die weitere Forschung zur robusten Sprachverarbeitung dienen können.

Die Architektur von Whisper ist ein einfacher, durchgehender Ansatz, der als Encoder-Decoder-Transformator implementiert ist. Das eingegebene Audiomaterial wird in 30-Sekunden-Blöcke aufgeteilt, in ein Log-Mel-Spektrogramm umgewandelt und dann an einen Encoder übergeben. Ein Decoder wird darauf trainiert, die entsprechenden Untertitel vorherzusagen, vermischt mit speziellen Token, die das einzelne Modell anweisen, Aufgaben wie Spracherkennung, Zeitstempel auf Wortverbindungsebene, mehrsprachige Sprachtranskription und Sprachübersetzung ins Englische auszuführen.

Andere bestehende Ansätze verwenden häufig kleinere, enger gepaarte Audio-Text-Trainingsdatensätze^{1 2 und 3} oder ein breites, aber unüberwachtes Audio-Pre-Training.^{4, 5 und 6} Da Whisper anhand eines großen und vielfältigen Datensatzes trainiert und nicht auf einen bestimmten Datensatz optimiert wurde, schlägt es keine Modelle, die auf die Leistung von LibriSpeech spezialisiert sind, einer bekanntermaßen leistungsstarken Benchmark in der Spracherkennung. Wenn wir jedoch die Zero-Shot-Leistung von Whisper anhand vieler unterschiedlicher Datensätze messen, stellen wir fest, dass es wesentlich robuster ist und 50 % weniger Fehler als diese Modelle aufzeigt.

Etwa ein Drittel des Audio-Datensatzes von Whisper ist nicht in Englisch und die Aufgabe besteht abwechselnd darin, in die Originalsprache zu transkribieren oder ins Englische zu übersetzen. Wir erachten diesen Ansatz beim Erlernen der Übersetzung von Sprache in Text als besonders effektiv und als dem überwachten SOTA bei der Zero-Shot-Übersetzung von CoVoST2 ins Englische überlegen.

Wir hoffen, dass die hohe Genauigkeit und Benutzerfreundlichkeit von Whisper es Entwicklern ermöglichen wird, Sprachschnittstellen zu einem breiteren Anwendungsspektrum hinzuzufügen. Sieh dir den Artikel⁠(wird in einem neuen Fenster geöffnet), die Modellkarte⁠(wird in einem neuen Fenster geöffnet) und den Code⁠(wird in einem neuen Fenster geöffnet) an, um mehr zu erfahren und Whisper zu testen.