Пропонуємо до вашої уваги Whisper.

Whisper — це система автоматичного розпізнавання мовлення (ASR), навчена на 680 000 годинах багатомовних і багатозадачних розмічених даних, зібраних із веб-джерел. Ми демонструємо, що настільки масштабний і різноманітний набір даних підвищує стійкість моделі до акцентів, фонового шуму та фахової лексики. Крім того, модель може транскрибувати мовлення різними мовами та перекладати його англійською. Ми відкриваємо вихідний код моделей і код інференсу, щоб вони могли бути основою для створення застосунків і подальших досліджень у галузі надійного розпізнавання мовлення.

Архітектура Whisper заснована на простому наскрізному підході, побудованому на Transformer-моделі типу «енкодер–декодер». Вхідне аудіо розбивається на 30-секундні фрагменти, перетворюється на логарифмовану мел-спектрограму та передається в енкодер. Декодер навчається генерувати текст, зокрема спеціальні токени, які дають моделі змогу виконувати такі завдання, як визначення мови, таймкоди на рівні фраз, багатомовна транскрипція мовлення та переклад мовлення англійською.

Інші наявні підходи зазвичай спираються на менші та точніше узгоджені аудіотекстові набори даних,^{1 2, 3} або використовують великі, але неанотовані аудіоматеріали для попереднього навчання.^{4, 5, 6} Оскільки модель Whisper навчена на великому й різноманітному масиві даних і не проходила додаткового навчання на якомусь одному певному наборі, вона не перевершує спеціалізовані моделі, оптимізовані для LibriSpeech — одного з найконкурентніших еталонних тестів у сфері розпізнавання мовлення. Проте під час оцінювання у режимі zero-shot (без навчання для цільової задачі) на численних різних наборах даних ми бачимо, що Whisper значно стійкіша й припускається на 50 % менше помилок порівняно з такими моделями.

Близько третини аудіоданих Whisper становить неангломовне мовлення. Моделі почергово ставиться завдання або транскрибувати мовлення вихідною мовою, або перекладати його англійською. Такий підхід виявився особливо ефективним для навчання перетворенню мовлення на текст: у режимі zero-shot він перевершує найкращі на сьогодні моделі, спеціально натреновані на тесті перекладу англійською CoVoST2.

Сподіваємося, що висока точність і простота використання Whisper дадуть змогу розробникам впроваджувати голосові інтерфейси в значно ширший спектр застосунків. Ознайомтеся зі статтею⁠(відкривається у новому вікні), карткою моделі⁠(відкривається у новому вікні) та кодом⁠(відкривається у новому вікні), щоб дізнатися більше й спробувати Whisper у роботі.