Представляем вашему вниманию Whisper

Whisper — это система автоматического распознавания речи (ASR), обученная на 680 000 часах многоязычных и многозадачных размеченных данных, собранных из веб-источников. Мы показываем, что использование столь крупного и разнообразного набора данных повышает устойчивость модели к акцентам, фоновому шуму и технической лексике. Кроме того, модель способна выполнять транскрипцию на разных языках и переводить речь с этих языков на английский. Мы открываем исходный код моделей и инференс-код, чтобы они могли служить основой для разработки приложений и дальнейших исследований в области надежного распознавания речи.

Архитектура Whisper представляет собой простой сквозной подход на базе Transformer-модели типа «энкодер–декодер». Вводное аудио разбивается на 30-секундные фрагменты, конвертируется в логарифмированную мел-спектрограмму и подается в энкодер. Декодер обучается генерировать текст, включая специальные токены, которые позволяют модели выполнять такие задачи, как определение языка, таймкоды на уровне фраз, многоязычную транскрипцию речи и перевод речи на английский.

Другие существующие подходы обычно опираются на меньшие и более точно согласованные аудио-текстовые наборы данных^{1 2, 3} либо используют широкое, но неаннотированное предварительно аудио-обучение.^{4, 5, 6} Поскольку модель Whisper обучалась на большом и разнообразном наборе данных и не проходила дополнительное обучение под какой-то один конкретный набор, она не превосходит специализированные модели, оптимизированные для LibriSpeech, одного из самых конкурентных эталонных тестов в распознавании речи. Однако при оценке zero-shot (без обучения на целевой задаче) на многочисленных разных наборах данных мы видим, что Whisper гораздо более устойчива и допускает на 50 % меньше ошибок по сравнению с такими моделями.

Около трети набора аудио данных Whisper составляет речь не на английском. Модели попеременно дается задача либо транскрибировать речь на исходном языке, либо переводить на английский. Такой подход оказался особенно эффективным для обучения переводу речи в текст: в режиме zero-shot он превосходит лучшие на сегодня модели, обученные на тесте перевода на английский CoVoST2.

Мы надеемся, что высокая точность и простота использования Whisper позволят разработчикам добавлять голосовые интерфейсы в гораздо более широкий круг приложений. Ознакомьтесь со статьей⁠(открывается в новом окне), карточкой модели⁠(открывается в новом окне) и кодом⁠(открывается в новом окне) , чтобы узнать подробности и попробовать Whisper в работе.