Apresentamos o Whisper

O Whisper é um sistema de reconhecimento automático de fala (ASR) treinado com 680 mil horas de dados supervisionados multilíngues e multitarefas, recolhidos da web. Demonstramos que o uso de um conjunto de dados tão grande e diversificado leva a uma maior robustez em relação a sotaques, ruídos de fundo e linguagem técnica. Além disso, permite a transcrição em várias línguas, bem como a tradução dessas línguas para inglês. Estamos a disponibilizar modelos e códigos de inferência em código aberto para servir como base para a criação de aplicações úteis e para futuras investigações sobre processamento robusto de fala.

A arquitetura Whisper é uma abordagem simples de ponta a ponta, implementada como um transformador codificador-descodificador. A entrada de áudio é dividida em segmentos de 30 segundos, convertida num espectrograma log-Mel e enviada depois para um codificador. Um descodificador é treinado para prever a legenda de texto correspondente, intercalada com tokens especiais que orientam o modelo único para executar tarefas como a identificação de línguas, registos de tempo a nível da frase, transcrição de fala multilingue e tradução de fala para inglês.

Outras abordagens existentes utilizam frequentemente conjuntos de dados de treino áudio-texto mais pequenos e parecidos,^{1 2, 3} ou utilizam pré-treino de áudio amplo, mas não supervisionado.^{4, 5, 6} Como o Whisper foi treinado num conjunto de dados amplo e diversificado, e não foi ajustado para nenhum conjunto específico, não supera os modelos especializados em desempenho do LibriSpeech, um benchmark famoso por ser competitivo em reconhecimento de fala. No entanto, ao avaliarmos o desempenho zero-shot do Whisper em diversos conjuntos de dados, verificámos que é muito mais robusto e comete 50% menos erros do que estes modelos.

Cerca de um terço do conjunto de dados áudio do Whisper não é em inglês, e é-lhe solicitado que transcreva na língua original ou traduza para inglês. Consideramos que esta abordagem é particularmente eficaz na aprendizagem da tradução de fala para texto e supera o SOTA supervisionado no CoVoST2 para tradução zero-shot para inglês.

Esperamos que, com a alta precisão e facilidade de uso do Whisper, os programadores possam adicionar interfaces de voz a um conjunto muito mais amplo de aplicações. Consulta o artigo⁠(abre numa nova janela), o cartão do modelo⁠(abre numa nova janela) e o código⁠(abre numa nova janela) para saber mais detalhes e experimentar o Whisper.