Memperkenalkan Whisper
Kami telah melatih dan membuka sumber rangkaian neural yang dinamakan Whisper yang menghampiri ketahanan dan ketepatan tahap manusia dalam pengecaman pertuturan bahasa Inggeris.
Whisper ialah sistem pengecaman pertuturan automatik (ASR) yang dilatih menggunakan 680,000 jam data diselia berbilang bahasa dan pelbagai tugas yang dikumpulkan dari web. Kami menunjukkan bahawa penggunaan set data yang begitu besar dan pelbagai meningkatkan ketahanan terhadap aksen, hingar latar belakang dan bahasa teknikal. Selain itu, Whisper membolehkan transkripsi dilakukan dalam pelbagai bahasa, serta terjemahan daripada bahasa-bahasa tersebut kepada bahasa Inggeris. Kami membuka sumber model dan kod inferens untuk dijadikan asas dalam membina aplikasi yang berguna dan untuk penyelidikan lanjut tentang pemprosesan pertuturan yang mantap.
Seni bina Whisper menggunakan pendekatan hujung ke hujung yang ringkas, yang dilaksanakan sebagai Transformer pengekod-penyahkod. Input audio dibahagikan kepada beberapa bahagian sepanjang 30 saat setiap satu, ditukar menjadi spektrogram log-Mel, kemudian dihantar kepada pengekod. Penyahkod dilatih untuk meramalkan kapsyen teks yang sepadan, dicampur dengan token khas yang mengarahkan model tunggal untuk melaksanakan tugas seperti pengenalpastian bahasa, cap masa peringkat frasa, transkripsi pertuturan berbilang bahasa dan terjemahan pertuturan kepada bahasa Inggeris.
Pendekatan lain yang sedia ada sering kali menggunakan set data latihan audio-teks yang lebih kecil dan lebih rapat,1 2 3 atau menggunakan pralatihan audio yang meluas tetapi tidak diselia.4 5 6 Oleh sebab Whisper dilatih pada set data yang besar dan pelbagai serta tidak diperhalusi kepada mana-mana set data tertentu, Whisper tidak dapat menandingi model yang pakar dalam prestasi LibriSpeech, penanda aras yang sangat kompetitif dalam pengecaman pertuturan. Namun, apabila kita mengukur prestasi zero-shot Whisper merentasi pelbagai set data, Whisper didapati lebih kukuh dan membuat 50% lebih sedikit kesalahan berbanding dengan model-model itu.
Kira-kira satu pertiga daripada set data audio Whisper bukan dalam bahasa Inggeris, dan Whisper secara bergantian diberi tugas untuk membuat transkripsi dalam bahasa asal atau terjemahan kepada bahasa Inggeris. Kami mendapati pendekatan ini sangat berkesan dalam mempelajari terjemahan ucapan kepada teks dan mengatasi SOTA yang diselia pada terjemahan CoVoST2 kepada bahasa Inggeris secara zero-shot.
Kami berharap ketepatan tinggi dan kemudahan penggunaan Whisper akan membolehkan pembangun menambahkan antara muka suara kepada set aplikasi yang lebih luas. Lihat kertas kerja(dibuka dalam tetingkap baru), kad model(dibuka dalam tetingkap baru) dan kod(dibuka dalam tetingkap baru) untuk mengetahui lebih lanjut dan mencuba Whisper.
Rujukan
- 1
Chan, W., Park, D., Lee, C., Zhang, Y., Le, Q., and Norouzi, M. SpeechStew: Simply mix all available speech recogni- tion data to train one large neural network. arXiv preprint arXiv:2104.02133, 2021(dibuka dalam tetingkap baru).
- 2
Galvez, D., Diamos, G., Torres, J. M. C., Achorn, K., Gopi, A., Kanter, D., Lam, M., Mazumder, M., and Reddi, V. J. The people’s speech: A large-scale diverse english speech recognition dataset for commercial usage. arXiv preprint arXiv:2111.09344, 2021(dibuka dalam tetingkap baru).
- 3
Chen, G., Chai, S., Wang, G., Du, J., Zhang, W.-Q., Weng, C., Su, D., Povey, D., Trmal, J., Zhang, J., et al. Gigaspeech: An evolving, multi-domain asr corpus with 10,000 hours of transcribed audio. arXiv preprint arXiv:2106.06909, 2021(dibuka dalam tetingkap baru).
- 4
Baevski, A., Zhou, H., Mohamed, A., and Auli, M. wav2vec 2.0: A framework for self-supervised learning of speech representations. arXiv preprint arXiv:2006.11477, 2020(dibuka dalam tetingkap baru).
- 5
Baevski, A., Hsu, W.N., Conneau, A., and Auli, M. Unsu pervised speech recognition. Advances in Neural Information Processing Systems, 34:27826–27839, 2021.
- 6
Zhang, Y., Park, D. S., Han, W., Qin, J., Gulati, A., Shor, J., Jansen, A., Xu, Y., Huang, Y., Wang, S., et al. BigSSL: Exploring the frontier of large-scale semi-supervised learning for automatic speech recognition. arXiv preprint arXiv:2109.13226, 2021(dibuka dalam tetingkap baru).
