Ipinapakilala ang Whisper

Ang Whisper ay isang awtomatikong system ng pagkilala sa pagsasalita (ASR) na sinanay sa 680,000 oras ng multilingual at multitask na pinangangasiwaang data na nakolekta mula sa web. Ipinapakita namin na ang paggamit ng ganito kalaki at magkakaibang dataset ay humahantong sa pinahusay na katatagan sa mga accent, ingay sa background, at teknikal na wika. Bukod dito, ini-enable nito ang pag-transcribe sa maraming wika, pati na rin ang pagsasalin mula sa mga wikang iyon sa English. Inilalabas namin bilang open source ang mga modelo at inference code para magsilbing pundasyon sa paggawa ng kapaki-pakinabang na mga application at sa karagdagang pananaliksik sa mahusay na pagproseso ng pagsasalita.

Ang arkitektura ng Whisper ay isang simpleng end-to-end na pamamaraan, na ipinatupad bilang encoder-decoder Transformer. Hinahati sa mga 30-segundong bahagi ang input na audio, kino-convert sa log-Mel spectrogram, at pagkatapos ay ipinapasa sa encoder. Sinanay ang decoder para mahulaan ang kaukulang caption ng text, na may kasamang mga espesyal na token na nagdidirekta sa iisang modelo para magsagawa ng mga gawain tulad ng pagkakakilanlan ng wika, mga timestamp sa antas ng parirala, multilingual na pag-transcribe ng pagsasalita, at pagsasalin ng pagsasalita sa English.

Ang iba pang mga umiiral na pamamaraan ay kadalasang gumagamit ng mas maliliit at mas magkaugnay na mga dataset ng audio at teksto para sa pagsasanay,^{1 2, 3} o gumagamit ng malawak pero hindi pinangasiwaang pretraining sa audio.^{4, 5, 6} Dahil sinanay ang Whisper sa malaki at magkakaibang dataset at hindi naka-fine-tune sa anumang partikular na dateset, hindi nito nalalampasan ang mga modelong dalubhasa sa pagganap ng LibriSpeech, isang kilalang mapagkumpitensyang benchmark sa pagkilala ng pagsasalita. Gayunpaman, kapag sinusukat namin ang zero-shot na pagganap ng Whisper sa maraming magkakaibang dataset, nalaman namin na ito ay mas matatag at gumagawa ng 50% na mas kaunting error kaysa sa mga modelo.

Tungkol sa isang-katlo ng audio dataset ng Whisper ay hindi English, at salitan itong binibigyan ng gawain ng pag-transcribe sa orihinal na wika o pagsasalin sa English. Nalaman namin na ang pamamaraan na ito ay partikular na epektibo sa pag-aaral ng pagsasalin ng pagsasalita tungo sa text at mas mahusay kaysa sa pinangangasiwaang SOTA sa CoVoST2 sa pagsasalin sa English na zero-shot.

Umaasa kami na ang mataas na katumpakan at kadalian ng paggamit ng Whisper ay magbibigay-daan sa mga developer na magdagdag ng mga voice interface sa mas malawak na hanay ng mga application. Tingnan ang papel⁠(magbubukas sa bagong window), model card⁠(magbubukas sa bagong window), at code⁠(magbubukas sa bagong window) para malaman ang higit pang mga detalye at subukan ang Whisper.