Whisper-ஐ அறிமுகப்படுத்துகிறோம்

Whisper என்பது இணையத்திலிருந்து சேகரிக்கப்பட்ட 6,80,000 மணி நேர பன்மொழி மற்றும் பன்முக மேற்பார்வை தரவுகளின் அடிப்படையில் பயிற்சியளிக்கப்பட்ட தானியக்க பேச்சு அடையாளம் (ASR) முறைமையாகும். இத்தகைய பெரிய மற்றும் மாறுபட்ட தரவுத் தொகுப்பைப் பயன்படுத்துவது, உச்சரிப்புகள், பின்னணி இரைச்சல் மற்றும் தொழில்நுட்ப மொழி ஆகியவற்றில் மேம்பட்ட உறுதியை ஏற்படுத்துகிறது என்பதை நாங்கள் காட்டுகிறோம். மேலும், இது பல மொழிகளில் எழுத்துப் பதிவு செய்வதை செயல்படுத்துகிறது, அத்துடன் அந்த மொழிகளிலிருந்து ஆங்கிலத்திற்கு மொழிபெயர்ப்பு செய்வதையும் செயல்படுத்துகிறது. பயனுள்ள பயன்பாடுகளை உருவாக்கவும், உறுதியான பேச்சுச் செயலாக்கம் குறித்த மேலதிக ஆய்வுக்காகவும் ஒரு அடித்தளமாகச் செயல்படும் வகையில், நாங்கள் மாதிரிகளையும் மற்றும் இன்ஃபரன்ஸ் குறியீட்டையும் திறந்த மூலமாக்குகிறோம்.

Whisper-இன் கட்டமைப்பானது ஒரு எளிமையான எண்ட்-டு-எண்ட் அணுகுமுறையாகும். இது என்கோடர்-டீகோடர் ட்ரான்ஸ்ஃபார்மராக செயல்படுத்தப்பட்டுள்ளது உள்ளீட்டு ஆடியோவானது 30 வினாடி துண்டுகளாகப் பிரிக்கப்பட்டு, லாக்-மெல் ஸ்பெக்ட்ரோகிராமாக மாற்றப்பட்டு, பின்னர் குறியாக்கியாக அனுப்பப்படுகிறது. ஒரு டீகோடர் அதற்குரிய உரை தலைப்பை ஊகிக்கப் பயிற்சி அளிக்கப்படுகிறது. இது, ஒரு குறிப்பிட்ட மாதிரியை மொழி அடையாளம் காணுதல், சொற்றொடர்-நிலை நேர முத்திரைகள் , பலமொழிப் பேச்சுப் பதிவு மற்றும் ஆங்கிலத்திற்குப் பேச்சு மொழிபெயர்ப்பு போன்ற பணிகளைச் செய்ய வழிநடத்தும் சிறப்பு டோக்கன்களுடன் கலக்கப்படுகிறது.

பிற தற்போதைய அணுகுமுறைகள் பொதுவாக சிறிய மற்றும் மிக நெருக்கமாக இணைக்கப்பட்ட ஆடியோ-உரை பயிற்சி தரவுத்தொகுப்புகளைப் பயன்படுத்துகின்றன ^{1 2 மற்றும் 3} அல்லது பரந்த, ஆனால் மேற்பார்வையற்ற ஆடியோ முன்-பயிற்சியைப் பயன்படுத்துகின்றன ^{4, 5 மற்றும் 6}. Whisper ஒரு பெரிய மற்றும் மாறுபட்ட தரவுத்தொகுப்பில் பயிற்சி பெற்றதால், எந்தவொரு குறிப்பிட்ட ஒன்றிற்கும் நுணுக்கமாக இசைவிக்கப்படாததால், பேச்சு அங்கீகாரத்தில் பிரபலமான போட்டித் தரமான LibriSpeech-இல் சிறப்பாகச் செயல்படும் மாடல்களை இது விஞ்சுவதில்லை. எனினும், பல மாறுபட்ட தரவுத் தொகுப்புகளில் Whisper-இன் 'ஜீரோ-ஷாட்' செயல்திறனை நாம் அளவிடும்போது, அது அதிக உறுதியுடன் இருப்பதையும், அந்த மாதிரிகளைக் காட்டிலும் 50% குறைவான பிழைகளைச் செய்வதையும் காண்கிறோம்.

Whisper-இன் ஆடியோ தரவுத் தொகுப்பில் மூன்றில் ஒரு பங்கு ஆங்கிலம் அல்லாதவை. மேலும், அது அசல் மொழியில் எழுத்துப் பதிவு செய்யும் பணி அல்லது ஆங்கிலத்திற்கு மொழிபெயர்க்கும் பணி என மாறி மாறி கொடுக்கப்படுகிறது. இந்த அணுகுமுறை பேச்சுக்கு உரை மொழிபெயர்ப்பைக் கற்றுக்கொள்வதில் மிகவும் பயனுள்ளதாக இருக்கிறது என்பதைக் காண்கிறோம். மேலும், இது CoVoST2 ஆங்கில மொழிபெயர்ப்பு ஜீரோ-ஷாட்டில் மேற்பார்வையிடப்பட்ட SOTA-வை விஞ்சுகிறது.

Whisper-இன் அதிக துல்லியமும், பயன்படுத்துவதற்கான எளிமையும், உருவாக்குபவர்கள் குரல் இடைமுகங்களை இன்னும் பரந்த அளவிலான பயன்பாடுகளில் சேர்க்க அனுமதிக்கும் என்று நாங்கள் நம்புகிறோம். மேலும் விவரங்களை அறிய ஆய்வுக் கட்டுரை⁠(புதிய சாளரத்தில் திறக்கும்), மாதிரி அட்டை⁠(புதிய சாளரத்தில் திறக்கும்), மற்றும் குறியீட்டை⁠(புதிய சாளரத்தில் திறக்கும்)  பாருங்கள் மற்றும் Whisper ஐ முயற்சிக்கவும் .