Whisperനെ പരിചയപ്പെടുത്തുന്നു

Whisper വെബിൽ നിന്ന് ശേഖരിച്ച 680,000 മണിക്കൂർ ബഹുഭാഷാ, മൾട്ടിടാസ്ക് മേൽനോട്ടത്തിലുള്ള ഡാറ്റയിൽ പരിശീലനം ലഭിച്ച ഓട്ടോമാറ്റിക് സ്പീച്ച് റെക്കഗ്നിഷൻ (ASR) സംവിധാനമാണ്. ഇത്തരം വലുതും വൈവിധ്യമാർന്നതുമായ ഡാറ്റാസെറ്റിന്റെ ഉപയോഗം ഉച്ചാരണങ്ങൾ, പശ്ചാത്തല ശബ്ദം, സാങ്കേതിക ഭാഷ എന്നിവയോടുള്ള മെച്ചപ്പെട്ട പ്രതിരോധശേഷിയിലേക്ക് നയിക്കുന്നുവെന്ന് ഞങ്ങൾ കാണിക്കുന്നു. മുകളിൽ പറഞ്ഞതുപോലെ, ഇത് പല ഭാഷകളിലും ട്രാൻസ്ക്രിപ്ഷനും, ആ ഭാഷകളിൽ നിന്ന് ഇംഗ്ലീഷിലേക്ക് പരിഭാഷയും പ്രവർത്തന സജ്ജമാക്കുന്നു. ഉപയോഗപ്രദമായ ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കുന്നതിനും കരുത്തുറ്റ വാക്ക് പ്രോസസ്സിംഗിനെക്കുറിച്ചുള്ള കൂടുതൽ ഗവേഷണങ്ങൾക്കും അടിസ്ഥാനമായി പ്രവർത്തിക്കുന്നതിന് ഞങ്ങൾ മോഡലുകളും അനുമാന കോഡും ഓപ്പൺ-സോഴ്സ് ചെയ്യുന്നു.

Whisper ആർക്കിടെക്ചർ ഒരു ലളിതമായ എൻഡ്-ടു-എൻഡ് സമീപനമാണ്, ഇത് എൻകോഡർ-ഡീകോഡർ ട്രാൻസ്ഫോർമറായി നടപ്പിലാക്കുന്നു. ഇൻപുട്ട് ഓഡിയോ 30-സെക്കൻഡ് ചങ്കുകളായി വിഭജിക്കപ്പെടുന്നു, ലോഗ്-മെൽ സ്പെക്ട്രോഗ്രാമിലേക്ക് പരിവർത്തനം ചെയ്യപ്പെടുന്നു, തുടർന്ന് എൻകോഡറിലേക്ക് അയയ്ക്കപ്പെടുന്നു. ഒരു ഡീകോഡർ, ഭാഷാ തിരിച്ചറിയൽ, പദാവല-തല ടൈംസ്റ്റാമ്പുകൾ, ബഹുഭാഷാ സംഭാഷണ ട്രാൻസ്ക്രിപ്ഷൻ, ഇംഗ്ലീഷിലേക്ക് വിവർത്തനം തുടങ്ങിയ ടാസ്കുകൾ നടത്താൻ സിംഗിൾ മോഡലിനെ നയിക്കുന്ന പ്രത്യേക tokenകളുമായി ഇടകലർന്ന അനുബന്ധ ടെക്സ്റ്റ് അടിക്കുറിപ്പ് പ്രവചിക്കാൻ പരിശീലിപ്പിക്കുന്നു.

മറ്റു നിലവിലുള്ള സമീപനങ്ങൾ പതിവായി ചെറുതും കൂടുതൽ അടുത്ത ജോടിയാക്കിയതുമായ ഓഡിയോ-ടെക്സ്റ്റ് പരിശീലനം ഡാറ്റാസെറ്റുകൾ ഉപയോഗിക്കുന്നു, ^{1 2 3} അല്ലെങ്കിൽ വിശാലവും മേൽനോട്ടമില്ലാത്തതുമായ ഓഡിയോ പ്രീട്രെയിനിംഗ് ഉപയോഗിക്കുന്നു. ^{4 5 6} Whisper വലുതും വൈവിധ്യപൂർണ്ണവുമായ ഒരു ഡാറ്റാസെറ്റിൽ പരിശീലിപ്പിക്കപ്പെട്ടതിനാൽ, പ്രത്യേകമായ ഒരു ഡാറ്റാസെറ്റിനായി ഫൈൻ-ട്യൂൺ ചെയ്തിട്ടില്ല. അതിനാൽ, പ്രസിദ്ധമായ മത്സര മാനദണ്ഡമായ ലിബ്രിസ്പീച്ച് പ്രകടനത്തിൽ വൈദഗ്ദ്ധ്യം നേടിയ മോഡലുകളെ ഇത് മറികടക്കുന്നില്ല, ഇത് സംഭാഷണ തിരിച്ചറിയലിൽ ഒരു പ്രശസ്തമായ മത്സര മാനദണ്ഡമാണ്. എന്നിരുന്നാലും, വൈവിധ്യമാർന്ന ഡാറ്റാസെറ്റുകളിൽ Whisper-ന്റെ സീറോ-ഷോട്ട് പ്രകടനം അളക്കുമ്പോൾ, അത് കൂടുതൽ കരുത്തുറ്റതാണെന്നും ആ മോഡലുകളേക്കാൾ 50% കുറവ് പിശകുകൾ വരുത്തുന്നുണ്ടെന്നും ഞങ്ങൾ കണ്ടെത്തുന്നു.

Whisper-ന്റെ ഓഡിയോ ഡാറ്റാസെറ്റിൽ ഏകദേശം മൂന്നിലൊന്ന് ഭാഗം ഇംഗ്ലീഷല്ലാത്തതാണ്, കൂടാതെ ഇത് യഥാർത്ഥ ഭാഷയിൽ ട്രാൻസ്ക്രിപ്ഷൻ ചെയ്യുകയോ ഇംഗ്ലീഷിലേക്ക് വിവർത്തനം ചെയ്യുകയോ ചെയ്യാനുള്ള ടാസ്ക് മാറിമാറി നൽകപ്പെടുന്നു. സ്പീച്ച് ടു ടെക്സ്റ്റ് വിവർത്തനം പഠിക്കുന്നതിൽ ഈ സമീപനം പ്രത്യേകിച്ചും ഫലപ്രദമാണെന്ന് ഞങ്ങൾ കണ്ടെത്തുന്നു, കൂടാതെ CoVoST2-ൽ ഇംഗ്ലീഷിലേക്ക് സീറോ-ഷോട്ട് പരിഭാഷയിൽ മേൽനോട്ടം വഹിക്കുന്ന SOTA-യെ മറികടക്കുന്നു.

Whisper-ന്റെ ഉയർന്ന കൃത്യതയും ഉപയോഗിക്കാനുള്ള എളുപ്പവും ഡെവലപ്പർമാരെ വളരെ കൂടുതൽ ആപ്ലിക്കേഷനുകളിൽ വോയ്സ് ഇന്റർഫേസുകൾ ചേർക്കാൻ അനുവദിക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു. കൂടുതൽ വിശദാംശങ്ങൾ അറിയാനും Whisper പരീക്ഷിക്കാനും പേപ്പർ⁠(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു), മോഡൽ കാർഡ്⁠(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു), കോഡ്⁠(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) പരിശോധിക്കുക.