Παρουσίαση του Whisper

Το Whisper αποτελεί σύστημα αυτόματης αναγνώρισης ομιλίας (ASR) το οποίο εκπαιδεύτηκε με 680.000 ώρες πολύγλωσσων και πολλαπλών εργασιών δεδομένων που συλλέχθηκαν από το διαδίκτυο. Δείχνουμε ότι η χρήση ενός τόσο μεγάλου και ποικίλου συνόλου δεδομένων οδηγεί σε βελτιωμένη ανθεκτικότητα στις προφορές, στον θόρυβο στο παρασκήνιο και στην τεχνική γλώσσα. Επιπλέον, επιτρέπει μεταγραφή σε πολλές γλώσσες, καθώς και μετάφραση από τις γλώσσες αυτές προς τα αγγλικά. Αποτελούμε μοντέλα ανοιχτού κώδικα και κώδικα συμπερασμάτων για να αποτελέσουμε βάση για τη δημιουργία χρήσιμων εφαρμογών, καθώς επίσης για περαιτέρω έρευνα σχετικά με την ισχυρή επεξεργασία ομιλίας.

Η αρχιτεκτονική Whisper αποτελεί μια απλή προσέγγιση από άκρο σε άκρο, η οποία εφαρμόζεται ως μετασχηματιστής κωδικοποιητή-αποκωδικοποιητή. Ο ήχος εισόδου χωρίζεται σε κομμάτια των 30 δευτερολέπτων, μετατρέπεται σε φασματογράφημα τύπου log-Mel και στη συνέχεια αποστέλλεται σε έναν κωδικοποιητή. Ένας αποκωδικοποιητής εκπαιδεύεται να προβλέπει την αντίστοιχη λεζάντα κειμένου, αναμεμειγμένη με ειδικά token που καθοδηγούν το μοντέλο να εκτελεί εργασίες όπως αναγνώριση γλώσσας, χρονικές σημάνσεις σε επίπεδο φράσης, πολύγλωσση μεταγραφή ομιλίας και μετάφραση ομιλίας προς τα αγγλικά.

Άλλες υπάρχουσες προσεγγίσεις χρησιμοποιούν συχνά μικρότερα, πιο στενά αντιστοιχισμένα σύνολα δεδομένων εκπαίδευσης ήχου-κειμένου,^{1 2, 3} ή χρησιμοποιούν ευρεία αλλά μη επιβλεπόμενη προεκπαίδευση ήχου.^{4, 5, 6} Επειδή το Whisper εκπαιδεύτηκε σε ένα μεγάλο και ποικίλο σύνολο δεδομένων και δεν προσαρμόστηκε σε κάποιο συγκεκριμένο, δεν κερδίζει τα μοντέλα που εξειδικεύονται στην απόδοση του LibriSpeech, ένα διάσημο ανταγωνιστικό ορόσημο στην αναγνώριση ομιλίας. Ωστόσο, όταν μετράμε την απόδοση μηδενικής προσπάθειας του Whisper σε πολλά διαφορετικά σύνολα δεδομένων, διαπιστώνουμε ότι είναι πολύ πιο ανθεκτικό και κάνει 50% λιγότερα σφάλματα από εκείνα τα μοντέλα.

Περίπου το ένα τρίτο του συνόλου δεδομένων ήχου του Whisper δεν είναι στα αγγλικά, ενώ του ανατίθεται εναλλάξ η εργασία μεταγραφής στην αρχική γλώσσα ή μετάφρασης στα αγγλικά. Θεωρούμε ότι η προσέγγιση αυτή είναι ιδιαίτερα αποτελεσματική στην εκμάθηση της μετάφρασης ομιλίας σε κείμενο και ξεπερνά το εποπτευόμενο SOTA στο CoVoST2 για μετάφραση στα αγγλικά με μηδενική προσπάθεια.

Ελπίζουμε ότι η υψηλή ακρίβεια και η ευκολία χρήσης του Whisper θα επιτρέψουν στους προγραμματιστές να προσθέσουν φωνητικά περιβάλλοντα χρήστη σε ένα πολύ ευρύτερο σύνολο εφαρμογών. Δες την εργασία⁠(ανοίγει σε νέο παράθυρο), την κάρτα μοντέλου⁠(ανοίγει σε νέο παράθυρο) και τον κώδικα⁠(ανοίγει σε νέο παράθυρο) για να μάθεις περισσότερες λεπτομέρειες και να δοκιμάσεις το Whisper.