Το OpenAI Privacy Filter είναι εδώ

Σήμερα, παρουσιάζουμε το OpenAI Privacy Filter, ένα μοντέλο ανοικτής στάθμισης για τον εντοπισμό και την απόκρυψη προσωπικά αναγνωρίσιμων πληροφοριών (PII) σε κείμενο. Αυτή η κυκλοφορία αποτελεί μέρος της ευρύτερης προσπάθειάς μας να υποστηρίξουμε ένα πιο ανθεκτικό οικοσύστημα λογισμικού, παρέχοντας στους προγραμματιστές πρακτική υποδομή για να αναπτύσσουν με ασφάλεια λύσεις με ΤΝ, συμπεριλαμβανομένων εργαλείων⁠ και μοντέλων⁠ που καθιστούν τις ισχυρές δικλίδες προστασίας του απορρήτου και της ασφάλειας ευκολότερες στην εφαρμογή εξαρχής.

Το Privacy Filter είναι ένα μικρό μοντέλο με κορυφαίες ικανότητες ανίχνευσης δεδομένων προσωπικού χαρακτήρα. Έχει σχεδιαστεί για ροές εργασίας απορρήτου υψηλής απόδοσης και είναι σε θέση να εκτελεί ανίχνευση προσωπικά αναγνωρίσιμων πληροφοριών με επίγνωση του θεματικού πλαισίου σε μη δομημένο κείμενο. Μπορεί να εκτελείται τοπικά, πράγμα που σημαίνει ότι οι προσωπικά αναγνωρίσιμες πληροφορίες (PII) μπορούν να αποκρύπτονται ή να αφαιρούνται χωρίς να «απομακρύνονται» από τον υπολογιστή σας. Επεξεργάζεται αποτελεσματικά μεγάλες εισαγωγές κειμένου, λαμβάνοντας αποφάσεις απόκρυψης με ένα γρήγορο, ενιαίο έλεγχο.

Στην OpenAI, χρησιμοποιούμε μια προσαρμοσμένη έκδοση του Privacy Filter στις δικές μας ροές εργασίας που διαφυλάσσουν το απόρρητο. Αναπτύξαμε το Privacy Filter, επειδή πιστεύουμε ότι με τις πιο πρόσφατες δυνατότητες της ΤΝ θα μπορούσαμε να ανεβάσουμε τον πήχη για το απόρρητο πέρα από ό,τι διατίθεται ήδη στην αγορά. Η έκδοση του Privacy Filter που κυκλοφορούμε σήμερα επιτυγχάνει κορυφαίες επιδόσεις στον δείκτη αξιολόγησης PII-Masking-300k, αφού διορθώθηκε για ζητήματα επισήμανσης που εντοπίσαμε κατά την αξιολόγηση.

Με αυτήν την έκδοση, οι προγραμματιστές μπορούν να χρησιμοποιούν το Privacy Filter στα δικά τους περιβάλλοντα, να το προσαρμόζουν στα δικά τους σενάρια χρήσης και να ενσωματώνουν ισχυρότερους μηχανισμούς προστασίας απορρήτου στις διαδικασίες εκπαίδευσης, ευρετηρίασης, καταγραφής και ελέγχου.

Η προστασία του απορρήτου στα σύγχρονα συστήματα ΤΝ εξαρτάται από περισσότερους παράγοντες από την απλή αντιστοίχιση μοτίβων. Τα παραδοσιακά εργαλεία ανίχνευσης προσωπικά αναγνωρίσιμων πληροφοριών συχνά βασίζονται σε ντετερμινιστικούς κανόνες για μορφότυπα όπως αριθμοί τηλεφώνου και διευθύνσεις email. Μπορούν να λειτουργούν καλά σε περιορισμένες περιπτώσεις, αλλά συχνά δεν εντοπίζουν πιο λεπτές προσωπικές πληροφορίες και δυσκολεύονται με τα συμφραζόμενα.

Το Privacy Filter έχει σχεδιαστεί με γνώμονα τη βαθύτερη κατανόηση της γλώσσας και του θεματικού πλαισίου, για πιο αποδοτική λειτουργία με μεγαλύτερη ακρίβεια. Συνδυάζοντας ισχυρή κατανόηση της γλώσσας με ένα σύστημα επισήμανσης ειδικά σχεδιασμένο για την προστασία του απορρήτου, μπορεί να ανιχνεύει ευρύτερο φάσμα προσωπικά αναγνωρίσιμων πληροφοριών σε μη δομημένο κείμενο, συμπεριλαμβανομένων περιπτώσεων όπου η σωστή απόφαση εξαρτάται από το θεματικό πλαίσιο. Το μοντέλο μπορεί να διακρίνει καλύτερα μεταξύ πληροφοριών που πρέπει να διατηρηθούν επειδή είναι δημόσιες και πληροφοριών που πρέπει να αποκρυφτούν ή να απαλειφθούν επειδή αφορούν έναν ιδιώτη.

Το αποτέλεσμα είναι ένα μοντέλο που είναι αρκετά ισχυρό ώστε να προσφέρει απόδοση κορυφαίου επιπέδου στο φιλτράρισμα απορρήτου. Ταυτόχρονα, το μοντέλο είναι αρκετά μικρό ώστε να εκτελείται τοπικά — δηλαδή τα δεδομένα που δεν έχουν ακόμη φιλτραριστεί μπορούν να παραμένουν στη συσκευή, με μικρότερο κίνδυνο έκθεσης, αντί να πρέπει να αποστέλλονται σε διακομιστή για αποταυτοποίηση. 

Το Privacy Filter είναι ένα αμφίδρομο μοντέλο ταξινόμησης token με αποκωδικοποίηση εύρους. Ξεκινά από ένα προεκπαιδευμένο σημείο ελέγχου αυτοπαλινδρομικού μοντέλου και, στη συνέχεια, προσαρμόζεται σε εργαλείο ταξινόμησης token πάνω σε μια σταθερή ταξινόμηση ετικετών απορρήτου. Αντί να παράγει κείμενο token προς token, επισημαίνει μια ακολουθία εισαγωγής σε ένα μόνο πέρασμα και, στη συνέχεια, αποκωδικοποιεί συνεκτικά τμήματα με μια περιορισμένη διαδικασία Viterbi.

Αυτή η αρχιτεκτονική προσφέρει στο Privacy Filter ορισμένες χρήσιμες ιδιότητες για χρήση σε περιβάλλον παραγωγής:

• Είναι γρήγορο και αποτελεσματικό: Όλα τα token επισημαίνονται σε ένα μόνο πέρασμα προς τα εμπρός.
• Αντιλαμβάνεται το θεματικό πλαίσιο: Η προηγούμενη γλώσσα επιτρέπει τον εντοπισμό σημείων με προσωπικά αναγνωρίσιμες πληροφορίες με βάση το περιβάλλον θεματικό πλαίσιο.
• Υποστηρίζει μακροσκελές θεματικό πλαίσιο: Το μοντέλο που κυκλοφόρησε υποστηρίζει έως και 128.000 token θεματικού πλαισίου.
• Είναι παραμετροποιήσιμο: Οι προγραμματιστές μπορούν να ρυθμίζουν τα σημεία λειτουργίας ώστε να εξισορροπούν την ανάκληση και την ακρίβεια ανάλογα με τη ροή εργασίας τους.

Το μοντέλο που κυκλοφόρησε έχει 1,5 δισ. συνολικά παραμέτρους, με 50 εκατ. ενεργές παραμέτρους.

Το Privacy Filter προβλέπει εκτάσεις σε οκτώ κατηγορίες:

• private_person
• private_address
• private_email
• private_phone
• private_url
• private_date
• account_number
• secret

Η κατηγορία account_number βοηθά στην απόκρυψη μιας ευρείας ποικιλίας αριθμών λογαριασμών, συμπεριλαμβανομένων τραπεζικών στοιχείων, όπως αριθμών πιστωτικών καρτών και αριθμών τραπεζικών λογαριασμών, ενώ η κατηγορία secret βοηθά στην απόκρυψη στοιχείων όπως κωδικούς πρόσβασης και κλειδιά API.

Αυτές οι ετικέτες αποκωδικοποιούνται με ετικέτες εύρους BIOES, που βοηθούν στην παραγωγή καθαρότερων και πιο συνεκτικών ορίων μάσκας.

Αναπτύξαμε το Privacy Filter σε διάφορα στάδια.

Αρχικά, δημιουργήσαμε μια ταξινόμηση προστασίας απορρήτου που ορίζει τους τύπους τμημάτων που θα πρέπει να ανιχνεύει το μοντέλο. Σε αυτούς περιλαμβάνονται προσωπικά αναγνωριστικά, στοιχεία επικοινωνίας, διευθύνσεις, ιδιωτικές ημερομηνίες, πολλά διαφορετικά είδη αριθμών λογαριασμών, όπως στοιχεία πιστωτικών καρτών και τραπεζικών λογαριασμών, καθώς και μυστικά στοιχεία, όπως κλειδιά API και κωδικούς πρόσβασης.

Δεύτερον, μετατρέψαμε ένα προεκπαιδευμένο γλωσσικό μοντέλο σε αμφίδρομο εργαλείο ταξινόμησης token, αντικαθιστώντας την κεφαλή γλωσσικής μοντελοποίησης με μια κεφαλή ταξινόμησης token και υποβάλλοντάς το, στη συνέχεια, σε μεταγενέστερη εκπαίδευση με επιβλεπόμενο στόχο ταξινόμησης. 

Τρίτον, το εκπαιδεύσαμε σε έναν συνδυασμό δημόσια διαθέσιμων και συνθετικών δεδομένων, σχεδιασμένο ώστε να αποτυπώνει τόσο ρεαλιστικό κείμενο όσο και σύνθετα μοτίβα που σχετίζονται με την προστασία του απορρήτου. Σε τμήματα των δημόσιων δεδομένων όπου οι επισημάνσεις ήταν ελλιπείς, χρησιμοποιήσαμε επισήμανση και αναθεώρηση με βοήθεια μοντέλου για να βελτιώσουμε την κάλυψη. Δημιουργήσαμε, επίσης, συνθετικά παραδείγματα για να αυξήσουμε την ποικιλομορφία σε μορφές, συμφραζόμενα και δευτερεύοντες τύπους απορρήτου.

Κατά την εξαγωγή συμπερασμάτων, οι προβλέψεις σε επίπεδο token του μοντέλου αποκωδικοποιούνται σε συνεκτικά τμήματα με χρήση αποκωδικοποίησης ακολουθίας με περιορισμούς. Αυτή η προσέγγιση διατηρεί την ευρεία γλωσσική κατανόηση του προεκπαιδευμένου μοντέλου, ενώ παράλληλα το εξειδικεύει για την ανίχνευση ζητημάτων απορρήτου.

Αξιολογήσαμε το Privacy Filter σε τυπικούς δείκτες αναφοράς, καθώς και σε πρόσθετες συνθετικές αξιολογήσεις και αξιολογήσεις με συνομιλία, σχεδιασμένες για να δοκιμάζουν πιο δύσκολες και ευαίσθητες ως προς το θεματικό πλαίσιο περιπτώσεις.

Στον δείκτη αξιολόγησης PII-Masking-300k⁠(ανοίγει σε νέο παράθυρο), το Privacy Filter επιτυγχάνει βαθμολογία F1 96% (94,04% ακρίβεια και 98,04% ανάκληση). Σε μια διορθωμένη εκδοχή του δείκτη αξιολόγησης που λαμβάνει υπόψη ζητήματα επισήμανσης του συνόλου δεδομένων τα οποία εντοπίστηκαν κατά την επισκόπηση, η βαθμολογία F1 είναι 97,43% (96,79% ακρίβεια και 98,08% ανάκληση).

Διαπιστώσαμε, επίσης, ότι το μοντέλο μπορεί να προσαρμοστεί αποτελεσματικά. Η προσαρμογή (fine-tuning) ακόμη και σε μικρό όγκο δεδομένων βελτιώνει γρήγορα την ακρίβεια σε εργασίες συγκεκριμένου τομέα, αυξάνοντας τη βαθμολογία F1 από 54% σε 96%, και πλησιάζει τον κορεσμό στο σημείο αναφοράς αξιολόγησης προσαρμογής τομέα που αξιολογήσαμε.

Πέρα από τις επιδόσεις στους δείκτες αξιολόγησης, το Privacy Filter έχει σχεδιαστεί για πρακτικό φιλτράρισμα απορρήτου σε «θορυβώδες» κείμενο του πραγματικού κόσμου. Σε αυτό περιλαμβάνονται μεγάλα έγγραφα, ασαφείς αναφορές, συμβολοσειρές μικτής μορφοποίησης και μυστικά στοιχεία που σχετίζονται με λογισμικό. Η κάρτα μοντέλου ⁠(ανοίγει σε νέο παράθυρο)αναφέρει, επίσης, στοχευμένη αξιολόγηση για τον εντοπισμό μυστικών στοιχείων σε βάσεις κώδικα και δοκιμές αντοχής σε πολυγλωσσικά, κατ' αντιπαράθεση και εξαρτώμενα από τα συμφραζόμενα παραδείγματα.

Το Privacy Filter δεν είναι εργαλείο ανωνυμοποίησης, πιστοποίησης συμμόρφωσης ή υποκατάστατο του ελέγχου πολιτικών σε περιβάλλοντα υψηλής κρισιμότητας. Αποτελεί στοιχείο ενός ευρύτερου συστήματος απορρήτου βάσει σχεδιασμού.

Η συμπεριφορά του αντικατοπτρίζει την ταξινόμηση ετικετών και τα όρια απόφασης με βάση τα οποία εκπαιδεύτηκε. Διαφορετικοί οργανισμοί μπορεί να απαιτούν διαφορετικές πολιτικές εντοπισμού ή απόκρυψης, και αυτές οι πολιτικές ενδέχεται να απαιτούν αξιολόγηση εντός τομέα ή περαιτέρω προσαρμογή. Η απόδοση ενδέχεται, επίσης, να διαφέρει μεταξύ γλωσσών, script, συμβάσεων ονοματοδοσίας και κλάδων που διαφέρουν από την κατανομή εκπαίδευσης.

Όπως όλα τα μοντέλα, το Privacy Filter ενδέχεται να κάνει λάθη. Μπορεί να μην εντοπίζει ασυνήθιστα αναγνωριστικά ή αμφίσημες ιδιωτικές αναφορές και να αποκρύπτει υπερβολικά ή ανεπαρκώς οντότητες, όταν το θεματικό πλαίσιο είναι περιορισμένο, ειδικά σε σύντομες ακολουθίες. Σε τομείς υψηλής ευαισθησίας, όπως οι νομικές, ιατρικές και χρηματοοικονομικές ροές εργασίας, ο έλεγχος από ανθρώπινο μάτι, όπως και η ειδική αξιολόγηση και τελειοποίηση για τον εκάστοτε τομέα παραμένουν σημαντικές.

Παρουσιάζουμε το OpenAI Privacy Filter για την υποστήριξη ισχυρότερων μηχανισμών προστασίας απορρήτου σε ολόκληρο το οικοσύστημα.

Το μοντέλο είναι διαθέσιμο σήμερα υπό την άδεια Apache 2.0 στο Hugging Face⁠(ανοίγει σε νέο παράθυρο) και στο Github⁠(ανοίγει σε νέο παράθυρο). Προορίζεται για πειραματισμό, προσαρμογή και εμπορική ανάπτυξη και μπορεί να προσαρμοστεί για διαφορετικές κατανομές δεδομένων και πολιτικές απορρήτου.

Παράλληλα με το μοντέλο, κοινοποιούμε την τεκμηρίωση που καλύπτει την αρχιτεκτονική του μοντέλου, την ταξινόμηση ετικετών, τα στοιχεία ελέγχου αποκωδικοποίησης, τα προβλεπόμενα σενάρια χρήσης, τη διάταξη αξιολόγησης και τους γνωστούς περιορισμούς, ώστε οι ομάδες να μπορούν να κατανοήσουν τόσο τι κάνει καλά το μοντέλο όσο και πού θα πρέπει να χρησιμοποιείται με προσοχή.

Η προστασία απορρήτου για τα συστήματα ΤΝ αποτελεί μια συνεχή προσπάθεια για την έρευνα, τον σχεδιασμό προϊόντων, την αξιολόγηση και την ανάπτυξη.

Το Privacy Filter αντανακλά μία κατεύθυνση που πιστεύουμε ότι είναι σημαντική: μικρά, αποδοτικά μοντέλα με κορυφαίες δυνατότητες σε στενά καθορισμένες εργασίες που έχουν σημασία για συστήματα ΤΝ του πραγματικού κόσμου. Το διαθέτουμε σε κυκλοφορία, επειδή πιστεύουμε ότι η υποδομή που προστατεύει το απόρρητο θα πρέπει να ελέγχεται, να εκτελείται, να προσαρμόζεται και να βελτιώνεται με πιο εύκολο τρόπο.

Στόχος μας είναι τα μοντέλα μας να μαθαίνουν για τον κόσμο, όχι για μεμονωμένα άτομα. Το Privacy Filter συμβάλλει στο να καταστεί αυτό δυνατό.

Κυκλοφορούμε αυτήν την προεπισκόπηση του Privacy Filter για να λάβουμε σχόλια από την κοινότητα έρευνας και απορρήτου, προκειμένου να βελτιώσουμε περαιτέρω την απόδοση του μοντέλου.