Η προσέγγισή μας στους κανόνες της ΕΕ για την προέλευση κειμένου
Προώθηση της διαφάνειας εντός των ορίων της σημερινής τεχνολογίας.
Η τεκμηρίωση της προέλευσης του περιεχομένου βοηθά τους ανθρώπους να κατανοούν από πού προήλθε το περιεχόμενο, πώς δημιουργήθηκε ή υποβλήθηκε σε επεξεργασία και αν περιέχει ενδείξεις που σχετίζονται με τα μοντέλα μας. Έχουμε ήδη διαθέσει δημόσια εργαλεία για τον εντοπισμό εικόνων και ήχου που δημιουργούνται από τα μοντέλα μας. Σήμερα, παρουσιάζουμε την προσέγγισή μας για την υδατοσήμανση κειμένου, ανταποκρινόμενοι στις απαιτήσεις του Κανονισμού της ΕΕ για την ΤΝ, και εξηγούμε πώς εντάσσεται στο ευρύτερο έργο μας.
Ο Κανονισμός της ΕΕ για την ΤΝ απαιτεί από τους παρόχους παραγωγικής ΤΝ να καθιστούν το παραγόμενο κείμενο αναγνωρίσιμο με μηχανικώς αναγνώσιμο τρόπο. Η υδατοσήμανση κειμένου και η ανίχνευση υδατογραφημάτων παραμένουν τεχνολογίες σε πρώιμο στάδιο με σημαντικούς περιορισμούς, ενώ οι απόψεις σχετικά με τα οφέλη και τις υπεύθυνες χρήσεις τους εξακολουθούν να διαμορφώνονται. Η σταδιακή προσέγγισή μας αντικατοπτρίζει τόσο τις απαιτήσεις του Κανονισμού της ΕΕ για την ΤΝ όσο και τους περιορισμούς της τεχνολογίας, με έμφαση στη διαφάνεια ως προς το τι μπορεί και τι δεν μπορεί να αποκαλύψει στους ανθρώπους μια υδατοσήμανση κειμένου:
Από σήμερα, οι πελάτες του API παγκοσμίως θα μπορούν να ενεργοποιούν προαιρετικά την υδατοσήμανση κειμένου για επιλεγμένα μοντέλα. Η υδατοσήμανση κειμένου θα παραμείνει απενεργοποιημένη από προεπιλογή στο API.
Τις επόμενες εβδομάδες, θα προσθέσουμε μια αόρατη υδατοσήμανση στα κείμενα που πληρούν τις προϋποθέσεις και παράγονται από το ChatGPT και το Codex στην Ευρωπαϊκή Ένωση.
Ανοίγουμε τη διαδικασία υποβολής αιτήσεων για πρόσβαση στον ανιχνευτή υδατοσήμανσης κειμένου μας. Αρχικά, η πρόσβαση θα περιορίζεται σε εγκεκριμένους ερευνητές και οργανισμούς με σχετική εμπειρογνωμοσύνη, οι οποίοι μπορούν να μας βοηθήσουν να αξιολογήσουμε και να βελτιώσουμε την τεχνολογία.
Τα παραπάνω ισχύουν μόνο για την προέλευση κειμένου — τα εργαλεία επαλήθευσης που διαθέτουμε για ήχο και εικόνες, συμπεριλαμβανομένου του διαδικτυακού εργαλείου μας openai.com/verify και του API Προέλευσης Περιεχομένου(ανοίγει σε νέο παράθυρο), θα συνεχίσουν να είναι δημόσια προσβάσιμα σε οργανισμούς που θέλουν να διαπιστώσουν αν μια εικόνα ή ένα αρχείο ήχου δημιουργήθηκε από ένα από τα συστήματά μας.
Η τεχνολογία υδατοσήμανσης κειμένου που διαθέτουμε, textGrain, προσθέτει μια αόρατη στατιστική ένδειξη στις λέξεις που επιλέγει το μοντέλο. Ο ανιχνευτής μας αναζητά αυτήν την ένδειξη για να αξιολογήσει αν ένα απόσπασμα περιέχει υδατοσήμανση της OpenAI. Περισσότερες λεπτομέρειες σχετικά με τη λειτουργία του textGrain μπορείτε να βρείτε στην τεχνική έκθεσή μας(ανοίγει σε νέο παράθυρο), η οποία θα ενημερωθεί με πρόσθετες λεπτομέρειες τις επόμενες εβδομάδες. Σχεδιάζουμε επίσης να διαθέσουμε την τεχνολογία ως λογισμικό ανοικτού κώδικα, ώστε να μπορούν και άλλα άτομα να βασιστούν σε αυτήν.
Στις αξιολογήσεις μας, το textGrain πέτυχε επιδόσεις αντίστοιχες ή καλύτερες από εκείνες άλλων προσεγγίσεων που δοκιμάσαμε, συμπεριλαμβανομένου του SynthID για κείμενο. Παρ' όλα αυτά, η υψηλή απόδοση υπό ιδανικές συνθήκες δεν εγγυάται αξιόπιστη ανίχνευση στην καθημερινή χρήση.
Οι ανιχνευτές μπορούν να κάνουν δύο είδη σφαλμάτων: να αναφέρουν ότι υπάρχει υδατοσήμανση ενώ δεν υπάρχει —ψευδώς θετικό αποτέλεσμα— ή να μην εντοπίζουν μια υδατοσήμανση που υπάρχει — ψευδώς αρνητικό αποτέλεσμα. Οι αξιολογήσεις μας παρακάτω καταδεικνύουν ορισμένες από τις προκλήσεις:
Η ανίχνευση υδατοσημάνσεων είναι δυσκολότερη σε πιο σύντομα κείμενα ή σε κείμενα με περισσότερους περιορισμούς. Με στοχευόμενο ποσοστό ψευδώς θετικών αποτελεσμάτων 1%, ο ανιχνευτής μας εντόπισε υδατοσημάνσεις σε περίπου 80% των αποσπασμάτων 200 token, σε σύγκριση με περίπου 95% των αποσπασμάτων 400 token, για περιεχόμενο όπως αυτό της ψυχολογίας. Τα ποσοστά εντοπισμού ήταν σημαντικά χαμηλότερα για περιεχόμενο όπως αυτό των μαθηματικών, όπου υπάρχει λιγότερη ευελιξία στην επιλογή λέξεων.
Η επεξεργασία μπορεί να αποδυναμώσει την υδατοσήμανση. Σε μια αξιολόγηση αποσπασμάτων 400 token, η αντικατάσταση του 10% των λέξεων με συνώνυμα μείωσε το ποσοστό ανίχνευσης από περίπου 92% σε 66%. Η αντικατάσταση του 25% των λέξεων το μείωσε στο 17%.
Οι περιορισμοί αυτοί είναι ένας από τους λόγους για τους οποίους αποφασίσαμε να παρέχουμε αρχικά πρόσβαση στον ανιχνευτή μόνο σε εγκεκριμένους ερευνητές και εξειδικευμένους οργανισμούς, οι οποίοι μπορούν να μας βοηθήσουν να αξιολογήσουμε την αξιοπιστία της τεχνολογίας και τους τρόπους υπεύθυνης χρήσης της.
Το γράφημα παρουσιάζει αποτελέσματα για υδατοσημασμένες απαντήσεις σε ερωτήσεις μαθηματικών και ψυχολογίας από το σύνολο δεδομένων ELI5(ανοίγει σε νέο παράθυρο), με στοχευόμενο ποσοστό ψευδώς θετικών αποτελεσμάτων 1%. Το ποσοστό ανίχνευσης αυξάνεται όσο μεγαλώνει το μήκος του κειμένου, αλλά είναι συνολικά σημαντικά χαμηλότερο για περιεχόμενο με μικρότερη ευελιξία στην επιλογή λέξεων, όπως τα μαθηματικά.
Η επεξεργασία μπορεί να αποδυναμώσει σημαντικά την ένδειξη της υδατοσήμανσης. Αυτό το γράφημα δείχνει πώς η αντικατάσταση του 10% ή του 25% των λέξεων ενός αποσπάσματος επηρεάζει την ανίχνευση. Τα αποτελέσματα βασίζονται σε απαντήσεις στα αγγλικά με υδατοσήμανση σε ερωτήσεις από το ELI5(ανοίγει σε νέο παράθυρο).
Σε όλες τις δοκιμές με τις οποίες αξιολογούμε το Astra, το πιο πρόσφατο κορυφαίο μοντέλο μας, δεν παρατηρούμε ουσιαστικές διαφορές στις επιδόσεις με και χωρίς υδατοσήμανση.
Δείκτης αξιολόγησης | Κείμενο χωρίς υδατοσήμανση (Astra, Max) | Κείμενο με υδατοσήμανση (Astra, Max) |
|---|---|---|
Δείκτης Νοημοσύνης της Artificial Analysis | 49,57 μονάδες | 49,76 μονάδες |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Οι υδατοσημάνσεις κειμένου παρέχουν περιορισμένες ενδείξεις σχετικά με τον ρόλο που διαδραμάτισαν τα συστήματά μας σε ένα απόσπασμα. Είναι σημαντικό να κατανοήσετε τι μπορεί και τι δεν μπορεί να συναχθεί από ένα αποτέλεσμα ανίχνευσης.
Μια υδατοσήμανση δεν μετρά την ανθρώπινη συνεισφορά. Μπορεί να υποδεικνύει ότι ένα σύστημα της OpenAI δημιούργησε ή επεξεργάστηκε μέρος ενός αποσπάσματος, αλλά όχι σε ποιον βαθμό το κείμενο διαμορφώθηκε με ανθρώπινη κρίση, επιμέλεια ή δημιουργικότητα.
Μια υδατοσήμανση δεν καθορίζει την ιδιοκτησία ή την ευθύνη. Δεν καθορίζει σε ποιον ανήκει το κείμενο, αν η χρήση του ήταν νόμιμη, αν απαιτούνταν γνωστοποίηση ή ποιος φέρει την ευθύνη γι’ αυτό.
Μια υδατοσήμανση δεν προσδιορίζει τον χρήστη. Δεν συνδέει κάποιο άτομο, οργανισμό, λογαριασμό, προτροπή ή συνομιλία με το κείμενο.
Μια υδατοσήμανση δεν επαληθεύει την ακρίβεια. Δεν σας λέει αν ένα απόσπασμα είναι αληθές, παραπλανητικό, επιβλαβές ή παρουσιάζεται στο σωστό πλαίσιο.
Το ότι δεν ανιχνεύεται υδατοσήμανση δεν αποδεικνύει ότι το κείμενο έχει δημιουργηθεί από άνθρωπο. Το κείμενο που δημιουργείται με εργαλεία της OpenAI μπορεί να είναι υπερβολικά σύντομο, να έχει υποστεί επεξεργασία ή να έχει μεταφραστεί, με αποτέλεσμα η ανίχνευση να μην είναι αξιόπιστη. Μπορεί επίσης να προέρχεται από μη υποστηριζόμενο μοντέλο, να έχει δημιουργηθεί πριν από την εφαρμογή υδατοσήμανσης ή να έχει δημιουργηθεί με εργαλεία άλλης εταιρείας.
Σταδιακή διάθεση της υδατοσήμανσης κειμένου στην ΕΕ. Τις επόμενες εβδομάδες, θα εισαγάγουμε την υδατοσήμανση κειμένου για τους χρήστες του ChatGPT και του Codex που πληρούν τις προϋποθέσεις, σε όλα τα προγράμματα, αποκλειστικά στην ΕΕ. Κατά την αρχική διάθεση, δεν θα ορίσουμε την υδατοσήμανση κειμένου ως προεπιλεγμένη ρύθμιση παγκοσμίως. Αυτή η προσέγγιση σε περιφερειακό επίπεδο μας δίνει το περιθώριο να αντλήσουμε διδάγματα από τη χρήση σε πραγματικές συνθήκες και από τα σχόλια που λαμβάνουμε.
Δυνατότητα προαιρετικής προσθήκης υδατοσήμανσης για πελάτες του API. Από σήμερα, οι πελάτες του API σε όλο τον κόσμο θα μπορούν να επιλέγουν να λαμβάνουν αποτελέσματα κειμένου με υδατοσήμανση από επιλεγμένα μοντέλα. Έτσι, οι πελάτες μπορούν να αποφασίζουν πώς η προσθήκη υδατοσήμανσης εντάσσεται στις υποχρεώσεις διαφάνειας που έχουν και στις εμπειρίες που προσφέρουν στους χρήστες. Μαζί με τους συνεργάτες μας στον τομέα των υπηρεσιών cloud, εργαζόμαστε επίσης ώστε τις επόμενες εβδομάδες η υδατοσήμανση να διατεθεί και για τα αποτελέσματα των μοντέλων της OpenAI που παρέχονται μέσω των υπηρεσιών τους.
Παροχή πρόσβασης στον ανιχνευτή σε ερευνητές και εξειδικευμένους οργανισμούς. Οι εγκεκριμένοι ερευνητές και εξειδικευμένοι οργανισμοί μπορούν να υποβάλουν αίτηση από σήμερα. Σύμφωνα με τον Κώδικα Ορθής Πρακτικής(ανοίγει σε νέο παράθυρο), η πρόσβαση θα παρέχεται αρχικά κατά περίπτωση για την υποστήριξη της αξιολόγησης και της βελτίωσης της τεκμηρίωσης της προέλευσης κειμένου. Το εργαλείο θα αναφέρει αν εντοπίζει υδατοσήμανση της OpenAI, χωρίς να ταυτοποιεί τον χρήστη ή να αποκαλύπτει τις προτροπές ή τις συνομιλίες του. Δεδομένου του κινδύνου μη εντοπισμού υδατοσήμανσης και ψευδώς θετικών αποτελεσμάτων, δεν διαθέτουμε το εργαλείο στο ευρύ κοινό κατά την κυκλοφορία του.
Αναμένουμε να επανεξετάσουμε κάθε μέρος αυτής της προσέγγισης καθώς εξελίσσονται η τεχνολογία, τα πρότυπα και τα στοιχεία.
Καμία μεμονωμένη τεχνική τεκμηρίωσης προέλευσης δεν επαρκεί από μόνη της, οπότε ακολουθούμε μια πολυεπίπεδη προσέγγιση που συνδυάζει ανοιχτά πρότυπα, ανθεκτική υδατοσήμανση και εργαλεία επαλήθευσης.
Προσθέτουμε Διαπιστευτήρια Περιεχομένου στα υποστηριζόμενα αποτελέσματα εικόνας, συμμορφωνόμαστε με το πρότυπο C2PA(ανοίγει σε νέο παράθυρο), ενσωματώνουμε αόρατες υδατοσημάνσεις SynthID(ανοίγει σε νέο παράθυρο) σε υποστηριζόμενες εικόνες και αρχεία ήχου και παρέχουμε τη δυνατότητα επαλήθευσης εικόνων και ήχου μέσω του openai.com/verify και του API προέλευσης περιεχομένου(ανοίγει σε νέο παράθυρο). Αυτές οι τεχνικές αλληλοσυμπληρώνονται: τα Διαπιστευτήρια Περιεχομένου μπορούν να καταγράφουν την προέλευση και το ιστορικό ενός αρχείου, ενώ οι αόρατες υδατοσημάνσεις μπορούν να διατηρούν ένα σήμα όταν αφαιρούνται τα μεταδεδομένα.
Όπως περιγράψαμε στο έργο μας για τις δικλίδες ασφαλείας στις εκλογές, η τεκμηρίωση προέλευσης μπορεί να βοηθήσει τους ανθρώπους και τις πλατφόρμες να αξιολογούν δυνητικά παραπλανητικό περιεχόμενο που έχει δημιουργηθεί με ΤΝ, συμπεριλαμβανομένων των deepfake. Συνδυάζουμε αυτές τις ενδείξεις με πολιτικές, εντοπισμό κατάχρησης, αναφορές, έρευνες και μέτρα επιβολής, ενώ συνεργαζόμαστε με ερευνητές, οργανισμούς τυποποίησης, πλατφόρμες και την κοινωνία των πολιτών, ώστε η τεκμηρίωση προέλευσης να είναι χρήσιμη σε ολόκληρο το ευρύτερο οικοσύστημα.
Η επέκταση της τεκμηρίωσης προέλευσης στο κείμενο απαιτεί να λαμβάνεται υπόψη πόσο εύκολα μπορεί να αναδιατυπωθεί, να μεταφραστεί ή να υποστεί επεξεργασία. Όπως αναφέραμε τον Ιούνιο, η προσέγγισή μας πρέπει να αντικατοπτρίζει τους πρακτικούς περιορισμούς της τρέχουσας τεχνολογίας. Θα συνεχίσουμε να βελτιώνουμε την ανίχνευση, να μελετάμε πώς οι υδατοσημάνσεις αντέχουν στην επεξεργασία και τη μετάφραση και να διερευνούμε τρόπους για μια πιο ουσιαστική διάκριση ανάμεσα στη συγγραφή με τη βοήθεια της ΤΝ και στη συγγραφή από την ίδια την ΤΝ. Θα προσαρμόζουμε την προσέγγισή μας καθώς εξελίσσονται τα διαθέσιμα στοιχεία, τα πρότυπα και οι κανονιστικές απαιτήσεις και θα διευρύνουμε την πρόσβαση στον ανιχνευτή όταν κρίνουμε ότι τα αποτελέσματα μπορούν να ερμηνευθούν υπεύθυνα.
Για περισσότερες πληροφορίες, επισκεφθείτε το άρθρο στο κέντρο βοήθειάς μας(ανοίγει σε νέο παράθυρο).
