Unser Ansatz zu den EU-Regeln für Textherkunftsnachweise
Transparenz fördern, innerhalb der Grenzen heutiger Technologie.
Herkunftsnachweise für Inhalte helfen Menschen zu verstehen, woher Inhalte stammen, wie sie erstellt oder bearbeitet wurden und ob sie Signale enthalten, die mit unseren Modellen verbunden sind. Wir haben bereits öffentlich zugängliche Tools bereitgestellt, mit denen sich Bilder und Audioinhalte erkennen lassen, die von unseren Modellen erzeugt wurden. Heute stellen wir unseren Ansatz für Textwasserzeichen als Reaktion auf die EU-KI-Verordnung vor und erläutern, wie er sich in unsere umfassendere Arbeit einfügt.
Die EU-KI-Verordnung verpflichtet Anbieter generativer KI, erzeugte Texte maschinenlesbar zu kennzeichnen. Textwasserzeichen und ihre Erkennung sind noch junge Technologien mit erheblichen Einschränkungen. Auch die Einschätzungen zu ihrem Nutzen und ihrem verantwortungsvollen Einsatz entwickeln sich noch. Unser schrittweiser Ansatz berücksichtigt sowohl die Anforderungen der EU-KI-Verordnung als auch die Grenzen der Technologie. Dabei legen wir besonderen Wert darauf, transparent zu machen, was ein Textwasserzeichen aussagen kann und was nicht:
Ab heute können alle, die unsere API nutzen, weltweit Textwasserzeichen für ausgewählte Modelle aktivieren. Textwasserzeichen bleiben in der API standardmäßig deaktiviert.
In den kommenden Wochen werden wir geeignete Textausgaben von ChatGPT und Codex in der Europäischen Union mit einem unsichtbaren Wasserzeichen versehen.
Ab sofort nehmen wir Anträge auf Zugang zu unserem Detektor für Textwasserzeichen entgegen. Der Zugang wird zunächst auf zugelassene Forschende und Fachorganisationen beschränkt sein, die uns helfen können, die Technologie zu evaluieren und zu verbessern.
Das oben Beschriebene gilt nur für Textherkunftsnachweise. Unsere Verifizierungstools für Audioinhalte und Bilder, darunter unser Webtool openai.com/verify und unsere Content Provenance API(wird in einem neuen Fenster geöffnet), bleiben öffentlich zugänglich für Organisationen, die prüfen möchten, ob eine Bild- oder Audiodatei von einem unserer Systeme erzeugt wurde.
Unsere Technologie für Textwasserzeichen, textGrain, fügt der Wortwahl des Modells ein unsichtbares statistisches Signal hinzu. Unser Detektor sucht nach diesem Signal, um zu beurteilen, ob eine Textpassage ein OpenAI-Wasserzeichen enthält. Weitere Einzelheiten zur Funktionsweise von textGrain findest du in unserem technischen Bericht(wird in einem neuen Fenster geöffnet), den wir in den kommenden Wochen um zusätzliche Details ergänzen werden. Wir planen außerdem, die Technologie als Open Source bereitzustellen, damit andere darauf aufbauen können.
In unseren Evaluierungen erreichte oder übertraf textGrain die Leistung anderer von uns getesteter Ansätze, darunter SynthID für Text. Gute Ergebnisse unter idealen Bedingungen garantieren jedoch keine zuverlässige Erkennung im Alltag.
Detektoren können zwei Arten von Fehlern machen: Sie können ein Wasserzeichen melden, obwohl keines vorhanden ist (ein falsch positives Ergebnis), oder ein vorhandenes Wasserzeichen übersehen (ein falsch negatives Ergebnis). Unsere nachstehenden Evaluierungen veranschaulichen einige dieser Herausforderungen:
Bei kürzeren Texten oder stärker eingeschränkter Wortwahl ist die Erkennung schwieriger. Bei einer angestrebten Falsch-Positiv-Rate von 1 % erkannte unser Detektor bei Inhalten etwa aus der Psychologie Wasserzeichen in rund 80 % der Passagen mit 200 Token und in rund 95 % der Passagen mit 400 Token. Bei Inhalten etwa aus der Mathematik, wo die Wortwahl weniger Spielraum lässt, waren die Erkennungsraten deutlich niedriger.
Bearbeitungen können das Wasserzeichen abschwächen. In einer Evaluierung von Passagen mit 400 Token sank die Erkennungsrate von rund 92 % auf 66 %, wenn 10 % der Wörter durch Synonyme ersetzt wurden. Wurden 25 % der Wörter ersetzt, sank sie auf 17 %.
Diese Einschränkungen tragen zu unserer Entscheidung bei, zunächst nur zugelassenen Forschenden und Fachorganisationen Zugang zum Detektor zu gewähren. Sie können uns helfen, die Zuverlässigkeit und verantwortungsvolle Einsatzmöglichkeiten zu evaluieren.
Dieses Diagramm zeigt die Ergebnisse für mit Wasserzeichen versehene Antworten auf Fragen zu Mathematik und Psychologie aus dem ELI5-Datensatz(wird in einem neuen Fenster geöffnet) bei einer angestrebten Falsch-Positiv-Rate von 1 %. Die Erkennung verbessert sich mit zunehmender Textlänge, fällt aber bei Inhalten mit weniger Spielraum in der Wortwahl, etwa in der Mathematik, insgesamt deutlich schwächer aus.
Bearbeitungen können das Wasserzeichensignal erheblich abschwächen. Dieses Diagramm zeigt, wie sich das Ersetzen von 10 % oder 25 % der Wörter einer Passage auf die Erkennung auswirkt. Die Ergebnisse basieren auf mit Wasserzeichen versehenen englischen Antworten auf Fragen aus ELI5(wird in einem neuen Fenster geöffnet).
Bei den Benchmarks, mit denen wir Astra, unser neuestes Frontier-Modell, bewerten, sehen wir keine wesentlichen Leistungsunterschiede zwischen Ergebnissen mit und ohne Wasserzeichen.
Benchmark | Text ohne Wasserzeichen (Astra, max) | Text mit Wasserzeichen (Astra, max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 Punkte | 49,76 Punkte |
AutomationBench | 34,09 % | 34,86 % |
DeepSWE v1.1 | 72,80 % | 71,68 % |
Terminal-Bench 4.0 | 53,90 % | 56,06 % |
Terminal-Bench Science 0.1 | 56,90 % | 60,00 % |
BrowseComp | 87,92 % | 87,35 % |
HealthBench Professional | 64,27 % | 64,60 % |
GPQA Diamond | 94,44 % | 93,94 % |
Textwasserzeichen geben nur begrenzt Aufschluss darüber, welche Rolle unsere Systeme bei einer Textpassage gespielt haben. Es ist wichtig zu verstehen, welche Schlüsse sich aus einem Erkennungsergebnis ziehen lassen und welche nicht.
Ein Wasserzeichen misst nicht den menschlichen Beitrag. Es kann darauf hinweisen, dass ein OpenAI-System einen Teil einer Passage erzeugt oder verarbeitet hat. Es zeigt aber nicht, wie viel menschliches Urteilsvermögen, Bearbeitung oder Kreativität darin steckt.
Ein Wasserzeichen klärt weder Rechte noch Verantwortlichkeit. Es bestimmt nicht, wer die Rechte am Text besitzt, ob seine Nutzung rechtmäßig war, ob eine Offenlegung erforderlich war oder wer für ihn verantwortlich ist.
Ein Wasserzeichen identifiziert keine Nutzer:innen. Es ordnet dem Text weder eine Person, eine Organisation, ein Konto noch einen Prompt oder ein Gespräch zu.
Ein Wasserzeichen bestätigt nicht die Richtigkeit. Es sagt dir nicht, ob eine Passage wahr, irreführend oder schädlich ist oder im richtigen Kontext dargestellt wird.
Wird kein Wasserzeichen erkannt, beweist das keine menschliche Urheberschaft. Mit OpenAI-Tools erzeugte Texte können zu kurz sein oder so bearbeitet oder übersetzt worden sein, dass die Erkennung nicht zuverlässig funktioniert. Sie können auch von einem nicht unterstützten Modell stammen, vor der Einführung von Wasserzeichen entstanden oder mit den Tools eines anderen Unternehmens erzeugt worden sein.
Textwasserzeichen in der EU einführen. In den kommenden Wochen werden wir Textwasserzeichen für berechtigte ChatGPT- und Codex-Nutzer:innen über alle Pläne hinweg einführen, ausschließlich in der EU. Zum Start werden Textwasserzeichen nicht weltweit standardmäßig aktiviert. Dieser regionale Ansatz gibt uns Raum, aus der praktischen Nutzung und aus Rückmeldungen zu lernen.
Die freiwillige Aktivierung von Wasserzeichen in der API ermöglichen. Ab heute können alle, die unsere API nutzen, weltweit Textausgaben mit Wasserzeichen für ausgewählte Modelle aktivieren. So können sie selbst entscheiden, wie Wasserzeichen zu ihren Transparenzpflichten und den Nutzungserlebnissen passen, die sie Nutzer:innen bieten. Wir arbeiten außerdem mit Cloud-Partnerunternehmen daran, in den kommenden Wochen Wasserzeichen für Ausgaben von OpenAI-Modellen bereitzustellen, die über deren Dienste abgerufen werden.
Forschenden und Fachorganisationen Zugang zum Detektor gewähren. Zugelassene Forschende und Fachorganisationen können ab heute einen Antrag stellen. Im Einklang mit dem Verhaltenskodex(wird in einem neuen Fenster geöffnet) wird der Zugang zunächst nach Einzelfallprüfung gewährt, um die Evaluierung und Verbesserung von Textherkunftsnachweisen zu unterstützen. Das Tool meldet, ob es ein OpenAI-Wasserzeichen erkennt, ohne Nutzer:innen zu identifizieren oder ihre Prompts oder Gespräche offenzulegen. Angesichts des Risikos übersehener Wasserzeichen und falsch positiver Ergebnisse machen wir es zum Start nicht öffentlich zugänglich.
Wir gehen davon aus, jeden Teil dieses Ansatzes erneut zu prüfen, wenn sich die Technologie, Standards und Erkenntnisse weiterentwickeln.
Keine einzelne Methode für Herkunftsnachweise reicht allein aus. Deshalb verfolgen wir einen mehrschichtigen Ansatz, der offene Standards, beständige Wasserzeichen und Verifizierungstools kombiniert.
Wir versehen unterstützte Bildausgaben mit Content Credentials, sind C2PA-konform(wird in einem neuen Fenster geöffnet), betten unsichtbare SynthID(wird in einem neuen Fenster geöffnet)-Wasserzeichen in unterstützte Bilder und Audioinhalte ein und ermöglichen deren Verifizierung über openai.com/verify und unsere Content Provenance API(wird in einem neuen Fenster geöffnet). Diese Methoden ergänzen sich: Content Credentials können den Ursprung und die Bearbeitungshistorie einer Datei dokumentieren, während unsichtbare Wasserzeichen ein Signal erhalten können, wenn Metadaten entfernt werden.
Wie wir in unserem Beitrag zu Maßnahmen zum Schutz von Wahlen beschrieben haben, können Herkunftsnachweise Menschen und Plattformen dabei helfen, potenziell irreführende KI-generierte Inhalte einschließlich Deepfakes einzuschätzen. Wir kombinieren diese Signale mit Richtlinien, Missbrauchserkennung, Meldungen, Untersuchungen und Maßnahmen zur Durchsetzung unserer Richtlinien. Gemeinsam mit Forschenden, Normungsgremien, Plattformen und der Zivilgesellschaft arbeiten wir daran, Herkunftsnachweise im gesamten Ökosystem nutzbar zu machen.
Wer Herkunftsnachweise auf Texte ausweitet, muss berücksichtigen, wie leicht sich Texte umschreiben, übersetzen oder bearbeiten lassen. Wie wir im Juni erläutert haben, muss unser Ansatz die praktischen Grenzen heutiger Technologie berücksichtigen. Wir werden die Erkennung weiter verbessern, untersuchen, wie gut Wasserzeichen Bearbeitungen und Übersetzungen standhalten, und Möglichkeiten erkunden, KI-Unterstützung und KI-Urheberschaft aussagekräftiger voneinander zu unterscheiden. Wir werden unseren Ansatz an neue Erkenntnisse, Standards und regulatorische Anforderungen anpassen. Den Zugang zum Detektor werden wir erweitern, wenn wir der Ansicht sind, dass sich die Ergebnisse verantwortungsvoll interpretieren lassen.
Weitere Informationen findest du in unserem Artikel im Hilfecenter(wird in einem neuen Fenster geöffnet).
