Onze aanpak van EU-regels voor de herkomst van tekst
Transparantie bevorderen binnen de grenzen van de huidige technologie.
Herkomstinformatie helpt mensen te begrijpen waar content vandaan komt, hoe die is gemaakt of bewerkt en of die signalen bevat die verband houden met onze modellen. We hebben al tools openbaar beschikbaar gesteld om afbeeldingen en audio te herkennen die door onze modellen zijn gegenereerd. Vandaag delen we onze aanpak voor tekstwatermerken in het kader van de EU AI Act, en hoe die past binnen ons bredere werk.
De EU AI Act verplicht aanbieders van generatieve AI om gegenereerde tekst op een machineleesbare manier herkenbaar te maken. Tekstwatermerken en de detectie ervan staan als technologieën nog in de kinderschoenen en kennen aanzienlijke beperkingen. Ook de opvattingen over hun voordelen en verantwoord gebruik zijn nog in ontwikkeling. Onze gefaseerde aanpak houdt rekening met zowel de eisen van de EU AI Act als de beperkingen van de technologie. Daarbij ligt de nadruk op transparantie over wat een tekstwatermerk mensen wel en niet kan vertellen:
Vanaf vandaag kunnen API-klanten wereldwijd tekstwatermerken inschakelen voor bepaalde modellen. Tekstwatermerken blijven standaard uitgeschakeld in de API.
De komende weken voegen we in de Europese Unie een onzichtbaar watermerk toe aan tekstoutput van ChatGPT en Codex die daarvoor in aanmerking komt.
Vanaf nu kan toegang tot onze tekstwatermerkdetector worden aangevraagd. De toegang is in eerste instantie beperkt tot goedgekeurde onderzoekers en deskundige organisaties die ons kunnen helpen de technologie te evalueren en te verbeteren.
Het bovenstaande geldt alleen voor herkomstinformatie van tekst. Onze verificatietools voor audio en afbeeldingen, waaronder onze webtool openai.com/verify en onze Content Provenance API(opent in een nieuw venster), blijven openbaar toegankelijk voor organisaties die willen weten of een afbeelding of audiobestand door een van onze systemen is gegenereerd.
Onze tekstwatermerktechnologie, textGrain, voegt een onzichtbaar statistisch signaal toe aan de woordkeuzes van het model. Onze detector zoekt naar dat signaal om te beoordelen of een passage een OpenAI-watermerk bevat. Meer informatie over de werking van textGrain staat in ons technische rapport(opent in een nieuw venster), dat we de komende weken met meer details zullen aanvullen. We zijn ook van plan de technologie als opensource beschikbaar te stellen, zodat anderen erop kunnen voortbouwen.
In onze evaluaties presteerde textGrain even goed als of beter dan andere methoden die we hebben getest, waaronder SynthID voor tekst. Toch garanderen goede prestaties onder ideale omstandigheden geen betrouwbare detectie in het dagelijks gebruik.
Detectoren kunnen twee soorten fouten maken: ze kunnen een watermerk melden terwijl er geen is (een fout-positief resultaat), of een aanwezig watermerk missen (een fout-negatief resultaat). Onze onderstaande evaluaties illustreren enkele van deze uitdagingen:
Bij kortere teksten of teksten met minder ruimte voor variatie is detectie moeilijker. Bij een beoogd fout-positief percentage van 1% herkende onze detector watermerken in ongeveer 80% van de passages van 200 tokens, tegenover ongeveer 95% van de passages van 400 tokens, bij content over bijvoorbeeld psychologie. De detectiepercentages waren aanzienlijk lager bij content over bijvoorbeeld wiskunde, waar minder vrijheid in de woordkeuze is.
Bewerkingen kunnen het watermerk verzwakken. Bij een evaluatie van passages van 400 tokens daalde het detectiepercentage van ongeveer 92% naar 66% wanneer 10% van de woorden door synoniemen werd vervangen. Wanneer 25% van de woorden werd vervangen, daalde het naar 17%.
Deze beperkingen spelen mee in ons besluit om de detector in eerste instantie alleen toegankelijk te maken voor goedgekeurde onderzoekers en deskundige organisaties, die ons kunnen helpen de betrouwbaarheid en verantwoorde toepassingen te evalueren.
Deze grafiek toont de resultaten voor antwoorden met een watermerk op wiskunde- en psychologievragen uit de ELI5-dataset(opent in een nieuw venster), bij een beoogd fout-positief percentage van 1%. De detectie verbetert naarmate de tekst langer is, maar is over het geheel genomen aanzienlijk lager bij content met minder vrijheid in de woordkeuze, zoals wiskunde.
Bewerkingen kunnen het watermerksignaal aanzienlijk verzwakken. Deze grafiek laat zien hoe het vervangen van 10% of 25% van de woorden in een passage de detectie beïnvloedt. De resultaten zijn gebaseerd op Engelstalige antwoorden met een watermerk op vragen uit ELI5(opent in een nieuw venster).
Bij de benchmarks waarmee we Astra, ons nieuwste grensverleggende model, beoordelen, zien we geen betekenisvolle prestatieverschillen met en zonder watermerken.
Benchmark | Tekst zonder watermerk (Astra, Max) | Tekst met watermerk (Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 punten | 49,76 punten |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Tekstwatermerken geven een beperkte aanwijzing over de rol die onze systemen bij een passage hebben gespeeld. Het is belangrijk om te begrijpen wat je wel en niet uit een detectieresultaat kunt concluderen.
Een watermerk meet niet de menselijke bijdrage. Het kan aangeven dat een OpenAI-systeem een deel van een passage heeft gegenereerd of verwerkt, maar niet hoeveel menselijk inzicht, redactie of creativiteit erin is gestoken.
Een watermerk stelt geen eigendom of verantwoordelijkheid vast. Het bepaalt niet wie eigenaar is van de tekst, of het gebruik ervan rechtmatig was, of er een openbaarmakingsplicht gold of wie ervoor verantwoordelijk is.
Een watermerk identificeert de gebruiker niet. Het koppelt geen persoon, organisatie, account, prompt of gesprek aan de tekst.
Een watermerk bevestigt niet de juistheid. Het vertelt je niet of een passage waar, misleidend of schadelijk is, of in de juiste context wordt gepresenteerd.
Als er geen watermerk wordt gedetecteerd, bewijst dat niet dat de tekst door een mens is geschreven. Tekst die met OpenAI-tools is gegenereerd, kan te kort zijn of zodanig bewerkt of vertaald zijn dat betrouwbare detectie niet mogelijk is. De tekst kan ook afkomstig zijn van een niet-ondersteund model, dateren van vóór de invoering van watermerken of zijn gegenereerd met tools van een ander bedrijf.
Tekstwatermerken invoeren in de EU. De komende weken introduceren we tekstwatermerken voor ChatGPT- en Codex-gebruikers die daarvoor in aanmerking komen, bij alle abonnementen en uitsluitend in de EU. Bij de introductie schakelen we tekstwatermerken niet wereldwijd standaard in. Deze regionale aanpak geeft ons ruimte om te leren van praktijkgebruik en feedback.
API-klanten de keuze geven om watermerken in te schakelen. Vanaf vandaag kunnen API-klanten wereldwijd kiezen voor tekstoutput met een watermerk bij bepaalde modellen. Zo kunnen klanten bepalen hoe watermerken passen bij hun transparantieverplichtingen en de ervaringen die ze gebruikers bieden. We werken ook samen met cloudpartners om de komende weken watermerken beschikbaar te maken voor output van OpenAI-modellen die via hun diensten worden gebruikt.
Onderzoekers en deskundige organisaties toegang geven tot de detector. Goedgekeurde onderzoekers en deskundige organisaties kunnen vanaf vandaag toegang aanvragen. In overeenstemming met de gedragscode(opent in een nieuw venster) wordt toegang in eerste instantie per geval verleend, om de evaluatie en verbetering van herkomstinformatie voor tekst te ondersteunen. De tool meldt of er een OpenAI-watermerk wordt gedetecteerd, zonder de gebruiker te identificeren of diens prompts of gesprekken te onthullen. Vanwege het risico op gemiste watermerken en fout-positieve resultaten maken we de tool bij de introductie niet openbaar beschikbaar.
We verwachten elk onderdeel van deze aanpak opnieuw te bekijken naarmate de technologie, normen en onderzoeksresultaten zich ontwikkelen.
Geen enkele techniek voor herkomstinformatie volstaat op zichzelf. Daarom kiezen we voor een gelaagde aanpak die open standaarden, bestendige watermerken en verificatietools combineert.
We voegen Content Credentials toe aan ondersteunde afbeeldingsoutput, voldoen aan C2PA(opent in een nieuw venster), verwerken onzichtbare SynthID(opent in een nieuw venster)-watermerken in ondersteunde afbeeldingen en audio, en bieden verificatie van afbeeldingen en audio via openai.com/verify en onze Content Provenance API(opent in een nieuw venster). Deze technieken vullen elkaar aan: Content Credentials kunnen de herkomst en geschiedenis van een bestand vastleggen, terwijl onzichtbare watermerken een signaal kunnen behouden wanneer metadata wordt verwijderd.
Zoals we beschreven in ons werk aan verkiezingswaarborgen, kan herkomstinformatie mensen en platforms helpen om mogelijk misleidende AI-gegenereerde content, waaronder deepfakes, te beoordelen. We combineren deze signalen met beleid, misbruikdetectie, meldingen, onderzoek en handhaving. Ook werken we samen met onderzoekers, normalisatieorganisaties, platforms en maatschappelijke organisaties om herkomstinformatie bruikbaar te maken in het bredere ecosysteem.
Om herkomstinformatie ook op tekst toe te passen, moeten we rekening houden met hoe gemakkelijk tekst kan worden herschreven, vertaald of bewerkt. Zoals we in juni bespraken, moet onze aanpak rekening houden met de praktische beperkingen van de huidige technologie. We blijven de detectie verbeteren, onderzoeken hoe goed watermerken bestand zijn tegen bewerking en vertaling, en verkennen manieren om beter onderscheid te maken tussen teksten die met hulp van AI zijn geschreven en teksten die door AI zijn geschreven. We passen onze aanpak aan naarmate onderzoeksresultaten, normen en wettelijke eisen zich ontwikkelen, en breiden de toegang tot de detector uit wanneer we van mening zijn dat de resultaten verantwoord kunnen worden geïnterpreteerd.
Meer informatie vind je in ons Helpcentrum-artikel(opent in een nieuw venster).
