Vårt förhållningssätt till EU:s regler om textens ursprung
Vi främjar transparens inom de begränsningar som dagens teknik medför.
Ursprungsinformation om innehåll hjälper människor att förstå var innehåll kommer ifrån, hur det skapades eller redigerades och om det innehåller signaler som är kopplade till våra modeller. Vi har redan gjort verktyg allmänt tillgängliga för att identifiera bilder och ljud som genererats av våra modeller. I dag berättar vi om vårt tillvägagångssätt för vattenmärkning av text som svar på EU:s AI-förordning och hur det passar in i vårt bredare arbete.
EU:s AI-förordning kräver att leverantörer av generativ AI gör genererad text som kan identifieras på ett maskinläsbart sätt. Vattenmärkning och detektering av text är fortfarande tekniker i ett tidigt utvecklingsskede med betydande begränsningar, och synen på deras fördelar och ansvarsfulla användning utvecklas fortfarande. Vårt stegvisa tillvägagångssätt återspeglar både kraven i EU:s AI-förordning och teknikens begränsningar, med betoning på transparens kring vad ett vattenmärke i text kan och inte kan berätta:
Från och med idag kan API-kunder världen över välja att aktivera vattenmärkning av text för utvalda modeller. Vattenmärkning av text kommer att förbli avstängd som standard i API:n.
Under de kommande veckorna kommer vi att lägga till ett osynligt vattenmärke i textutdata från ChatGPT och Codex som omfattas av detta, inom Europeiska unionen.
Vi öppnar nu för ansökningar om åtkomst till vår detektor för vattenmärkning av text. Åtkomsten kommer inledningsvis att begränsas till godkända forskare och expertorganisationer som kan hjälpa oss att utvärdera och förbättra tekniken.
Det ovanstående gäller endast en texts ursprung – våra verifieringsverktyg för ljud och bilder, inklusive vårt webbverktyg openai.com/verify och vårt Content Provenance API(öppnas i ett nytt fönster), kommer även fortsättningsvis att vara offentligt tillgängliga för organisationer som vill ta reda på om en bild eller ljudfil genererades av ett av våra system.
Vår teknik för vattenmärkning av text, textGrain, infogar en osynlig statistisk signal i modellens ordval. Vår detektor söker efter signalen för att bedöma om ett textavsnitt innehåller en OpenAI-vattenstämpel. Mer information om hur textGrain fungerar finns i vår tekniska rapport(öppnas i ett nytt fönster), som kommer att uppdateras med ytterligare information under de kommande veckorna. Vi planerar också att göra tekniken tillgänglig som öppen källkod så att andra kan bygga vidare på den.
I våra utvärderingar presterade textGrain lika bra som eller bättre än andra tillvägagångssätt vi testade, däribland SynthID för text. Trots det garanterar goda resultat under idealiska förhållanden inte tillförlitlig upptäckt vid vardaglig användning.
Detektorer kan göra två typer av fel: de kan rapportera en vattenstämpel där det inte finns någon – ett falskt positivt resultat – eller missa en vattenstämpel som finns – ett falskt negativt resultat. Våra utvärderingar nedan visar några av utmaningarna:
Kortare text eller text med fler begränsningar är svårare att detektera. Med en målnivå på 1 % för falska positiva resultat identifierade vår detektor vattenstämplar i cirka 80 % av textavsnitten på 200 token, jämfört med cirka 95 % av textavsnitten på 400 token, för innehåll inom exempelvis psykologi. Detektionsgraden var betydligt lägre för innehåll inom exempelvis matematik, där utrymmet att variera ordvalet är mindre.
Redigering kan försvaga vattenstämpeln. I en utvärdering av textavsnitt på 400 token minskade detektionsgraden från cirka 92 % till 66 % när 10 % av orden ersattes med synonymer. När 25 % av orden ersattes minskade den till 17 %.
Dessa begränsningar bidrar till vårt beslut att i ett första skede endast ge godkända forskare och expertorganisationer tillgång till detektorn, som kan hjälpa oss att utvärdera tillförlitlighet och ansvarsfull användning.
Det här diagrammet visar resultaten för vattenmärkta svar på frågor i matematik och psykologi från datasetet ELI5-datasetet(öppnas i ett nytt fönster) vid en målandel falska positiva resultat på 1 %. Detekteringsgraden ökar med textlängden, men är överlag betydligt lägre för innehåll där ordvalet är mindre flexibelt, till exempel matematik.
Redigering kan försvaga vattenstämpelsignalen avsevärt. Det här diagrammet visar hur det påverkar detekteringen att ersätta 10 % eller 25 % av orden i en text. Resultaten baseras på engelskspråkiga svar med vattenstämpel på frågor från ELI5(öppnas i ett nytt fönster).
I de benchmarktester vi använder för att utvärdera Astra, vår senaste banbrytande modell, ser vi inga betydande skillnader i prestanda med och utan vattenmärkning.
Riktmärke | Text utan vattenstämpel (Astra, Max) | Text med vattenstämpel (Astra, max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 poäng | 49,76 poäng |
AutomationBench | 34,09 % | 34,86 % |
DeepSWE v1.1 | 72,80 % | 71,68 % |
Terminal-Bench 4.0 | 53,90 % | 56,06 % |
Terminal-Bench Science 0.1 | 56,90 % | 60,00 % |
BrowseComp | 87,92 % | 87,35 % |
HealthBench Professional | 64,27 % | 64,60 % |
GPQA Diamond | 94,44 % | 93,94 % |
Vattenstämplar ger en begränsad indikation på vilken roll våra system har spelat i ett textavsnitt. Det är viktigt att förstå vilka slutsatser som kan och inte kan dras utifrån ett detektionsresultat.
En vattenstämpel mäter inte mänskligt bidrag. Den kan visa att ett OpenAI-system har genererat eller bearbetat en del av en text, men inte hur mycket mänskligt omdöme, redigering eller kreativitet som har lagts ned på den.
En vattenstämpel fastställer varken äganderätt eller ansvar. Den avgör inte vem som äger texten, om användningen var laglig, om det fanns krav på att lämna information eller vem som ansvarar för texten.
En vattenstämpel identifierar inte användaren. Den kopplar inte en person, en organisation, ett konto, en prompt eller en konversation till texten.
En vattenstämpel verifierar inte att något är korrekt. Den säger inte om ett textavsnitt är sant, vilseledande eller skadligt, eller om det presenteras i rätt sammanhang.
Att en vattenstämpel inte har upptäckts bevisar inte att texten har skrivits av en människa. Text som genererats med OpenAI-verktyg kan vara för kort, redigerad eller översatt för att kunna upptäckas på ett tillförlitligt sätt. Texten kan också komma från en modell som inte stöds, ha skapats innan vattenmärkning infördes eller ha genererats med ett annat företags verktyg.
Lansering av vattenmärkning av text i EU Under de kommande veckorna inför vi vattenmärkning av text enbart för berättigade ChatGPT- och Codex-användare i EU, oavsett abonnemang. Vid lanseringen gör vi inte vattenmärkning av text till en global standard. Det här regionala tillvägagångssättet ger oss utrymme att lära oss av användning i verkliga situationer och återkoppling.
Möjlighet för API-kunder att välja vattenmärkning. Från och med i dag kan API-kunder världen över välja att få textutdata med vattenstämplar för utvalda modeller. Det låter kunderna själva avgöra hur vattenmärkning passar in i deras transparensåtaganden och de upplevelser de erbjuder användarna. Vi samarbetar också med molnpartner för att under de kommande veckorna göra vattenmärkning tillgänglig för utdata från OpenAI-modeller som nås via deras tjänster.
Vi ger forskare och expertorganisationer tillgång till detektorn. Godkända forskare och expertorganisationer kan ansöka från och med idag. I enlighet med vår uppförandekod(öppnas i ett nytt fönster) kommer tillgång inledningsvis att beviljas efter individuell prövning för att stödja utvärdering och förbättring av textens ursprung. Verktyget rapporterar om det upptäcker en OpenAI-vattenstämpel utan att identifiera användaren eller avslöja användarens prompter eller konversationer. Med tanke på risken för missade vattenstämplar och falska positiva resultat gör vi inte verktyget tillgängligt för allmänheten vid lanseringen.
Vi förväntar oss att se över varje del av detta tillvägagångssätt på nytt i takt med att tekniken, standarderna och underlaget utvecklas.
Ingen enskild ursprungsteknik räcker på egen hand, så vi använder en flerskiktad strategi som kombinerar öppna standarder, hållbar vattenmärkning och verifieringsverktyg.
Vi lägger till Content Credentials i bildutdata som stöds, följer C2PA-standarden(öppnas i ett nytt fönster), bäddar in osynliga SynthID(öppnas i ett nytt fönster)-vattenmärken i bilder och ljud som stöds och gör verifiering av bilder och ljud tillgänglig via openai.com/verify och vårt Content Provenance API(öppnas i ett nytt fönster). Teknikerna kompletterar varandra: Content Credentials kan registrera en fils ursprung och historik, medan osynliga vattenmärken kan bevara en signal när metadata tas bort.
Som vi beskrev i vårt arbete med skyddsåtgärder inför val kan ursprungsinformation hjälpa människor och plattformar att bedöma potentiellt vilseledande AI-genererat innehåll, inklusive deepfakes. Vi kombinerar dessa signaler med policyer, upptäckt av missbruk, rapportering, utredningar och tillsyn. Vi samarbetar med forskare, standardiseringsorgan, plattformar och civilsamhället för att göra ursprungsinformation användbar i hela det bredare ekosystemet.
Att utöka ursprungsinformation till text kräver att vi tar hänsyn till hur lätt den kan skrivas om, översättas eller redigeras. Som vi diskuterade i juni måste vårt tillvägagångssätt återspegla de praktiska begränsningarna i dagens teknik. Vi kommer att fortsätta förbättra detekteringen, undersöka hur vattenstämplar klarar redigering och översättning och utforska sätt att göra en mer meningsfull åtskillnad mellan AI som hjälpmedel och AI som upphov till innehåll. Vi kommer att anpassa vårt tillvägagångssätt i takt med att underlag, standarder och regulatoriska krav utvecklas, och utöka tillgången till detektorer när vi bedömer att resultaten kan tolkas på ett ansvarsfullt sätt.
Besök vår artikel i hjälpcentret(öppnas i ett nytt fönster) för mer information.
