Främja innehållsproveniens för ett säkrare och mer transparent AI-ekosystem

Människor använder OpenAIs verktyg varje dag för att skapa och redigera bilder och ljud på sätt som gör kommunikationen mer uttrycksfull, användbar och tillgänglig. När dessa verktyg blir en del av hur människor skapar, föreställer sig och delar, är det viktigt att människor kan förstå och verifiera var medierna kommer ifrån så att de kan tolka dem med större säkerhet. Provenienssignaler kan hjälpa genom att ge människor sammanhang om var innehåll kommer ifrån, hur det skapades eller redigerades och om det är vad det utger sig för att vara.

I dag stärker vi vår strategi för innehållsproveniens med en flerskiktad, ekosystemdriven modell för att bygga förtroende online. Vi gör våra provenienssignaler lättare för andra verktyg och plattformar att känna igen genom C2PA-överensstämmelse, lägger till hållbar plattformsöverskridande SynthID-vattenmärkning i bilder genom ett partnerskap med Google och delar en förhandsvisning av ett verktyg som allmänheten kan använda för att verifiera om bilder kommer från OpenAI.

Tillsammans bygger dessa uppdateringar vidare på vårt tidigare arbete⁠ för att stödja öppna standarder, göra OpenAI-genererat innehåll lättare att identifiera och samarbeta i hela branschen för att stödja ett mer tillförlitligt informationsekosystem.

OpenAI har deltagit i utvecklingen och införandet av proveniensstandarder sedan 2024, då vi började lägga till Content Credentials i bilder som genererats av DALL·E 3⁠(öppnas i ett nytt fönster) och senare i ImageGen⁠(öppnas i ett nytt fönster) och Sora⁠(öppnas i ett nytt fönster). Vi gick också med i styrkommittén för Coalition for Content Provenance and Authenticity (C2PA), den branschöverskridande gruppen bakom den öppna tekniska standarden för innehållsproveniens. C2PA:s tekniska metod använder metadata och kryptografiska signaturer för att hjälpa information om ett medieobjekt att på ett säkert sätt följa med själva innehållet. Denna information innehåller sammanhang som hjälper journalister att utvärdera en källa, plattformar att fatta integritetsbeslut och människor att förstå vad de ser online.

Vi tog nyligen steget att göra OpenAI till en C2PA Conforming Generator Product⁠(öppnas i ett nytt fönster). Genom att bli C2PA-kompatibla ger vi plattformar ett tillförlitligt sätt att läsa, bevara och föra vidare den proveniensinformation som vi kopplar till vårt innehåll. Detta är viktigt eftersom proveniens bara fungerar om den överlever bortom den första plattform där innehåll skapas, och överensstämmelse gör det möjligt.

C2PA-metadata är en viktig grund för proveniens. Det hjälper innehåll att bära med sig information om var det kommer ifrån, hur det skapades eller redigerades och vem som signerade den informationen. Men metadata är inte idiotsäkra. De kan tas bort, gå förlorade vid uppladdningar och nedladdningar eller brytas av förändringar som filformatsbyten, storleksändringar eller skärmbilder.

För att göra proveniens mer motståndskraftig använder vi en flerskiktad strategi och införlivar vattenmärkning genom Google DeepMinds SynthID⁠(öppnas i ett nytt fönster), med början i bilder som genereras via ChatGPT⁠, Codex eller OpenAI API. SynthID bäddar in ett osynligt vattenmärkningslager som kompletterar C2PA-baserade metadatametoder.

Vi har arbetat mot detta under en tid. Vi har använt synliga vattenstämplar⁠ i Sora och en ljudvattenstämpel⁠ i Voice Engine, och har fortsatt att testa och forska om noggrannhet och tillförlitlighet över tid. genom driftsättning.

Dessa två system förstärker varandra. C2PA hjälper innehåll att bära med sig detaljerat sammanhang; SynthID hjälper till att bevara en signal när metadata inte överlever. Vattenmärkning kan vara mer hållbar genom förändringar som skärmbilder, medan metadata kan ge mer information än enbart en vattenstämpel. Tillsammans gör de proveniens mer motståndskraftig än något av lagren skulle vara på egen hand.

Tillförlitliga metadata och vattenstämplar som står emot de flesta ändringar kan göra provenienssignaler mer hållbara. Men människor behöver ett sätt att upptäcka dessa signaler. Vi visar nu en förhandsvisning av ett offentligt verifieringsverktyg⁠ som hjälper människor att verifiera om en uppladdad bild genererades i ChatGPT, OpenAI API eller Codex genom att kontrollera om den innehåller provenienssignaler, inklusive Content Credentials och SynthID.

Vi anser att proveniens bör vara lättare för människor att verifiera och tolka, och att vårt verktyg kan hjälpa människor att spela en roll i att besvara frågan: ”Genererades detta med AI? genom att integrera flera signaler. Detta bygger på lärdomar från den första forskningsförhandsvisningen av vår bilddetekteringsklassificerare⁠ 2024 och gör det möjligt för människor att på ett tillförlitligt sätt upptäcka om en SynthID-vattenstämpel från OpenAI finns i mediet, samt att visa C2PA-metadata när sådan hittas.

Ingen detektionsmetod är idiotsäker, så vi intar en försiktig hållning i fall där detektering misslyckas. Om ingen metadata eller vattenstämpel upptäcks kommer verktyget till exempel inte att dra någon definitiv slutsats om huruvida bilden genererades med OpenAIs verktyg, eftersom provenienssignaler i vissa fall kan tas bort.

Vid lanseringen är verktyget begränsat till innehåll som genererats av OpenAI. Under de kommande månaderna siktar vi på att stödja branschöverskridande insatser för att göra verifiering möjlig över plattformar. Med tiden räknar vi också med att stödja fler typer av innehåll som människor kan stöta på online.

Ingen enskild proveniensteknik räcker på egen hand. Vi anser att en stark strategi kombinerar gemensamma standarder, hållbara vattenmärkningssignaler och offentlig verifiering. Genom att bygga vidare på vårt långvariga stöd för Content Credentials, bli kompatibla med C2PA, införa SynthID och visa verktyg för offentlig verifiering i förhandsvisning hoppas vi på sikt kunna bidra till ett mer interoperabelt proveniensekosystem.