Upplýsingar um uppruna efnis hjálpa fólki að skilja hvaðan efni kemur, hvernig það var búið til eða því breytt og hvort það inniheldur merki sem tengjast líkönum okkar. Við höfum þegar gert verkfæri aðgengileg almenningi til að bera kennsl á myndir og hljóð sem líkön okkar hafa búið til. Í dag kynnum við nálgun okkar á vatnsmerkingu texta til að uppfylla gervigreindarlög ESB og hvernig hún fellur að víðtækara starfi okkar.
Gervigreindarlög ESB krefjast þess að veitendur skapandi gervigreindar geri myndaðan texta auðkennanlegan á véllesanlegan hátt. Vatnsmerking texta og greining vatnsmerkja eru enn tækni á frumstigi með verulegum takmörkunum. Viðhorf til gagnsemi hennar og ábyrgrar notkunar eru enn að mótast. Við innleiðum tæknina í áföngum og tökum bæði mið af kröfum gervigreindarlaga ESB og takmörkunum tækninnar. Áherslan er á gagnsæi um hvað vatnsmerki í texta getur sagt fólki og hvað ekki:
Frá og með deginum í dag geta API-viðskiptavinir um allan heim valið að virkja vatnsmerkingu texta fyrir tiltekin líkön. Vatnsmerking texta verður áfram sjálfgefið óvirk í API.
Á næstu vikum bætum við ósýnilegu vatnsmerki við textaúttak frá ChatGPT og Codex sem uppfyllir skilyrðin innan Evrópusambandsins.
Við opnum fyrir umsóknir um aðgang að verkfæri okkar til að greina vatnsmerki í texta. Í fyrstu verður aðgangur takmarkaður við samþykkta rannsakendur og sérfræðistofnanir sem geta hjálpað okkur að meta og bæta tæknina.
Ofangreint á aðeins við um uppruna texta. Staðfestingarverkfæri okkar fyrir hljóð og myndir, þar á meðal vefverkfærið openai.com/verify og API fyrir uppruna efnis(opnast í nýjum glugga), verða áfram almennt aðgengileg fyrirtækjum og stofnunum sem vilja kanna hvort mynd eða hljóðskrá hafi verið búin til með einhverju af kerfunum okkar.
Vatnsmerkingartækni okkar fyrir texta, textGrain, bætir ósýnilegu tölfræðilegu merki við orðaval líkansins. Greiningarverkfærið okkar leitar að þessu merki til að meta hvort textabútur innihaldi vatnsmerki frá OpenAI. Nánari upplýsingar um virkni textGrain má finna í tækniskýrslu okkar(opnast í nýjum glugga), sem verður uppfærð með frekari upplýsingum á næstu vikum. Við ætlum einnig að gera frumkóða tækninnar opinn svo að aðrir geti byggt á henni.
Í prófunum okkar stóð textGrain sig jafnvel eða betur en aðrar aðferðir sem við prófuðum, þar á meðal SynthID fyrir texta. Góður árangur við kjöraðstæður tryggir þó ekki áreiðanlega greiningu í daglegri notkun.
Greiningarverkfæri geta gert tvenns konar mistök: þau geta greint vatnsmerki þar sem ekkert er til staðar — falskt jákvæð niðurstaða — eða misst af vatnsmerki sem er til staðar — falskt neikvæð niðurstaða. Prófanirnar hér að neðan sýna nokkrar af þessum áskorunum:
Erfiðara er að greina vatnsmerki í styttri texta eða texta með takmarkaðra orðavali. Þegar miðað var við 1% hlutfall falskt jákvæðra niðurstaðna greindi verkfærið okkar vatnsmerki í um 80% textabúta sem voru 200 tókar að lengd, samanborið við um 95% textabúta sem voru 400 tókar, í efni á borð við sálfræði. Greiningarhlutfallið var talsvert lægra í efni á borð við stærðfræði, þar sem minna svigrúm er til orðavals.
Breytingar geta veikt vatnsmerkið. Í prófun á 400 tóka textabútum lækkaði greiningarhlutfallið úr um 92% í 66% þegar 10% orða var skipt út fyrir samheiti. Þegar 25% orða var skipt út lækkaði hlutfallið í 17%.
Þessar takmarkanir eru hluti af ástæðu þess að við veitum í fyrstu aðeins samþykktum rannsakendum og sérfræðistofnunum aðgang að greiningarverkfærinu. Þessir aðilar geta hjálpað okkur að meta áreiðanleika þess og ábyrga notkun.
Þetta línurit sýnir niðurstöður fyrir vatnsmerkt svör við spurningum um stærðfræði og sálfræði úr ELI5-gagnasafninu(opnast í nýjum glugga), þar sem miðað er við 1% hlutfall falskt jákvæðra niðurstaðna. Greiningarhlutfallið hækkar eftir því sem textinn lengist, en er almennt talsvert lægra fyrir efni þar sem minna svigrúm er til orðavals, svo sem stærðfræði.
Breytingar á texta geta veikt vatnsmerkið verulega. Þetta línurit sýnir hvernig það hefur áhrif á greiningu að skipta út 10% eða 25% orða í textabút. Niðurstöðurnar byggja á vatnsmerktum enskum svörum við spurningum úr ELI5(opnast í nýjum glugga).
Í viðmiðunarprófunum sem við notum til að meta Astra, nýjasta háþróaða líkanið okkar, sjáum við ekki mun sem máli skiptir á frammistöðu með og án vatnsmerkingar.
Viðmiðunarpróf | Texti án vatnsmerkis (Astra, Max) | Vatnsmerktur texti (Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 stig | 49,76 stig |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Vatnsmerki í texta gefa takmarkaða vísbendingu um hlut kerfa okkar í gerð textabúts. Mikilvægt er að skilja hvaða ályktanir má og má ekki draga af niðurstöðu greiningar.
Vatnsmerki mælir ekki framlag mannsins. Það getur bent til þess að kerfi frá OpenAI hafi búið til eða unnið úr hluta textans, en ekki hversu mikið mat, ritstjórn eða sköpun af hálfu fólks liggur að baki honum.
Vatnsmerki staðfestir hvorki eignarhald né ábyrgð. Það ákvarðar ekki hver á textann, hvort notkun hans var lögmæt, hvort skylt var að upplýsa um notkun gervigreindar eða hver ber ábyrgð á honum.
Vatnsmerki auðkennir ekki notandann. Það tengir hvorki einstakling, fyrirtæki, stofnun, reikning, kvaðningu né samtal við textann.
Vatnsmerki staðfestir ekki að efnið sé rétt. Það segir þér ekki hvort textabútur sé sannur, villandi, skaðlegur eða settur fram í réttu samhengi.
Þótt ekkert vatnsmerki greinist sannar það ekki að manneskja hafi skrifað textann. Texti sem er búinn til með verkfærum OpenAI getur verið of stuttur, breyttur eða þýddur til að greiningin sé áreiðanleg. Hann getur einnig komið frá líkani sem styður ekki vatnsmerkingu, verið eldri en vatnsmerkingartæknin eða hafa verið búinn til með verkfærum annars fyrirtækis.
Innleiðing vatnsmerkingar texta innan ESB. Á næstu vikum innleiðum við vatnsmerkingu texta fyrir notendur ChatGPT og Codex sem uppfylla skilyrðin, í öllum áskriftarleiðum en eingöngu innan ESB. Vatnsmerking texta verður ekki sjálfgefin um allan heim við innleiðingu. Með því að afmarka innleiðinguna við þetta svæði gefst okkur svigrúm til að læra af raunverulegri notkun og endurgjöf.
API-viðskiptavinir geta valið að virkja vatnsmerkingu. Frá og með deginum í dag geta API-viðskiptavinir um allan heim valið vatnsmerkt textaúttak úr tilteknum líkönum. Þannig geta viðskiptavinir ákveðið hvernig vatnsmerking fellur að gagnsæisskyldum þeirra og upplifuninni sem þeir bjóða notendum sínum. Við vinnum einnig með samstarfsaðilum okkar í skýjaþjónustu að því að gera vatnsmerkingu aðgengilega á næstu vikum fyrir úttak úr líkönum OpenAI sem notuð eru í gegnum þjónustu þeirra.
Rannsakendur og sérfræðistofnanir fá aðgang að greiningarverkfærinu. Samþykktir rannsakendur og sérfræðistofnanir geta sótt um frá og með deginum í dag. Í samræmi við starfsreglurnar(opnast í nýjum glugga) verður aðgangur í fyrstu veittur að undangengnu mati í hverju tilviki, til að styðja við mat og endurbætur á aðferðum við að rekja uppruna texta. Verkfærið mun tilkynna hvort það greini vatnsmerki frá OpenAI, án þess að auðkenna notandann eða birta kvaðningar hans eða samtöl. Vegna hættunnar á að vatnsmerki greinist ekki og að niðurstöður verði falskt jákvæðar gerum við verkfærið ekki aðgengilegt almenningi við innleiðingu.
Við gerum ráð fyrir að endurskoða hvern þátt þessarar nálgunar eftir því sem tækni, staðlar og þekking þróast.
Engin ein aðferð við að rekja uppruna efnis nægir ein og sér. Því beitum við margþættri nálgun sem sameinar opna staðla, endingargóða vatnsmerkingu og staðfestingarverkfæri.
Við bætum Content Credentials við myndúttak sem styður tæknina, uppfyllum C2PA-staðalinn(opnast í nýjum glugga), fellum ósýnileg SynthID(opnast í nýjum glugga)-vatnsmerki inn í myndir og hljóð sem styðja tæknina og bjóðum staðfestingu mynda og hljóðs í gegnum openai.com/verify og API okkar fyrir uppruna efnis(opnast í nýjum glugga). Þessar aðferðir styðja hver aðra: Content Credentials geta skráð uppruna og sögu skrár, en ósýnileg vatnsmerki geta varðveitt merki þegar lýsigögn eru fjarlægð.
Eins og við lýstum í umfjöllun um vinnu okkar við að vernda kosningar geta upplýsingar um uppruna hjálpað fólki og netvettvöngum að meta hugsanlega villandi efni sem búið er til með gervigreind, þar á meðal djúpfalsanir. Samhliða þessum merkjum beitum við reglum, greiningu misnotkunar, tilkynningum, rannsóknum og framfylgd. Við vinnum einnig með rannsakendum, staðlastofnunum, netvettvöngum og borgaralegu samfélagi að því að gera upplýsingar um uppruna gagnlegar í stafræna umhverfinu í heild.
Þegar aðferðir við að rekja uppruna eru útvíkkaðar til texta þarf að taka tillit til þess hversu auðvelt er að endurskrifa hann, þýða eða breyta. Eins og við fjölluðum um í júní verður nálgun okkar að taka mið af raunverulegum takmörkunum núverandi tækni. Við höldum áfram að bæta greininguna, rannsaka hvernig vatnsmerki þola breytingar og þýðingar og kanna leiðir til að greina betur á milli texta sem er saminn með aðstoð gervigreindar og texta sem hún semur sjálf. Við aðlögum nálgun okkar eftir því sem þekking, staðlar og reglugerðarkröfur þróast og víkkum aðgang að greiningarverkfærinu þegar við teljum að hægt sé að túlka niðurstöðurnar á ábyrgan hátt.
Frekari upplýsingar má finna í grein í hjálparmiðstöðinni okkar(opnast í nýjum glugga).
