Megközelítésünk az EU szövegeredet-követési szabályaihoz
Az átláthatóság előmozdítása a mai technológia korlátain belül.
A tartalom eredete segít megérteni, honnan származik, hogyan hozták létre vagy szerkesztették, és szerepelnek-e benne a modelljeinkhez kapcsolódó jelzéseket. Már nyilvánosan elérhetővé tettünk az eszközöket a modelljeink által generált képek és hanganyagok azonosítására. Ma megosztjuk a szöveges vízjelezéssel kapcsolatos megközelítésünket az EU AI-rendeletre válaszul, valamint azt, hogyan illeszkedik ez a szélesebb körű munkánkba.
Az EU MI-törvénye előírja a generatív MI-szolgáltatók számára, hogy a generált szöveget géppel olvasható módon azonosíthatóvá tegyék. A szöveges vízjelezés és -észlelés továbbra is korai technológiák, jelentős korlátokkal, és az előnyeikkel és felelősségteljes használatukkal kapcsolatos nézetek még kialakulóban vannak. Fázisos megközelítésünk tükrözi mind az EU MI-törvényének követelményeit, mind a technológia korlátait, hangsúlyozva az átláthatóságot azzal kapcsolatban, hogy mit mondhat és mit nem a szöveges vízjel az embereknek:
A mai naptól kezdve az API-felhasználók világszerte feliratkozhatnak a szöveges vízjelezésre bizonyos modellek esetében. A szöveges vízjelezés alapértelmezés szerint kikapcsolva marad az API-ban.
Az elkövetkező hetekben egy láthatatlan vízjelet adunk hozzá a jogosult ChatGPT és Codex szövegkimenethez az Európai Unióban.
Mostantól lehet jelentkezni a szöveges vízjeleket felismerő eszközünkhöz való hozzáférésért. Kezdetben csak a technológia értékelésében és továbbfejlesztésében segíteni képes, jóváhagyott kutatók és szakértői szervezetek kapnak hozzáférést.
A fentiek csak a szöveg eredetére vonatkoznak; a hanganyagokhoz és képekhez készült ellenőrző eszközeink, köztük az openai.com/verify webes eszközünk és a Content Provenance API(új ablakban nyílik meg), továbbra is nyilvánosan hozzáférhetők maradnak azoknak a szervezeteknek, amelyek szeretnék megállapítani, hogy egy kép- vagy hangfájlt valamelyik rendszerünk hozott-e létre.
Szöveges vízjelezési technológiánk, a textGrain, láthatatlan statisztikai jelzést ad a modell szóválasztásaihoz. Érzékelőnk ezt a jelzést keresi annak megállapításához, hogy egy szövegrészlet tartalmaz-e OpenAI-vízjelet. A textGrain működéséről további részleteket technikai jelentésünkben(új ablakban nyílik meg) találsz, amelyet a következő hetekben további információkkal egészítünk ki. Azt is tervezzük, hogy nyílt forráskódként elérhetővé tesszük a technológiát, hogy mások is továbbfejleszthessék.
Értékeléseink során a textGrain elérte vagy meghaladta az általunk tesztelt többi megközelítés teljesítményét, beleértve a szövegekhez készült SynthID-t is. Az ideális körülmények között nyújtott kiváló teljesítmény azonban nem garantálja a megbízható észlelést a mindennapi használat során.
A detektorok kétféle hibát véthetnek: akkor is vízjelet jelezhetnek, ha nincs jelen – ez a hamis pozitív –, vagy nem észlelhetik a jelen lévő vízjelet – ez a hamis negatív. Az alábbi értékeléseink bemutatnak néhány kihívást:
A rövidebb vagy kötöttebb szövegeket nehezebb észlelni. 1%-os célzott tévespozitív-arány mellett detektorunk a 200 tokenből álló szövegrészletek körülbelül 80%-ában, míg a 400 tokenből álló szövegrészletek körülbelül 95%-ában észlelt vízjeleket, például pszichológiai témájú tartalmak esetében. A matematikához hasonló tartalmak esetében az észlelési arányok jóval alacsonyabbak voltak, mivel kisebb a mozgástér a szóválasztásban.
A szerkesztés gyengítheti a vízjelet. Egy 400 tokenből álló szövegrészleteken végzett értékelés során a szavak 10%-ának szinonimákra cserélése körülbelül 92%-ról 66%-ra csökkentette az észlelési arányt. A szavak 25%-ának cseréje 17%-ra csökkentette azt.
Ezek a korlátozások is hozzájárulnak ahhoz a döntésünkhöz, hogy kezdetben csak jóváhagyott kutatóknak és szakértő szervezeteknek biztosítunk hozzáférést a detektorhoz. Ők segíthetnek nekünk megbízhatóságának és felelős felhasználási módjainak értékelésében.
Ez az ábra a vízjelezett válaszok eredményeit mutatja az ELI5-adathalmazból(új ablakban nyílik meg) származó matematikai és pszichológiai kérdések esetében, 1%-os célzott tévespozitív-aránynál. A felismerés pontossága a szöveg hosszával javul, de összességében jóval alacsonyabb az olyan tartalmak esetében, ahol kisebb a szóválasztás szabadsága, például a matematikai szövegeknél.
A szerkesztés jelentősen gyengítheti a vízjeljelet. Ez a diagram azt mutatja, hogyan befolyásolja az észlelést egy szövegrész szavainak 10% vagy 25% arányú cseréje. Az eredmények az ELI5(új ablakban nyílik meg) kérdéseire adott, vízjellel ellátott angol nyelvű válaszokon alapulnak.
Az Astra, legújabb élvonalbeli modellünk értékelésére használt benchmarkokban nem tapasztalunk érdemi teljesítménykülönbséget sem vízjelezéssel, sem anélkül.
Referenciaérték | Vízjel nélküli szöveg (Astra, Max) | Vízjeles szöveg (Astra, Max) |
|---|---|---|
Artificial Analysis mesterségesintelligencia-index | 49,57 pont | 49,76 pont |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
A szöveges vízjelek csak korlátozott jelzést adnak arról, milyen szerepet játszottak rendszereink egy szövegrészben. Fontos megérteni, mire lehet és mire nem lehet következtetni az észlelés eredményéből.
A vízjel nem méri az emberi hozzájárulást. Jelezheti, hogy egy OpenAI-rendszer hozta létre vagy dolgozta fel egy szöveg egy részét, de azt nem, hogy mekkora szerepet játszott benne az emberi ítélőképesség, a szerkesztés vagy a kreativitás.
A vízjel nem határozza meg a tulajdonjogot vagy a felelősséget. Nem dönti el, hogy ki a szöveg tulajdonosa, jogszerű volt-e a felhasználása, fennállt-e tájékoztatási kötelezettség, vagy ki felel érte.
A vízjel nem azonosítja a felhasználót. Nem kapcsol össze személyt, szervezetet, fiókot, utasítást vagy beszélgetést a szöveggel.
A vízjel nem igazolja a pontosságot. Nem árulja el, hogy egy szövegrész igaz-e, félrevezető vagy káros-e, illetve megfelelő kontextusban jelenik-e meg.
A felismert vízjel hiánya nem bizonyítja, hogy ember készítette. Az OpenAI-eszközökkel generált szöveg túl rövid, szerkesztett vagy lefordított lehet ahhoz, hogy az észlelés megbízhatóan működjön. Származhat nem támogatott modellből is, készülhetett a vízjelezés bevezetése előtt, vagy generálhatták egy másik cég eszközeivel.
Bevezetjük a szöveges vízjelezést az EU-ban. A következő hetekben bevezetjük a szöveges vízjelezést az EU-ban, minden csomagban, de csak az arra jogosult ChatGPT- és Codex-felhasználók számára. Induláskor nem tesszük a szöveges vízjelezést globális alapértelmezetté. Ez a regionális megközelítés lehetőséget ad arra, hogy a valós használatból és a visszajelzésekből tanuljunk.
Választható vízjelezés az API-ügyfelek számára. A mai naptól az API-ügyfelek világszerte bekapcsolhatják a vízjelezést egyes modellek szöveges kimeneteinél. Így eldönthetik, hogyan illeszkedik a vízjelezés az átláthatósággal kapcsolatos kötelezettségeikhez és a felhasználóiknak nyújtott élményekhez. A következő hetekben felhőpartnereinkkel együtt azon is dolgozunk, hogy az OpenAI-modellek kimeneteinél is elérhetővé tegyük a vízjelezést, ha azokat partnereink szolgáltatásain keresztül érik el.
Detektor hozzáférés biztosítása kutatók és szakértői szervezetek számára. A jóváhagyott kutatók és szakértői szervezetek a mai naptól jelentkezhetnek . A gyakorlati kódexnek(új ablakban nyílik meg) megfelelően a hozzáférést kezdetben eseti alapon adják meg a szöveg eredetének értékelése és javítása érdekében. Az eszköz jelenti, hogy észlel-e OpenAI vízjelet, anélkül, hogy azonosítaná a felhasználót, vagy felfedné az utasításait és beszélgetéseit. A kihagyott vízjelek és a téves riasztások kockázata miatt a bevezetéskor nem tesszük nyilvánosan elérhetővé.
Arra számítunk, hogy a technológia, a szabványok és a bizonyítékok alakulásával párhuzamosan újra áttekintjük ennek a megközelítésnek minden egyes részét.
Önmagában egyetlen származáskövetési technika sem elegendő, ezért rétegzett megközelítést alkalmazunk, amely a nyílt szabványokat, a tartós vízjelezést és az ellenőrző eszközöket ötvözi.
A támogatott képkimenetekhez Content Credentials-adatokat adunk hozzá, megfelelünk a C2PA szabványnak(új ablakban nyílik meg), láthatatlan SynthID(új ablakban nyílik meg)-vízjeleket ágyazunk be a támogatott képekbe és hanganyagokba, a képek és hanganyagok ellenőrzését pedig elérhetővé tesszük az openai.com/verify oldalon és a Content Provenance API(új ablakban nyílik meg) segítségével. Ezek a technikák kiegészítik egymást: a Content Credentials rögzítheti egy fájl eredetét és előzményeit, a láthatatlan vízjelek pedig akkor is megőrizhetnek egy jelet, ha eltávolítják a metaadatokat.
Ahogy a választások védelmét szolgáló munkánkban is ismertettük, az eredetkövetés segíthet az embereknek és a platformoknak felmérni a potenciálisan félrevezető, MI által generált tartalmakat, köztük a deepfake-eket is. Ezeket a jelzéseket irányelvekkel, a visszaélések észlelésével, bejelentési lehetőségekkel, vizsgálatokkal és érvényesítési intézkedésekkel egészítjük ki, és kutatókkal, szabványügyi szervezetekkel, platformokkal és a civil társadalom képviselőivel együtt dolgozunk azon, hogy az eredetkövetés a tágabb ökoszisztémában is hasznos legyen.
Az eredet igazolásának szövegekre való kiterjesztéséhez figyelembe kell venni, hogy a szövegek milyen könnyen átírhatók, lefordíthatók vagy szerkeszthetők. Ahogyan arról júniusban beszámoltunk, megközelítésünknek tükröznie kell a jelenlegi technológia gyakorlati korlátait. Tovább fejlesztjük a felismerést, vizsgáljuk, hogy a vízjelek mennyire állnak ellen a szerkesztésnek és a fordításnak, és keressük annak módjait, hogyan különböztethetjük meg érdemben az MI segítségével készült tartalmakat az MI által létrehozott tartalmaktól. Megközelítésünket a bizonyítékok, a szabványok és a szabályozási követelmények alakulásához igazítjuk, és bővítjük a felismerő eszközökhöz való hozzáférést, amikor úgy ítéljük meg, hogy az eredmények felelősen értelmezhetők.
További információkért olvasd el súgócikkünket(új ablakban nyílik meg).
