Nové nástroje a podpora pro boj proti sexuálnímu zneužívání dětí online
Nové nástroje, praktické pokyny a partnerství pomohou předcházet sexuálnímu vykořisťování a zneužívání dětí online, odhalovat je a reagovat na ně.
Dnes představujeme nový nástroj pro detekci materiálů zachycujících sexuální zneužívání dětí (CSAM), opatření, která přerušují škodlivé chování a směrují lidi k pomoci, praktické zdroje pro vývojáře a podporu pro policejní vyšetřovatele zaměřené na ochranu dětí. Tyto aktivity navazují na náš plán ochrany dětí a naše průběžné úsilí o odhalování, blokování a hlášení zneužívání. Z pohledu rodičů je cíl jednoduchý: technologie, která pomáhá chránit děti a zůstává pod kontrolou lidí.
Je dobře(otevře se v novém okně) doloženo(otevře se v novém okně), že boj proti predátorům, kteří na internetu cílí na děti, vyžaduje koordinaci mnoha organizací. Jednotlivé společnosti včetně OpenAI nesou odpovědnost za to, aby predátoři nemohli zneužívat jejich technologie k ubližování dětem. Musíme také spolupracovat s dalšími firmami v odvětví, organizacemi na ochranu dětí a orgány činnými v trestním řízení, abychom posouvali společné úsilí o ochranu dětí na internetu.
Pomáháme více organizacím odhalovat materiály zachycující zneužívání
Na naše stávající ochranná opatření navazujeme vydáním nového klasifikátoru obrázků, který dokáže odhalit potenciální CSAM včetně materiálů vytvořených pomocí AI. Tento nový klasifikátor hledá vizuální známky zneužívání a pomáhá týmům rozpoznat nové obrázky, které dosud nemusely být nikde zaznamenány. Vrací skóre, které pomáhá hodnotitelům rozhodnout, které obrázky mohou vyžadovat přednostní pozornost. Jde o první široce dostupný klasifikátor CSAM, který poskytuje samostatný ukazatel toho, zda mohl být materiál vytvořen pomocí AI.
Naše týmy klasifikátor trénovaly, hodnotily a navrhly pro nasazení v praxi s pomocí Národního centra pro pohřešované a vykořisťované děti (NCMEC)(otevře se v novém okně). Tato nezisková organizace provozuje CyberTipline, centrální místo pro hlášení vykořisťování dětí na internetu.
Prověřeným organizacím nabízíme bezplatný přístup ke klasifikátoru prostřednictvím API OpenAI. Zpřístupňujeme tak detekci CSAM organizacím na ochranu dětí i širšímu odvětví, včetně organizací s různě velkými týmy.
Ochrana dětí je tématem celého odvětví a vyžaduje úzkou spolupráci mezi organizacemi i širokou škálu řešení. Do zpřístupňování tohoto nového nástroje jsme zapojili organizace Tech Coalition(otevře se v novém okně) a ROOST(otevře se v novém okně). Zároveň důrazně podporujeme nástroje vyvinuté dalšími organizacemi, například systém pro detekci CSAM Safer od organizace Thorn(otevře se v novém okně). Nedávno jsme se také zapojili do programu Lantern(otevře se v novém okně) organizace Tech Coalition. Budeme v něm sdílet a přijímat informace o známkách sexuálního vykořisťování a zneužívání dětí na internetu, abychom posílili spolupráci mezi platformami.
Klasifikátor jsme testovali interně i s prvními partnery, abychom změřili, kolik materiálů zachycujících zneužívání odhalí, jak často označuje jiné obrázky a jak může podpořit bezpečnostní týmy. Jejich zpětná vazba nám pomohla odhalit slabá místa a systém zlepšit.
Výsledky
První testy naznačují, že klasifikátor může hodnotitelům pomoci soustředit se na obrázky zachycující zneužívání a omezit kontrolu falešně pozitivních nálezů. Při hodnocení obrázků nahraných uživateli jsme nový klasifikátor porovnali s našimi stávajícími ochrannými opatřeními a zjistili jsme:
Nový klasifikátor by mohl snížit objem kontrol: podle našeho odhadu by označil o 48 % méně obrázků, přitom by odhalil přibližně stejný počet obrázků zachycujících zneužívání jako stávající nástroj.
U obrázků označených novým klasifikátorem byla přibližně dvojnásobná pravděpodobnost, že zachycují zneužívání.
Partneři s předběžným přístupem také hodnotili, jak klasifikátor pomáhá jejich vlastním bezpečnostním týmům. Při testování společnosti fal(otevře se v novém okně) na obrázcích z reálného provozu, které kontrolovali lidé, hodnotitelé potvrdili 72 % obrázků označených klasifikátorem s vysokou mírou jistoty jako dosud neznámý CSAM. Testování společnosti invideo AI(otevře se v novém okně) ukázalo, že každý čtvrtý označený případ vedl k zablokování účtu. Při hodnoceních společnosti SafetyKit(otevře se v novém okně) zaměřených na kresby nebo animace sexualizující děti klasifikátor odhalil 90 % případů.
Další informace o klasifikátoru jsou k dispozici v kartě modelu klasifikátoru CSAM(otevře se v novém okně). Organizace, které mají o klasifikátor zájem, budou moci požádat o přístup prostřednictvím našeho vstupního formuláře. Klasifikátor budeme dál zlepšovat na základě zpětné vazby od jeho uživatelů.
Zastavení škodlivého chování a nasměrování lidí k pomoci
Už nyní zakazujeme CSAM, trénujeme naše modely, aby odmítaly žádosti o něj, a zasahujeme proti účtům, které porušují naše zásady. Na tato ochranná opatření navazujeme novými varováními přímo v ChatGPT. Ta přerušují pokusy o vyhledání materiálů zachycujících zneužívání, vysvětlují důsledky a odkazují lidi na pomoc, která jim umožní se škodlivým chováním přestat.
Varování jasně uvádí, že sexualizace dětí způsobuje újmu, a to i tehdy, když je požadovaný materiál vytvořený pomocí AI. Vedle zobrazení varování odstraníme označenou konverzaci a na 24 hodin pozastavíme přístup k ChatGPT. Odborná pomoc, která lidem pomáhá přestat se škodlivým chováním, zůstane dostupná. Opakované porušování pravidel může vést k delším omezením a nakonec i ke zrušení účtu nebo oznámení příslušným orgánům.

Tento přístup jsme vyvinuli s přispěním organizací a akademických poradců, kteří zkoumají a vytvářejí programy prevence sexuálního zneužívání dětí. Patří mezi ně Protect Children(otevře se v novém okně), Lucy Faithfull Foundation(otevře se v novém okně), Dr. Caoilte Ó Ciardha, výzkumník a čestný docent forenzní psychologie na Univerzitě v Kentu, a Joel Scanlan z Tasmánské univerzity, který nezávisle vyhodnotil zkušební nasazení(otevře se v novém okně) odrazujících zpráv.
Praktická podpora pro vývojáře
Ochrana dětí na internetu nekončí u detekce. Zveřejnili jsme pokyny k CSAM(otevře se v novém okně), které vývojářům nabízejí praktické kroky k prevenci zneužívání, odhalování škodlivého obsahu a následným zásahům. Vznikly s přispěním organizací Tech Coalition(otevře se v novém okně), Thorn(otevře se v novém okně), NCMEC(otevře se v novém okně) a Internet Watch Foundation(otevře se v novém okně) a jsou určeny organizacím v různých fázích budování bezpečnostních systémů.
Tyto pokyny stanovují jasná pravidla, možnosti, jak mohou uživatelé hlásit podezření, nástroje pro detekci a postupy pro prověřování a hlášení podezření na zneužívání. Vysvětlují také, jak mohou bezpečnostní identifikátory pomoci vývojářům spojit zneužití s konkrétními uživateli a jak podpořit lidi, kteří kontrolují citlivý obsah. Vývojáři je mohou využívat spolu s nástroji, jako je náš nový klasifikátor obrázků, API pro moderování obsahu(otevře se v novém okně), konzole Coop od organizace ROOST pro kontrolu obsahu provozovaná na vlastní infrastruktuře(otevře se v novém okně) a specializované služby pro detekci CSAM, například Safer od organizace Thorn(otevře se v novém okně).
Náš závazek spolupracovat a podporovat širší vývojářskou komunitu se odráží také ve spolupráci se společnostmi Anthropic a Google, s nimiž jsme společně zadali vypracování nových pokynů, jak v systémech AI reagovat na sdělení o sexuálním vykořisťování a zneužívání dětí. Tyto pokyny, které nedávno zveřejnila organizace Tech Coalition(otevře se v novém okně), poskytují vývojářům praktická doporučení pro řešení těchto citlivých situací.
Už nyní pozorujeme, že díky těmto pokynům roste počet vývojářů, kteří využívají nástroje na ochranu dětí a registrují se k hlášení CSAM organizaci NCMEC.
Podpora policejních útvarů na ochranu dětí
Ochrana dětí znamená také podporu specializovaných vyšetřovatelů, kteří pracují na vyhledávání obětí a zastavení zneužívání. Jak jsme veřejně diskutovali s organizací Thorn(otevře se v novém okně), AI může vyšetřovatelům pomoci uspořádat informace, určit jejich priority a omezit zbytečné vystavení materiálům zachycujícím zneužívání.
Policejní útvary na ochranu dětí podporujeme také novými nástroji a školeními o využití AI při vyšetřování. Patří sem specializované pluginy, vyšetřovací nástroje i komplexní analýza dat, přičemž přístup spravují administrátoři programu. Při spuštění bude první nástroj pomáhat vyšetřovatelům procházet rozsáhlé záznamy chatů a podklady získané na základě právních žádostí, odhalovat možné souvislosti a vytvářet časové osy. Zjištění budou propojena se zdrojovými materiály.
Úvodní školení je plánováno jako přehled s ukázkou, doplněný praktickou příručkou, ke které se týmy budou moci později vracet. Představí nástroje a jejich využití při vyšetřovací práci. Přístup bude podmíněn schválením příslušného orgánu a splněním požadavků programu. Další verze školení budou navrženy do programu regionálních, celostátních a mezinárodních konferencí.
Pokračujeme ve společném úsilí
Všechny tyto aktivity mají společný cíl: předcházet újmě na dětech a posílit reakci na případy zneužívání. Budeme dál zlepšovat naše ochranná opatření a zároveň poskytovat organizacím na ochranu dětí, vývojářům, výzkumníkům a vyšetřovatelům nástroje, zdroje a odborné znalosti, které potřebují k ochraně dětí, boji proti vykořisťování a postavení pachatelů před spravedlnost. Společně můžeme využít sílu AI a dosáhnout skutečného pokroku v boji proti sexuálnímu vykořisťování a zneužívání dětí.


