Představujeme program OpenAI Safety Bug Bounty

OpenAI dnes spouští veřejný program Safety Bug Bounty⁠(otevře se v novém okně), který se soustředí na rozpoznávání zneužití AI a bezpečnostních rizik v rámci našich produktů. S tím, jak se technologie umělé inteligence rychle vyvíjí, tak se rozšiřují i možné způsoby jejího zneužití. Naším cílem je postarat se o to, aby naše systémy zůstaly bezpečné a zabezpečené před nesprávným použitím nebo zneužitím, které by mohlo způsobit hmatatelné škody. 

Tento nový program doplní program Security Bug Bounty⁠(otevře se v novém okně) společnosti OpenAI s tím, že bude přijímat nahlašování problémů, které představují významná rizika zneužití a bezpečnosti, i když nesplňují kritéria bezpečnostní zranitelnosti. Těšíme se, že prostřednictvím tohoto programu budeme moci pokračovat ve spolupráci s výzkumníky v oblasti bezpečnosti a zabezpečení, kteří nám pomáhají vyhledávat a řešit problémy, které nespadají do běžných bezpečnostních zranitelností, ale přesto představují skutečná rizika. Podaná oznámení posoudí týmy programu Bug Bounty společnosti OpenAI pro bezpečnost a zabezpečení a podle rozsahu a odpovědnosti mohou být tato oznámení přesměrována mezi těmito dvěma programy.

Nový program Safety Bug Bounty⁠(otevře se v novém okně) se zaměřuje na níže uvedené bezpečnostní scénáře specifické pro AI:

Rizika agentů včetně MCP

• Externí injektáž promptů a exfiltrace dat: když je text útočníka schopen spolehlivě ovládnout agenta oběti (včetně prohlížeče, agenta ChatGPT a podobných agentních produktů) a přimět ho k provedení škodlivé akce nebo k vyzrazení citlivých informací uživatele. Chování musí být reprodukovatelné alespoň v 50 % případů. 
• Produkt OpenAI s agentními schopnostmi provede na webu OpenAI ve velkém měřítku nepovolenou akci.
• Produkt OpenAI s agentními schopnostmi provede potenciálně škodlivou akci, která není uvedena výše. Platná hlášení musí uvádět věrohodnou a podstatnou škodu.
• Jakékoli testování rizik MCP musí být v souladu s podmínkami služeb jakýchkoli třetích stran.

Důvěrné informace společnosti OpenAI

• Generování modelů, které vracejí proprietární informace související s uvažováním.
• Zranitelnosti, které odhalují další proprietární informace OpenAI.

Integrita účtu a platformy

• Zranitelnosti týkající se signálů integrity účtu a integrity platformy, jako je obcházení kontrol proti automatizaci, manipulace se signály důvěryhodnosti účtu, vyhýbání se omezením, pozastavením nebo zákazům účtu a podobné problémy.
• Problémy, které uživatelům umožňují přístup k prvkům, datům nebo funkcionalitám nad rámec autorizovaných oprávnění, by měly být nahlášeny organizaci Security Bug Bounty⁠(otevře se v novém okně).

Přestože jailbreaky nespadají do rozsahu tohoto programu, pravidelně pořádáme soukromé kampaně bug bounty zaměřené na určité typy škod, například problémy s obsahem souvisejícím s biologickými riziky v ChatGPT Agent⁠ a GPT‑5⁠. Zveme zájemce o výzkum, aby se do těchto programů přihlásili, jakmile se objeví. 

Pokud výzkumníci, mimo výše uvedené kategorie, identifikují nedostatky, které usnadňují přímý přístup k poškození uživatelů a konkrétním proveditelným krokům k nápravě, je možné je v jednotlivých případech považovat za způsobilé k získání odměny. Obecná obcházení zásad týkajících se obsahu bez prokazatelného dopadu na bezpečnost nebo zneužití nespadají do tohoto programu. Nespadají sem například „jailbreaky“, které vedou k tomu, že model používá hrubý jazyk nebo vrací informace, které lze snadno dohledat pomocí vyhledávačů.

Výzkumníci, kteří mají zájem o účast, se mohou přihlásit prostřednictvím našeho programu Safety Bug Bounty⁠(otevře se v novém okně) . Ve snaze o vytvoření bezpečného ekosystému umělé inteligence se těšíme na spolupráci s výzkumníky, etickými hackery a komunitou zabývající se bezpečností a ochranou.