Einführung des OpenAI Safety Bug Bounty-Programms

Heute startet OpenAI ein öffentliches Safety Bug Bounty⁠(wird in einem neuen Fenster geöffnet)-Programm, das darauf ausgerichtet ist, KI-Missbrauch und Sicherheitsrisiken in all unseren Produkten zu identifizieren. So rasant, wie sich die KI-Technologie weiterentwickelt, so rasant nehmen auch die Möglichkeiten zu, wie sie missbraucht werden kann. Unser Ziel ist es, sicherzustellen, dass unsere Systeme vor Missbrauch oder Fehlgebrauch geschützt sind, die zu konkreten Schäden führen könnten. 

Dieses neue Programm ergänzt die Security Bug Bounty⁠(wird in einem neuen Fenster geöffnet) von OpenAI, indem es Meldungen zu Problemen annimmt, die erhebliche Missbrauchs- und Sicherheitsrisiken darstellen, selbst wenn sie die Kriterien für eine Sicherheitslücke nicht erfüllen. Wir freuen wir uns darauf, im Rahmen dieses Programms weiterhin mit Sicherheitsforschenden zusammenzuarbeiten, um Probleme zu identifizieren und zu beheben, die zwar nicht unter herkömmliche Sicherheitslücken fallen, aber dennoch echte Risiken darstellen. Einsendungen werden von den Safety- und Security Bug Bounty-Teams von OpenAI geprüft und können je nach Zuständigkeitsbereich und Verantwortlichkeit zwischen den beiden Programmen weitergeleitet werden.

Das neue Safety Bug Bounty⁠(wird in einem neuen Fenster geöffnet)-Programm konzentriert sich auf die unten aufgeführten KI-spezifischen Sicherheitsszenarien:

Agentische Risiken einschließlich MCP

• Prompt Injection durch Dritte und Datenexfiltration: wenn Text eines Angreifers den Agenten eines Opfers (einschließlich Browser, ChatGPT Agent und ähnlicher agentischer Produkte) zuverlässig kapern kann, um ihn dazu zu verleiten, eine schädliche Aktion auszuführen oder die sensiblen Informationen des/der Benutzer:in preiszugeben. Das Verhalten muss in mindestens 50 % der Fälle reproduzierbar sein. 
• Ein agentisches OpenAI-Produkt führt auf der OpenAI-Website in großem Maßstab eine unzulässige Aktion aus.
• Ein agentisches OpenAI-Produkt führt eine potenziell schädliche Handlung aus, die oben nicht aufgeführt ist. Gültige Meldungen in dieser Kategorie müssen plausiblen und erheblichen Schaden aufzeigen.
• Jegliche Tests zu MCP-Risiken müssen den Nutzungsbedingungen von eventuellen Dritten entsprechen.

Proprietäre Informationen von OpenAI

• Modellgenerationen, die proprietäre Informationen im Zusammenhang mit Reasoning zurückgeben.
• Schwachstellen, die andere proprietäre Informationen von OpenAI offenlegen.

Konto- und Plattformintegrität

• Schwachstellen bei der Kontointegrität und bei Signalen zur Plattformintegrität, wie etwa die Umgehung von Kontrollen gegen Automatisierung, die Manipulation von Vertrauenssignalen für Konten, die Umgehung von Kontoeinschränkungen, -sperrungen oder -ausschlüssen sowie ähnliche Probleme.
• Probleme, die es Nutzer:innen ermöglichen, über die ihnen zugewiesenen Berechtigungen hinaus auf Funktionen oder Daten zuzugreifen, sollten über das Security Bug Bounty⁠(wird in einem neuen Fenster geöffnet)-Programm gemeldet werden.

Obwohl Jailbreaks nicht Teil dieses Programms sind, führen wir regelmäßig private Bug-Bounty-Kampagnen durch, die sich auf bestimmte Schadenskategorien konzentrieren, wie etwa Biorisiko-Inhaltsprobleme in ChatGPT Agent⁠ und GPT‑5⁠. Wir laden interessierte Forschende ein, sich für diese Programme zu bewerben, sobald sie ausgeschrieben werden. 

Sollten Forschende außerhalb der oben genannten Kategorien Schwachstellen identifizieren, die einen direkten Weg zu einem Schaden für Nutzer:innen eröffnen, und konkrete, eigenständige Abhilfemaßnahmen vorschlagen, können diese von Fall zu Fall für eine Prämie in Betracht gezogen werden. Allgemeine Umgehungen von Inhaltsrichtlinien ohne nachweisbare Auswirkungen auf die Sicherheit oder missbräuchliche Nutzung fallen nicht in den Geltungsbereich dieses Programms. Zum Beispiel liegen „Jailbreaks“, die dazu führen, dass das Modell eine unhöfliche Sprache verwendet oder Informationen zurückgibt, die über Suchmaschinen leicht zu finden sind, außerhalb des Geltungsbereichs.

Forschende, die an einer Teilnahme interessiert sind, können sich über unser Safety Bug Bounty⁠(wird in einem neuen Fenster geöffnet)-Programm bewerben. Wir freuen uns darauf, gemeinsam mit Forschenden, ethischen Hacker:innen und der Sicherheitsgemeinschaft an der Schaffung eines sicheren KI-Ökosystems zu arbeiten.