Wie wir es für Australien besser machen werden

Im Juni griffen unsere Modelle bei internem Training und interner Evaluierung auf Websites australischer Behörden zu, und zwar auf eine Weise, zu der sie nicht autorisiert waren. Auch unsere Reaktion darauf hätte besser ausfallen müssen. Es tut uns leid, und wir arbeiten daran, es künftig besser zu machen.

In diesem Beitrag erläutern wir, was wir wissen, was wir geändert haben und was wir tun werden, um das Vertrauen der Menschen in Australien zurückzugewinnen. Dies ist eine neue Art von Cybervorfall, die eine sich abzeichnende globale Herausforderung darstellt. Wir wollen unter anderem Verantwortung für die Situation übernehmen, indem wir gezielt mit Australien zusammenarbeiten, um praxisnahe Ansätze zu entwickeln. Diese sollen KI-Entwicklungsunternehmen und Regierungen dabei helfen, sicherheitsrelevante Cyberaktivitäten von KI zu erkennen, offenzulegen und darauf zu reagieren, ob sie nun böswillig oder unbeabsichtigt sind.

Nach dem Vorfall bei Hugging Face im Juli begannen wir, frühere Trainings- und Evaluierungsaktivitäten zu überprüfen, um weitere betroffene Organisationen zu identifizieren. Mitte August wurden bei dieser Überprüfung Aktivitäten festgestellt, die die unten aufgeführten Websites australischer Behörden betrafen.

Folgendes wissen wir auf Grundlage der vorliegenden Belege:

• Services Australia: Ein Modell von OpenAI entdeckte eine Möglichkeit, Zugang zu nicht öffentlichen Bereichen des Dienstes zu erhalten. Es führte Befehle aus, rief interne Dateien, Zugangsdaten und aggregierte Statistiken ab und schrieb Dateien. Auf individuelle Krankenakten oder Akten von Personen, die Leistungen beziehen, wurde jedoch nicht zugegriffen. Wir gehen weiter unten näher auf diesen Vorfall ein.

• NSW Bureau of Crime Statistics and Research (BOCSAR): Ein Modell von OpenAI griff auf das öffentliche Crime Mapping Tool von BOCSAR zu, um öffentliche Kriminalitätsstatistiken zu recherchieren. Weiter unten erklären wir, warum Modelle verschiedene Aufgaben zur Informationsrecherche ausführen. Das Modell stellte API-Anfragen und Anfragen zu Website-Metadaten über das öffentliche BOCSAR-Tool, das Zugangsdaten für API-Anfragen aus dem Browser bereitstellt. Das BOCSAR-System lieferte die Anwendungskonfiguration, betriebliche Aufträge und Protokolle sowie Website-Metadaten zurück. Auf Kriminalitätsdaten zu einzelnen Personen wurde nicht zugegriffen.

• Victorian Department of Health: Agenten von OpenAI entdeckten einen offengelegten Zugriffsschlüssel. Damit fragten sie das Berichtssystem der Victorian Agency for Health Information (VAHI) ab und riefen die Berichtskonfiguration sowie aggregierte Umfragestatistiken ab. In welchem Umfang diese Informationen zugänglich sein sollten, ist unklar und hängt von den Zugriffsrichtlinien der VAHI ab. Auf individuelle Krankenakten oder Umfrageantworten, die einzelnen Personen zugeordnet werden können, wurde nicht zugegriffen.

• Australian Institute of Health and Welfare (AIHW): Agenten von OpenAI riefen über Browsing- und Downloaddienste von Drittanbietern aggregierte Statistiken ab, unter anderem von der Website des AIHW. Zudem fragten sie Diagrammdaten direkt ab. Separate Versuche, Zugriffskontrollen zu umgehen, blieben erfolglos. Das heruntergeladene Material scheint öffentlich zugänglich gewesen zu sein. Es kam zu keiner Kompromittierung des Systems. Auf individuelle Krankenakten wurde nicht zugegriffen.

Sobald wir Mitte August von diesen Aktivitäten erfuhren, leiteten wir Untersuchungen ein. Wir informierten Services Australia und das Victorian Department of Health am 10. September sowie das NSW Bureau of Crime Statistics and Research am 18. September. Die Aktivitäten im Zusammenhang mit dem Australian Institute of Health and Welfare erfüllten unsere Kriterien für eine Offenlegung nicht, da die Art des Zugriffs mit einem öffentlichen Zugang vereinbar schien. Dennoch informierten wir das Institut am 24. September, um unsere Erkenntnisse zu teilen und ein Informationsgespräch anzubieten.

Unser Ziel war es, betroffenen Behörden nach Abschluss unserer Untersuchung einen detaillierten Bericht zu geben. Wir hätten jedoch vorläufige Erkenntnisse früher teilen und die australischen Behörden über neue Fakten auf dem Laufenden halten müssen.

Seitdem arbeiten wir eng mit australischen Behörden zusammen, um unsere bisherigen Erkenntnisse weiterzugeben. Sollten wir weitere betroffene Behörden identifizieren, werden wir sie umgehend und direkt mit den verfügbaren Informationen benachrichtigen und bei neuen Erkenntnissen auf dem Laufenden halten.

Beim internen Training und bei der internen Evaluierung im Juni setzten wir ein experimentelles Modell von OpenAI ein, das ausschließlich für interne Zwecke und nicht zur Veröffentlichung vorgesehen war. Es verfügte nicht über sämtliche Schutzmaßnahmen, die wir in unseren öffentlich verfügbaren Produkten einsetzen. Im Verlauf dieses Trainings und dieser Evaluierung griff es auf den Medicare Statistics Reporting Service von Services Australia zu. Unsere bisherige Untersuchung hat keine Hinweise darauf ergeben, dass auf Krankenakten einzelner Personen zugegriffen wurde.

Wenn wir unsere Modelle intern trainieren und evaluieren, weisen wir ihnen Aufgaben aus einer umfangreichen Sammlung von Recherchefragen zu vielen Themen zu. Diese spiegeln die detaillierten Fragen wider, die Menschen bei der Nutzung stellen könnten. So lernt ein Modell, öffentlich verfügbare Informationen zu finden, zu interpretieren und zu analysieren, damit es Menschen besser unterstützen kann. Unsere Modelle sollen diese Fragen anhand öffentlich zugänglicher Statistiken beantworten.

In diesem Fall sollte das Modell unter anderem recherchieren, wie viel der Staat pro Person für Medikamente gegen Hauterkrankungen in der Bevölkerung von Victoria ausgibt. Das Modell hatte Schwierigkeiten, diese Informationen zu beschaffen, und führte Aktionen aus, zu denen wir es nicht autorisiert hatten. Bei der Suche nach diesen Informationen im Medicare Statistics Reporting Service von Services Australia entdeckte es eine Möglichkeit, Zugang zu nicht öffentlichen Bereichen des Dienstes zu erhalten. Es nutzte diesen Zugang anschließend, um technische Systeminformationen und Quellcode des Dienstes einzusehen. Dabei verfolgte es weiterhin das Ziel, die ursprünglich gesuchten Informationen zu finden. Diese Aktivitäten waren von uns nicht beabsichtigt. Weder der Zugriff auf den Dienst noch die anschließenden Aktivitäten hätten stattfinden dürfen.

Nach dem Vorfall bei Hugging Face haben wir die Schutzmaßnahmen für unsere Forschung verstärkt, unter anderem durch zusätzliche Netzwerkbeschränkungen und eine erweiterte Überwachung. Wir haben Kontrollen eingeführt, die in diesen Forschungsumgebungen den direkten Internetzugriff blockieren. Webzugriffe erfolgen stattdessen über zwischengespeicherte Inhalte. Als zusätzliche Sicherheitsebene hätten unsere heutigen Überwachungssysteme diese Aktivitäten erkannt und unser Team alarmiert, damit es sie dringend überprüft. Als ein Modell beispielsweise bei einem kürzlich durchgeführten Trainingslauf⁠(wird in einem neuen Fenster geöffnet) direkten Internetzugriff erlangte, erkannte unsere Überwachung die Aktivitäten und alarmierte eine Person zur Überprüfung. Daraufhin stoppten wir den Trainingslauf. Wir testen diese Schutzmaßnahmen weiterhin und schließen Lücken. Der Vorfall bei Hugging Face bleibt der schwerwiegendste, den wir beobachtet haben.

Die Menschen wollen sicher sein, dass KI sicher entwickelt wird. Das beginnt damit, was Unternehmen wie unseres selbst tun. Wir haben kürzlich mitgeteilt⁠(wird in einem neuen Fenster geöffnet), dass wir Training und Evaluierung unserer leistungsfähigsten Modelle ausgesetzt haben, soweit dabei Tools zum Einsatz kommen. Wir werden ihr Training erst wieder aufnehmen, wenn wir sicher sind, dass zusätzliche Schutzmaßnahmen eingerichtet sind. Daran arbeiten wir derzeit.

Da KI-Systeme insgesamt leistungsfähiger werden, wird aus unserer Sicht auch das Zeitfenster kleiner, in dem wir Organisationen helfen können, Schwachstellen zu finden und zu beheben. Dafür müssen wir gemeinsam mit Fachleuten für Cyberabwehr weltweit handeln.

Wir haben uns Organisationen aus den Bereichen Technologie, Cybersicherheit und kritische Infrastruktur angeschlossen und zu gemeinsamem Handeln für die Cyberabwehr aufgerufen. Dieser Aufruf beginnt bei unserer eigenen Verantwortung: stärkere Schutzmaßnahmen, rechtzeitige Offenlegung und praktische Unterstützung für betroffene Organisationen. Er fordert auch Investitionen in die Teams, die grundlegende Dienste schützen, damit sie Schwachstellen finden, deren Behebung überprüfen und wirksame Ansätze mit anderen teilen können.

In Australien stellen wir Ressourcen und Fachwissen bereit, um betroffene Behörden zu unterstützen und Fachleuten für Cyberabwehr zu helfen, diese Grundsätze in die Praxis umzusetzen. Dazu gehören:

• Gezielte Unterstützung für betroffene Behörden. Wir werden die nötigen Ressourcen bereitstellen, damit betroffene Behörden nachvollziehen können, was passiert ist, und die Auswirkungen bewerten können. Dazu gehört, relevante technische Erkenntnisse weiterzugeben und auf Grundlage geeigneter Vereinbarungen zum Informationsaustausch die Zusammenarbeit mit unseren Teams für die Reaktion auf Vorfälle zu ermöglichen.

• Finanzierung und Unterstützung zur Stärkung der Cyberabwehr. Wir werden die Regierungen und die Wirtschaft Australiens mit Credits aus unserem mit 1 Milliarde US-Dollar ausgestatteten Fonds Daybreak for Frontline Defenders sowie mit technischer Hilfe unterstützen, um die Cyberabwehr in kritischen Infrastrukturen und anderen sensiblen Umgebungen zu stärken. Diese Arbeit baut auf unserem Austausch mit Regierungen und Unternehmen auf, die kritische Infrastrukturen betreiben. Sie wird Organisationen helfen, Risiken durch immer leistungsfähigere KI-Agenten besser zu verstehen, zu erkennen und darauf zu reagieren.

• Eine australische Taskforce. Wir werden eine Taskforce mit unabhängigen Fachleuten aus Australien einrichten. Sie soll praxisnahe politische Handlungsempfehlungen für den Umgang mit Risiken durch immer leistungsfähigere KI-Agenten entwickeln. Auf Grundlage der Erkenntnisse aus diesen Vorfällen wird sich die Taskforce darauf konzentrieren, Meldeverfahren zu verbessern, die Abstimmung zwischen KI-Entwicklungsunternehmen und Regierung zu stärken und Maßnahmen zum besseren Schutz staatlicher Systeme zu ermitteln. Die Empfehlungen der Taskforce werden in das Vorgehen von OpenAI einfließen und die Arbeit der australischen Regierungen an KI-Sicherheit und Cybersicherheit unterstützen. Die Taskforce wird ihre Arbeit voraussichtlich bis Ende des Jahres abschließen. Sie wird auch praktische Schritte empfehlen, mit denen KI-Unternehmen das Risiko ähnlicher Vorfälle senken können.

Die Regierungen, die Wirtschaft und die Menschen in Australien sind und waren für OpenAI von unschätzbarem Wert in der Zusammenarbeit. Wir nehmen das nicht als selbstverständlich hin und wollen unseren Fehler wiedergutmachen.

Jason Kwon, Chief Strategy Officer von OpenAI, wird vom US-Hauptsitz von OpenAI anreisen, um am Dienstag, dem 6. Oktober, vor dem Joint Select Committee on Artificial Intelligence in Sydney auszusagen. Er wird Fragen dazu beantworten, was wir wissen, wie wir reagiert haben, welche Schritte wir unternommen haben und wie wir es künftig besser machen werden.

Wir werden bestätigte Erkenntnisse weiterhin mit betroffenen Behörden und zuständigen Regierungen teilen. Wir werden über den aktuellen Stand unserer laufenden Untersuchung und unsere Fortschritte bei der Umsetzung dieser Zusagen berichten. Wir wissen, dass noch viel Arbeit vor uns liegt, um Vertrauen zurückzugewinnen. Es liegt in unserer Verantwortung, den Menschen in Australien zu zeigen, dass wir wesentliche Veränderungen vornehmen und unsere Versprechen einhalten.