Der Hugging-Face-Vorfall und weitere Auswirkungen fehlausgerichteter Modelle auf Dritte
Je leistungsfähiger und autonomer KI-Systeme werden, desto eher kann fehlausgerichtetes Verhalten zu folgenreichen Handlungen in der realen Welt führen, darunter Cybersicherheitsvorfälle und andere Folgen, mit denen Entwicklerteams möglicherweise nicht gerechnet haben. Um fortschrittliche KI-Systeme sicher zu entwickeln und bereitzustellen, wird es daher immer wichtiger zu verstehen, wie solche Verhaltensweisen entstehen und eskalieren und wie sie erkannt und bewältigt werden können.
Wir verstanden den Hugging-Face-Vorfall zunächst vor allem als Sicherheitsproblem, da eine Plattform kompromittiert worden war. Es handelt sich weiterhin um die bisher schwerwiegendste Aktivität dieser Art, die wir bei unseren Modellen festgestellt haben. Sie ging hauptsächlich von einem besonders leistungsfähigen, ausschließlich intern eingesetzten Forschungsmodell aus. Inzwischen wissen wir, dass die Modelle bei diesem Eindringen auf fehlausgerichtete Strategien zurückgriffen, um schwierige Aufgaben zu lösen. Dies ist im technischen Bericht zum Hugging-Face-Vorfall dokumentiert. Cybersicherheitsvorfälle sind eine Ausprägung dieses Risikos. Eine Fehlausrichtung kann auch zu anderem unerwartetem oder besorgniserregendem Verhalten außerhalb klassischer Sicherheitskategorien führen. Dazu zählt etwa, dass unsere Modelle Beiträge auf Websites Dritter veröffentlichen. Wir nennen dies „Agenten-Spam“. Beides müssen wir angehen.
Wir haben unsere Prüfung weiterer Aktivitäten fortgesetzt. Dabei priorisieren wir schwerwiegendere Vorfälle und beziehen zunehmend auch weniger schwerwiegende fehlausgerichtete Aktivitäten wie Agenten-Spam ein.
Diese Seite bündelt unsere Berichte und Neuigkeiten zum Hugging-Face-Vorfall, damit zusammenhängende Forschung und öffentliche Präsentationen, weitere von uns festgestellte Aktivitäten, unsere Erkenntnisse zur Rolle der Modellfehlausrichtung sowie Maßnahmen zur Stärkung unserer Systeme. Wir aktualisieren diese Seite im Verlauf unserer Untersuchungen.
Aktivitäten mit Auswirkungen auf Dritte
Um den Umfang dieser unerwarteten Verhaltensweisen besser zu verstehen, prüfen wir umfassend die Internetaktivitäten unserer Modelle während Training und Evaluierung. Im Rahmen unserer Prüfung identifizieren und benachrichtigen wir fortlaufend Dritte. Wir beginnen mit Fällen, in denen:
unsere Modelle möglicherweise Sicherheitskontrollen Dritter umgangen oder die Verfügbarkeit eines Onlinedienstes beeinträchtigt haben oder
Fehlausrichtungen Websites oder Dienste Dritter beeinträchtigt haben.
Auf Grundlage unserer bisherigen Prüfung haben wir nach den oben genannten Kriterien Dutzende Dritte benachrichtigt. Unsere Prüfung früherer Aktivitäten dauert an und wird erhebliche Zeit und Ressourcen erfordern. Im weiteren Verlauf dieser Arbeit werden wir weitere Dritte benachrichtigen.
Nachfolgend veröffentlichen wir anonymisierte Zusammenfassungen der von uns beobachteten Arten fehlausgerichteter Aktivitäten. Wir aktualisieren diese Beschreibungen, wenn wir weitere Dritte benachrichtigen und neue Erkenntnisse gewinnen. Außerdem werden wir relevante Neuigkeiten zum Stand der Prüfung veröffentlichen. Zum Schutz betroffener Parteien lassen wir Namen und andere identifizierende Angaben grundsätzlich weg, sofern dies erforderlich ist. Informierte Parteien können sich jedoch dafür entscheiden, die ihnen von uns bereitgestellten Informationen öffentlich zu machen.
Zusammenfassungen der beobachteten Aktivitäten
Unsere bisherige Prüfung und Benachrichtigung hat die folgenden Kategorien von Aktivitäten ergeben:
Umgehung von Zugriffskontrollen: Agenten erreichen Informationen oder Funktionen, die normalerweise eine Identitätsprüfung, eine bestimmte Berechtigung, ein Abonnement oder ein Konto voraussetzen. Ein Agent nutzte beispielsweise eine andere Webadresse, änderte Angaben in einer Anfrage oder verwendete eine Anmeldesitzung, die ihm mehr Zugriffsrechte gewährte als erwartet.
Nutzung offengelegter Anmeldedaten: Agenten fanden öffentlich zugänglich gemachte Anmeldedaten oder Zugriffsschlüssel und nutzten sie, um auf einen Dienst zuzugreifen.
Abfrage- oder Befehlsinjektion: Agenten gaben Text in eine Website oder einen Dienst ein, den der Dienst statt als normale Eingabe als Anweisung behandelte. Dadurch konnte der Dienst eine Datenbankabfrage, Anwendungscode oder einen Befehl auf seinem Server ausführen.
Zugriff auf interne Laufzeitkomponenten: Agenten lasen Dateien mit der Implementierung eines Dienstes oder interagierten mit einem für die interne Nutzung vorgesehenen Hintergrundsystem. In diesen Fällen erreichte der Agent Bereiche des Dienstes, auf die er nicht zugreifen sollte.
Agenten-Spam: Agenten veröffentlichen Informationen auf Websites Dritter, die dortige Inhalte verändern und eine Bereinigung erforderlich machen können. Dazu zählt beispielsweise die Nutzung öffentlicher Wiki-Seiten als gemeinsame Nachrichtenforen.