Prioritäten und Grundsätze für wirksame Prüfungen durch Dritte
Frontier-KI-Labore tragen eine enorme Verantwortung dafür, Modelle sicher zu trainieren, zu bewerten und bereitzustellen. Prüfungen durch Dritte sind entscheidend, um dieser Verantwortung gerecht zu werden. Sie schaffen mehr Möglichkeiten, Perspektiven zur KI-Sicherheit einzubringen, informieren die Öffentlichkeit und sorgen dafür, dass Labore für klare und unabhängig belegte Sicherheitsaussagen Rechenschaft ablegen.
Im Rahmen unserer Bemühungen, die Frontier-Entwicklung verantwortungsvoll zu gestalten, setzt sich OpenAI dafür ein, unabhängige Prüfungen mit umfassendem Zugang zu Training, Bewertung und Bereitstellung zu unterstützen. Dieser Zugang sollte Prüfstellen ermöglichen, unsere Annahmen zu hinterfragen, möglicherweise übersehene Risiken zu erkennen und eigene Schlussfolgerungen zur Wirksamkeit unserer Schutzmaßnahmen zu ziehen.
Wir arbeiten seit Langem in verschiedenen Phasen der Modellentwicklung und -bereitstellung mit externen Prüfstellen zusammen. Außerdem haben wir Prüfungen durch Dritte in unsere Verfahren nach dem Preparedness Framework aufgenommen und Organisationen und Gesetze unterstützt, die sich für einen strengeren und nachvollziehbareren Prozess einsetzen. Im Rahmen dieser Zusammenarbeit haben wir umfassenden Zugang gewährt. Dazu gehörten Informationen über unsere technischen Schutzmaßnahmen, Einblick in sichtbare Gedankenketten sowie ein beispielloser Zugang zu vertraulichen Daten und internen Bereitstellungen für die Reaktion auf Vorfälle und das Red Teaming von Überwachungssystemen. Die hier vorgestellten Prioritäten und Grundsätze betreffen unsere Zusammenarbeit mit unabhängigen Prüforganisationen aus der Privatwirtschaft und dem gemeinnützigen Bereich bei technischen Sicherheitsprüfungen. Sie ergänzen unsere Zusammenarbeit mit Regierungen bei Tests und Bewertungen, bei denen unterschiedliche Rollen und Verantwortlichkeiten andere Ansätze erfordern können.
Wirksame Prüfungen erfordern starke Mechanismen zur Wahrung der Unabhängigkeit, wissenschaftliche Sorgfalt, robuste Sicherheitsverfahren und klare Verantwortlichkeiten. Labore müssen eine fundierte Prüfung ermöglichen und zugleich sensible Informationen schützen. Labore und unabhängige Prüfstellen tragen gemeinsam die Verantwortung für eine korrekte Umsetzung und sollten nach gemeinsamen internationalen Standards für Sicherheitsverfahren arbeiten. Im Folgenden schlagen wir vier Schwerpunktbereiche für eingehendere Prüfungen sowie Grundsätze für sorgfältige, sichere und unabhängige Arbeit vor.
Prüfungen durch Dritte sind am nützlichsten, wenn sie konkrete und folgenreiche Fragen behandeln: Stützen die Belege den Sicherheitsnachweis und die Sicherheitsaussagen eines Labors? Prüfen die Bewertungen angemessen die Risiken, die sie messen sollen? Funktionieren die Schutzmaßnahmen unter realistischen Bedingungen?
Die hier beschriebenen Prüfungen sollen je nach untersuchter Sicherheitsfrage unterschiedliche Formen annehmen. Wir gehen davon aus, mehrere Prüfungen parallel und über unterschiedliche Zeiträume zu unterstützen. Einige werden Wochen, andere mehrere Monate dauern. Prüfungen durch Dritte können auch vor einer Bereitstellung stattfinden und Entscheidungen darüber beeinflussen. Die hier beschriebene Arbeit ist jedoch im Allgemeinen längerfristig und unabhängig von konkreten Produkteinführungen. Im Mittelpunkt steht die eingehende Untersuchung bestimmter Sicherheitsaussagen im Zeitverlauf.
In unseren Schwerpunktbereichen und Grundsätzen verwenden wir die Begriffe Sicherheitsaussagen und Sicherheitsnachweise. Damit meinen wir Folgendes:
Sicherheitsaussage: Eine konkrete Aussage über die Fähigkeiten, das Verhalten oder die Schutzmaßnahmen eines Modells oder Systems, die für dessen Sicherheit relevant ist und anhand von Belegen bewertet werden kann. Eine solche Aussage sollte die behandelten Risiken und Bedingungen sowie relevante Annahmen und Einschränkungen benennen.
Sicherheitsnachweis: Eine strukturierte, durch Belege gestützte Argumentation, die erläutert, warum die Risiken eines Modells oder Systems für eine bestimmte Aktivität wie Training, Bewertung oder Bereitstellung angemessen gesteuert werden. Ein Sicherheitsnachweis verknüpft einzelne Sicherheitsaussagen mit den zugehörigen Belegen und legt die Annahmen, Unsicherheiten und verbleibenden Risiken offen, die seine Schlussfolgerungen beeinflussen könnten.
Wir schlagen vier Schwerpunktbereiche für eingehendere Prüfungen sowie Grundsätze für sorgfältige, sichere und unabhängige Arbeit vor.
Unabhängige Prüfung von Sicherheitsnachweisen für Training, Bewertung sowie interne und externe Bereitstellung.
Die Prüfung von Sicherheitsnachweisen erfordert Fachkompetenz in den Bereichen Alignment, Kontrollmethoden wie Überwachung, Cybersicherheit, biologischer und chemischer Missbrauch sowie Red Teaming. Sicherheitsnachweise bestehen aus Aussagen unter anderem zu Training, Fähigkeitsbewertungen und Schutzmaßnahmen. Sie können insgesamt oder in Teilen geprüft werden (siehe Schwerpunkte 2 und 3 unten). Voraussichtlich müssen mehrere Prüfstellen jeweils unterschiedliche Teile der Nachweise anhand ihrer jeweiligen Fachkompetenz untersuchen. Zusammen sollten ihre Prüfungen Fragen wie diese beantworten:
Sind die Belege für Sicherheitsnachweise zu Training, Bewertung und Bereitstellung hinreichend fundiert? Wurden die Bedingungen des Sicherheitsnachweises bei Training, Bewertung und Bereitstellung eingehalten?
Decken unsere Sicherheitsnachweise die dringendsten Risiken ab, die im Verlauf einer Prüfung erkannt wurden? Stützen die Sicherheitsaussagen den gesamten Sicherheitsnachweis? Gibt es Lücken oder Verbesserungsmöglichkeiten?
Werden wirksame Methoden eingesetzt, um Trainingsanreize zu erkennen und zu verringern, die Täuschung, Reward Hacking, destruktive Handlungen oder die Umgehung von Beschränkungen belohnen könnten?
Prüfung kritischer Schutzmaßnahmen bei internen und externen Bereitstellungen
Unser System aus Schutzmaßnahmen wird fortlaufend an die sich wandelnden Fähigkeiten und Rahmenbedingungen angepasst. Unsere Schutzmaßnahmen erstrecken sich auf Training sowie interne und externe Bereitstellungen. Derzeit umfassen sie Schutzmaßnahmen auf Modellebene, Maßnahmen zur Durchsetzung von Regeln und Sicherheitsmaßnahmen sowie Überwachungssysteme für Fehlausrichtungen. Damit decken sie zahlreiche Risiken ab, etwa Kontrollverlust und Missbrauch im Cyberbereich sowie bei biologischen und chemischen Risiken. Technische Partnerschaften können schon heute Schwachstellen in Schutzmaßnahmen erkennen, zugleich Prüfmethoden verbessern und die Entwicklung von Standards beschleunigen. So schaffen sie eine stärkere technische Grundlage für künftige politische Maßnahmen zur verantwortungsvollen Gestaltung der Frontier-Entwicklung. Das gilt besonders für interne Bereitstellungen, bei denen Sicherheitsstandards noch am Anfang stehen.
Unabhängige Prüfungen sollten untersuchen, wie gut diese Schutzmaßnahmen funktionieren und wo sie möglicherweise versagen, zum Beispiel:
Sind die Schutzmaßnahmen bei einem „Grey-Box“-Zugang robust gegenüber adversarialen Tests (Jailbreaks), und schützen sie hinreichend vor einer Steigerung der Fähigkeiten in Hochrisikobereichen wie Cyber- oder Biotechnologie? Decken unsere adversarialen Tests und unser Red Teaming die wichtigsten Risiken ab?
Wie interagieren Agenten bei autorisierten Tests unter realistischen Betriebsbedingungen mit Cyberabwehrmaßnahmen wie Zugriffskontrollen, Sandboxing sowie Erkennungs- und Reaktionssystemen? Welche Abwehrmaßnahmen verhindern, erkennen oder begrenzen schädliche Handlungen, und wo versagen sie?
Weisen unsere Überwachungssysteme für Fehlausrichtungen bei internen oder externen Bereitstellungen kritische Lücken auf, die zu Kontrollverlust oder schwerwiegender Fehlausrichtung führen könnten? Wie zuverlässig ist die Überwachung der Gedankenkette als Beleg für Sicherheit oder Alignment, wenn sich die Fähigkeiten von Modellen verbessern?
Ist bei allen relevanten Trainings-, Bewertungs- und Bereitstellungsprozessen eine angemessene Überwachung eingerichtet, die sich nicht ohne Weiteres deaktivieren lässt?
Entsprechen die umgesetzten Schutzmaßnahmen den Fähigkeiten?
Prüfung von Fähigkeitsbewertungen für die Risikokategorien des Preparedness Framework (chemische und biologische Risiken, Cybersicherheit, Selbstverbesserung von KI) sowie von Alignment-Bewertungen für Fehlausrichtungsrisiken
Unser Preparedness Framework verlangt Bewertungen der wichtigsten Bereiche von Frontier-Risiken. Wenn Schwellenwerte überschritten werden und Bewertungen ihre Aussagekraft verlieren, müssen die Abdeckung und Qualität der Fähigkeitsbewertungen für Risikobereiche des Preparedness Framework sowie der Alignment-Bewertungen für schwerwiegende Fehlausrichtungsrisiken regelmäßig aktualisiert und sichergestellt werden.
Zu den relevanten Fragen gehören:
Decken Bewertungen von Preparedness-Risiken die Definition der entsprechenden Risikoschwellen angemessen ab? Sind die Schwellenwerte für diese Bewertungen richtig festgelegt?
Werden Bewertungen aktualisiert, wenn Modelle durchgängig die höchsten Punktzahlen erreichen, und messen die neuen Tests aussagekräftig fortgeschrittenere Fähigkeiten?
Decken unsere Alignment-Bewertungen schwerwiegende Fehlausrichtungsrisiken angemessen ab, und welche wichtigen Verhaltensweisen oder Bedingungen könnten sie übersehen?
Unabhängige Untersuchung kritischer Fehlausrichtungsvorfälle
Unabhängige Untersuchungen können bei einer Reihe kritischer Vorfälle im Bereich der KI-Sicherheit wertvoll sein. Hier konzentrieren wir uns auf Fehlausrichtungen von Modellen. Dazu zählen Modelle, die ohne Autorisierung handeln oder sich der Aufsicht entziehen. Solches Verhalten kann auch ohne vorsätzlichen Missbrauch Schwächen in Alignment-Methoden und Schutzmaßnahmen offenlegen.
Unter bestimmten Umständen, etwa beim Vorfall bei OpenAI und Hugging Face, kann es sinnvoll sein, eine unabhängige externe Organisation mit Untersuchungen von Fehlausrichtungsvorfällen zu beauftragen. An der Untersuchung von Vorfällen beteiligte Dritte müssen unbedingt über die erforderliche Fachkompetenz verfügen. Dazu gehören gegebenenfalls Fachwissen in Cyberforensik und Alignment, die Analyse von Gedankenketten in großem Umfang sowie genügend Personal und Ressourcen, um die Untersuchung zeitnah durchzuführen. Die Reaktion auf Vorfälle kann den Zugriff auf sensible interne Daten und Daten Dritter erfordern. Daher können manche Einzelheiten für eine Veröffentlichung oder den Zugriff zu sensibel sein. Ergebnisse unabhängiger Untersuchungen können auch in den Sicherheitsnachweis eines Modells einfließen. Sie liefern Belege, anhand derer sich Aussagen zu seinem Alignment und zur Wirksamkeit von Maßnahmen bewerten lassen, mit denen zuvor beobachtete Fehlausrichtungen behoben wurden.
Bei Fehlausrichtungsvorfällen priorisieren wir unabhängige Prüfungen zu folgenden Fragen:
Welches Modellverhalten oder welche Fehlausrichtungen traten während des Vorfalls auf, und welche Faktoren trugen hauptsächlich dazu bei?
Würden Schutz- und Abhilfemaßnahmen ähnliche Vorfälle künftig wirksam eindämmen?
Klar abgegrenzte und einvernehmlich festgelegte Prüfaussagen: Zu Beginn einer Prüfung sollten die Beteiligten den Umfang einvernehmlich festlegen und anschließend klare Sicherheitsaussagen definieren, die vor Beginn der Prüfaktivitäten registriert werden. Dritte und Labore sollten klären, ob das geprüfte Unternehmen Aussagen zur Prüfung vorlegen möchte oder ob die externe Prüfstelle Aussagen unabhängig bewerten will und das Labor einer entsprechenden Prüfung zustimmt. Aussagen können aus vielen Gründen außerhalb des Prüfungsumfangs liegen, etwa weil Dritte nicht auf die Daten zugreifen können, der Prüfstelle die nötige Fachkompetenz fehlt oder bei einer dringenden Prüfung vertretbare Zeitbeschränkungen bestehen. Labore und Prüfstellen sollten ein Verfahren dafür festlegen, wie wesentliche Risiken berücksichtigt werden, die außerhalb des ursprünglichen Umfangs erkannt wurden. Dazu gehört auch die Frage, ob weitere Untersuchungen erforderlich sind. Die Schlussfolgerungen sollten bezogen auf den einvernehmlich festgelegten Umfang klar darlegen, was geprüft wurde und was nicht.
Angemessener Zugang: Prüfstellen sollten nach Möglichkeit einen angemessenen Zugang erhalten, um die vereinbarten Aussagen innerhalb der rechtlichen sowie sicherheits- und immaterialgüterrechtlichen Grenzen zu prüfen. Wenn direkter Zugang unpraktikabel oder unmöglich ist, können Prüfstellen mit einer benannten Ansprechperson im Unternehmen zusammenarbeiten oder indirekte beziehungsweise datenschutzfreundliche Zugangsmechanismen prüfen, um die zugrunde liegenden Informationen zu schützen.
Transparente Methoden und Standards: Prüfstellen sollten ihre Methoden, Prüfkriterien und Unsicherheiten erläutern und sich, soweit vorhanden, auf etablierte Standards stützen. Wo noch keine Standards bestehen, sollten sie ihre verwendeten Kriterien klar begründen. Berichte sollten direkte Feststellungen von Interpretationen unterscheiden, Unsicherheiten erläutern und klarstellen, welche Schlussfolgerungen durch die Belege gestützt werden.
Fachkompetenz und Unabhängigkeit: Prüfstellen sollten einschlägige technische Fachkompetenz nachweisen und organisatorische sowie persönliche Interessenkonflikte erkennen, offenlegen und behandeln. Dazu zählen finanzielle Anreize, Beziehungen zu Entwickler:innen und eine frühere Beteiligung an der geprüften Arbeit. Schutzvorkehrungen sollten verhindern, dass wirtschaftlicher Druck oder Vergütungsvereinbarungen die Ergebnisse beeinflussen. Dazu können der Ausschluss wegen Befangenheit oder angemessene Karenzzeiten gehören.
Sicherheit und Vertraulichkeit: Prüfstellen sollten Verfahren zur Informationssicherheit und durchsetzbare Vertraulichkeitsvorkehrungen für ihr Personal nachweisen, die der Sensibilität der Systeme und Informationen entsprechen, auf die zugegriffen wird. Diese Vorkehrungen sollten geistiges Eigentum, sensible Informationen und Prüfunterlagen abdecken. Wenn Prüfstellen die Sicherheitsanforderungen in ihrer eigenen Umgebung nicht erfüllen können oder besonders sensible Daten abgerufen werden, kann der Zugang über vom Unternehmen verwaltete Geräte oder in den Räumlichkeiten des Unternehmens angemessen sein.
Umsetzbare Ergebnisse und Zeit zur Behebung: Prüfungen sollten konkrete Lücken aufzeigen und den Laboren genügend Einzelheiten liefern, um sie zu schließen. Falls angemessen, sollten Labore vor der Veröffentlichung ausreichend Zeit erhalten, um Probleme zu beheben. Wo relevant, sollten Berichte auch Erkenntnisse für Entwickler:innen von Agenten, Betreiber:innen und Abwehrteams erläutern und praktische Empfehlungen für die Umsetzung geben.
Verantwortungsvolle Veröffentlichung: Prüfberichte sollten auf Belegen beruhen und so offen wie möglich geteilt werden, während sensible und vertrauliche Informationen geschützt bleiben. Wenn eine vollständige öffentliche Offenlegung nicht möglich ist, können vertrauliche Berichte an zuständige Aufsichtsgremien, etwa Leitungs- oder Aufsichtsgremien von Unternehmen, die Rechenschaftspflicht unterstützen. Es sollten nachvollziehbare Regeln und Schutzvorkehrungen für Schwärzungen sowie klare Erwartungen zur Rückmeldung und Korrektur von Fehlern bestehen, um Unabhängigkeit und Vertraulichkeit ausgewogen zu wahren. Prüfstellen sollten ihre redaktionelle Unabhängigkeit wahren und zugleich den Schutz vertraulicher Informationen und geistigen Eigentums sicherstellen. Prüfstellen sollten klare Regeln für Schwärzungen einführen, nach denen Labore die Schwärzung sensibler Informationen beantragen können. Die Prüfstellen können zugleich angeben, wo inhaltlich wesentliche Schwärzungen vorgenommen wurden und wie sich diese auf den Prüfbericht auswirken.
Wir setzen uns dafür ein, unabhängige Prüfstellen zu unterstützen und klarere, gemeinsame internationale Standards für wirksame Prüfungen durch Dritte zu etablieren, sowohl durch künftige Gesetze als auch durch private Governance-Institutionen. Das Ökosystem unabhängiger Prüfungen wächst noch. Wir werden diese Entwicklung fördern, indem wir mit einer vielfältigen Gemeinschaft unabhängiger Prüfstellen zusammenarbeiten und sie unterstützen. Sie verfügen über umfassende Fachkompetenz zu verschiedenen Fragen der Frontier-Sicherheit. Keine einzelne externe Prüfstelle kann oder sollte alle dringenden Fragen der Frontier-Sicherheit umfassend abdecken. Wir werden unsere Kapazitäten planvoll und umsichtig ausbauen und das wachsende Ökosystem externer Prüfstellen dabei unterstützen, sich auf bewährte Verfahren und Grundsätze zu verständigen. Wir sprechen mit mehreren externen Organisationen über Vorschläge, die den oben genannten Schwerpunktbereichen entsprechen.
