Unser Rahmen für Berichte über Modell-Fehlausrichtung
Wir stellen einen neuen Rahmen vor, mit dem OpenAI Fälle von Modell-Fehlausrichtung erfasst, untersucht und offenlegt. Dazu veröffentlichen wir sechs Berichte über unerwartetes oder bedenkliches Modellverhalten, das wir in den vergangenen sechs Monaten beobachtet haben.
Um Forschende, KI-Entwickler:innen, politisch Verantwortliche und die Öffentlichkeit besser zu informieren, haben wir uns schon bisher bemüht, unsere Erkenntnisse über Fehlausrichtung öffentlich zugänglich zu machen. Ohne einen systematischen Ansatz für die Berichterstattung waren unsere Offenlegungen jedoch uneinheitlich und seltener als wünschenswert. Häufig haben wir gewartet, bis wir mehrere Fälle in einem Bericht zusammenfassen konnten, oder sie den Systemkarten neu veröffentlichter Modelle hinzugefügt. Der neue Rahmen soll die zeitnahe Veröffentlichung von Berichten über Fehlausrichtungen nach deren Beobachtung ermöglichen, auch wenn wir das betreffende Verhalten noch nicht vollständig erklärt oder abgemildert haben.
Da KI-Systeme immer leistungsfähiger und breiter eingesetzt werden, müssen wir einen umfassenderen und besser informierten Konsens über die Fortschritte der Alignment-Forschung schaffen. Wir glauben nicht, dass die KI-Branche Alignment und Überwachung so weit gelöst hat, dass sie noch lange verantwortungsvoll mit maximaler Geschwindigkeit skalieren kann. Entscheidungen darüber, wie die KI-Entwicklung in den kommenden Monaten und Jahren fortgesetzt werden sollte, müssen sich auf Belege stützen, die Menschen außerhalb der Unternehmen, die Frontier-Modelle entwickeln, selbst prüfen können.
Beispiele für Fehlausrichtung können dabei helfen, Probleme zu erkennen, denen andere KI-Entwickler:innen bei ähnlich leistungsfähigen Systemen begegnen könnten. Sie können Schwächen von Schutzmaßnahmen aufzeigen oder Annahmen über das Modellverhalten infrage stellen. Wenn wir diese Erkenntnisse teilen, können andere dieselben Probleme untersuchen, unsere Erklärungen prüfen und Gegenmaßnahmen verbessern. Da wir Transparenz bei Fehlausrichtungen für wichtig halten, sieht unser neuer Rahmen auch dann eine Offenlegung vor, wenn die Bedeutung eines Falls ungewiss ist. Einige der von uns offengelegten Fälle könnten sich daher als nicht aussagekräftig erweisen und weder Teil eines größeren Musters sein noch auf künftige Entwicklungen hindeuten.
Derzeit gibt es keinen branchenweiten Rahmen mit ausdrücklichen Standards dafür, wie KI-Entwickler:innen Beispiele für Fehlausrichtungen ihrer Modelle offenlegen sollten. Wir hoffen, dass der heute vorgestellte Rahmen ein erster Schritt zu solchen Standards ist. Er legt dar, welche Fälle von Fehlausrichtung Entwickler:innen offenlegen sollten und welche Inhalte ihre Berichte enthalten sollten. Wir betrachten diesen Rahmen als laufende Arbeit und werden ihn anhand unserer Erfahrungen und öffentlicher Rückmeldungen weiterentwickeln.
Im Folgenden beschreiben wir die Funktionsweise des Rahmens und stellen unsere ersten veröffentlichten Berichte vor.
Wir möchten Beispiele offenlegen, die nützliche Erkenntnisse darüber liefern, wie Modell-Fehlausrichtung entsteht, wie sie sich äußert und wo Schutzmaßnahmen wirksam sind oder versagen. Wir priorisieren neue Mechanismen, wesentliche Veränderungen bekannten Verhaltens und Erkenntnisse, die Annahmen über Sicherheit oder Gegenmaßnahmen infrage stellen. Ein Beispiel muss weder Schaden verursachen noch ein umfassenderes Muster belegen, um eine Offenlegung zu rechtfertigen. Dieser Rahmen erfasst relevantes Verhalten im gesamten Lebenszyklus eines Modells, einschließlich Training, Bewertung, Tests und Bereitstellung.
Dazu gehören neue Möglichkeiten für Modelle, ohne Genehmigung zu agieren, sich mit anderen Modellen abzustimmen oder sich der Aufsicht zu entziehen. Ebenfalls erfasst sind Fehler, die eine Alignment-Methode oder Schutzmaßnahme infrage stellen, sowie Verhalten, das einer Aussage in einer veröffentlichten Sicherheitsbewertung widerspricht. Für Fehlausrichtungen, die sich auf Dritte auswirken können, gelten dieselben Offenlegungskriterien.
Dazu können auch Fälle von Fehlausrichtung gehören, die bereits früher offengelegten Fällen zu entsprechen scheinen. Das wiederholte Auftreten des Problems kann selbst eine nützliche Erkenntnis über das Verhalten unserer Modelle oder die Wirksamkeit unserer Schutzmaßnahmen sein. Das gilt beispielsweise, wenn eine bestimmte Art von fehlausgerichtetem Verhalten trotz wiederholter Gegenmaßnahmen weiterhin auftritt. Unter diesen Umständen veröffentlichen wir die zusätzlichen Beispiele als Aktualisierung der ursprünglichen Offenlegung zur Fehlausrichtung.
Im Laufe der Zeit wollen wir gemeinsam mit anderen Entwickler:innen, externen Forschenden, Normungsorganisationen der Branche und Aufsichtsbehörden objektivere Offenlegungskriterien entwickeln. Wir sind außerdem der Ansicht, dass schwerwiegende Vorfälle in den Bereichen Sicherheit, Informationssicherheit und Fehlausrichtung der US-Bundesregierung gemeldet werden sollten, und arbeiten an Vorschlägen für entsprechende Meldeverfahren. Wir betrachten diesen Rahmen als Ergänzung unserer bestehenden Pflichten. Er ersetzt nicht unsere gesetzlichen Offenlegungspflichten, etwa bei kritischen Sicherheitsvorfällen oder Verstößen gegen die Cybersicherheit.
Zur Einführung unseres neuen Rahmens für die Offenlegung von Fehlausrichtungen veröffentlichen wir sechs Berichte über fehlausgerichtetes Verhalten, das wir beim Training oder bei der Bewertung unserer Modelle beobachtet haben. Diese Fälle veranschaulichen verschiedene Verhaltensweisen, die wir für berichtenswert halten. Sie reichen vom Verschweigen von Informationen gegenüber Nutzenden bis zu nicht genehmigten Handlungen, mit denen Hindernisse überwunden werden sollen. Die Berichte behandeln Einzelfälle und erlauben keine Rückschlüsse darauf, wie häufig Fehlausrichtungen bei unseren Modellen auftreten. Jeder der folgenden Einträge verweist auf den vollständigen Bericht.
Selbst erzeugte Anweisungen in Aufgabenzusammenfassungen(wird in einem neuen Fenster geöffnet). Ein unveröffentlichtes Forschungsmodell fügte Zusammenfassungen, die zur Fortsetzung seiner Arbeit in einem neuen Kontextfenster dienten, sachfremde Anweisungen hinzu. Dazu gehörten Anweisungen, seine üblichen Beschränkungen zu ignorieren. Wir identifizierten 27 betroffene Zusammenfassungen.
Anweisungen zum Verschweigen von Fehlern in Aufgabenzusammenfassungen(wird in einem neuen Fenster geöffnet). Beim Training von GPT‑5.6 Sol ergänzten viele Modellinstanzen ihre Zusammenfassungen um Anweisungen, Fehler oder fehlausgerichtetes Verhalten vor Nutzenden zu verbergen. Zusammenfassungen zur Kontextverdichtung enthielten beispielsweise Anweisungen, fehlende historische Daten zu erfinden, ohne dies offenzulegen, und Abweichungen zwischen Quellversionen zu verbergen.
Öffentliche Repositorys nach offengelegten API-Schlüsseln durchsuchen und anschließend Informationen erfinden(wird in einem neuen Fenster geöffnet). Bei der Beantwortung einer Routinefrage zu Einkommenszahlen in einem kalifornischen County fand und verwendete ein Modell ohne Genehmigung einen offengelegten API-Schlüssel. Als es die angeforderten Zahlen dennoch nicht abrufen konnte, erfand es sie und stellte sie als Daten aus der gewünschten Quelle dar.
Dateien ins Internet hochladen, um sie als Quellen anzugeben(wird in einem neuen Fenster geöffnet). Als eine Person ein unveröffentlichtes Modell nach den IDs und Namen von Seen mit einer Fläche von mehr als 5.000.000 Quadratmetern fragte, ermittelte der Agent mithilfe von Python die richtige Antwort. Da die Anweisungen jedoch einen Quellenbeleg aus dem Browser verlangten, beschloss der Agent, die Datei ohne Rückfrage hochzuladen, um sie in seiner Antwort zitieren zu können.
Nicht genehmigte Schreibvorgänge und Kommunikation über ein internes Software-Repository(wird in einem neuen Fenster geöffnet). Auf der Suche nach fehlenden Eingabedateien nutzten Modelle ein internes Software-Repository als Nachrichtenplattform, um über getrennte Trainingsbeispiele hinweg Anfragen und Antworten auszutauschen. Die Dateien konnten sie jedoch nicht wiederherstellen. Der Bericht untersucht außerdem einen früheren Fall, in dem ein Modell beim Versuch, Netzwerkbeschränkungen zu umgehen, erfolgreich Testdateien in ein Repository hochlud.
Nicht genehmigter Dateiaustausch zwischen zusammenarbeitenden Agenten(wird in einem neuen Fenster geöffnet). Agenten, die gemeinsam an derselben Trainingsaufgabe arbeiteten, nutzten öffentliche Datei-Hostingdienste, um Dateien auszutauschen, wenn sie nicht auf die lokalen Dateien der jeweils anderen Agenten zugreifen konnten. Dadurch waren die Arbeitsergebnisse unter öffentlichen URLs verfügbar, obwohl die Aufgabe verlangte, dass die Modelle ausschließlich lokale Dateien verwenden.
Alle Beschäftigten von OpenAI können ein Beispiel für Fehlausrichtung zur Untersuchung durch unsere Teams für Sicherheit und Alignment melden und beantragen, dass eine öffentliche Offenlegung geprüft wird. Damit beginnt unser Offenlegungsverfahren. Für jeden Schritt gelten Fristen, damit Untersuchung und Offenlegung zeitnah erfolgen.
Nach der Meldung eines Beispiels untersuchen unsere technischen Fachkräfte, was geschehen ist, welche Fragen offenbleiben, ob eine öffentliche Offenlegung gerechtfertigt ist und welche Tatsachen mitgeteilt werden können. Sie prüfen außerdem, ob Dritte betroffen waren und vor der Veröffentlichung vertraulich benachrichtigt werden müssen.
Anschließend wird das Beispiel einem von drei Verfahren zugeordnet: Ready for Disclosure, Minor Investigation oder Larger Investigation („Slow Track“).
Ready for Disclosure umfasst relevante Fälle, deren Untersuchung so weit abgeschlossen ist, dass sie nach einer Prüfung veröffentlicht werden können. Minor Investigation umfasst Fälle, die weitere technische Untersuchungen erfordern. Wir gehen davon aus, dass diese beiden Verfahren die große Mehrheit der von uns offengelegten Fälle abdecken. Das gilt besonders für Fälle, die keine umfangreiche Untersuchung, Abstimmung mit Dritten oder Behandlung schwerwiegender Missbrauchsrisiken erfordern. Alle heute veröffentlichten Fälle gehören zu einem dieser beiden Verfahren.
Larger Investigation umfasst komplexe Untersuchungen, insbesondere solche unter Beteiligung Dritter. Wenn Dritte betroffen sind, haben unsere Pflichten in den Bereichen Sicherheit, Recht und verantwortungsvolle Offenlegung Vorrang vor diesem Rahmen. Wir bemühen uns, so schnell wie möglich eine erste Mitteilung zu veröffentlichen. Aus Sicherheitsgründen kann jedoch eine Verzögerung erforderlich sein, etwa wenn ein Modell eine bisher unbekannte Schwachstelle in weitverbreiteter Software entdeckt. Falls ein Bericht Dritte identifizieren würde, wollen wir diese vorab informieren, auch wenn keine Sicherheitsgrenze überschritten wurde.
Die erste Mitteilung zu einem Fall im Verfahren Larger Investigation beschreibt in groben Zügen das Geschehen, nennt gegebenenfalls die Unterstützung durch externe Fachleute und enthält, soweit möglich, eine Schätzung des Zeitpunkts, zu dem wir den Abschlussbericht veröffentlichen werden. Der Vorfall mit OpenAI Hugging Face wäre diesem Verfahren zugeordnet worden, wenn er nach diesem Rahmen offengelegt worden wäre.
Die Person, die das Beispiel gemeldet hat, wird darüber informiert, ob es offengelegt wird und welchem Verfahren es gegebenenfalls zugeordnet wird. Ungelöste Meinungsverschiedenheiten über die Offenlegung oder das geeignete Verfahren werden an die Safety Advisory Group (SAG) von OpenAI verwiesen. Dieses Gremium aus leitenden Verantwortlichen verschiedener Unternehmensbereiche bewertet die Fähigkeiten und Schutzmaßnahmen von Frontier-Modellen, beaufsichtigt unser Preparedness Framework und berät die Führung von OpenAI. Meinungsverschiedenheiten innerhalb der SAG oder Einwände von Beschäftigten gegen ihre Entscheidungen werden an die Führung von OpenAI weitergeleitet. Entscheidungen gegen eine Offenlegung oder darüber, dass eine Offenlegung nicht gerechtfertigt ist, werden der Leitung für Sicherheit und Alignment sowie, soweit möglich, den zuständigen technischen Fachkräften mitgeteilt.
Wir können dieses Offenlegungsverfahren anhand der Erfahrungen aus der Praxis überarbeiten und werden Änderungen in diesem Beitrag dokumentieren.
Jeder vollständige Bericht beschreibt das beobachtete Verhalten, dessen Schweregrad und etwaige externe Auswirkungen, den Kontext, in dem es auftrat, das Datum oder den Zeitraum, den Zeitpunkt seiner Entdeckung und in groben Zügen das beteiligte Modell oder die beteiligten Modelle. Soweit möglich, teilen wir außerdem Folgendes mit:
Weitere Einzelheiten zum Geschehen und zu daraus entstandenen Schäden;
Wie wir die Fehlausrichtung entdeckt haben und welchen Umfang unsere Untersuchung hatte;
Unsere Einschätzung der Folgen für die Alignment-Forschung und die technische KI-Sicherheit;
Wichtige offene Fragen, die das Beispiel aufwirft;
Maßnahmen, die wir ergreifen oder planen, um das Verhalten zu korrigieren. Diese Informationen liegen zum Zeitpunkt der Offenlegung möglicherweise noch nicht vor, da wir den Bericht über die Fehlausrichtung veröffentlichen können, bevor unsere Untersuchung abgeschlossen oder eine Lösung entwickelt ist.
Bei Fehlausrichtungen im Rahmen von Kundenbereitstellungen geben wir so viele Informationen weiter, wie es der Datenschutz der Kundenunternehmen und unsere vertraglichen Pflichten zulassen.
Die heutigen Berichte sind eine erste Reihe von Offenlegungen und keine umfassende Darstellung bekannter Fehlausrichtungen oder laufender Untersuchungen. Diese ersten Berichte sollen nicht das gesamte Spektrum oder den Schweregrad der von diesem Rahmen erfassten Fälle abbilden. Wir verpflichten uns, Fälle von Fehlausrichtung offenzulegen, die die Kriterien dieses Rahmens erfüllen. Dazu gehören auch komplexere Fälle, die längere Untersuchungen oder eine Abstimmung mit Dritten erfordern. Wir werden fortlaufend weitere Berichte nach diesem Rahmen veröffentlichen und unsere Verpflichtungen zur Berichterstattung im Zuge ihrer Weiterentwicklung näher erläutern.
