Tempo der Modellentwicklung im Zeitalter kritischer Cyberfähigkeiten

In den vergangenen Wochen haben zwei Entwicklungen die wachsenden Risiken immer leistungsfähigerer KI-Systeme verdeutlicht: der Vorfall zwischen OpenAI und Hugging Face und, unabhängig davon, erste Hinweise darauf, dass eines unserer kommenden Modelle, Astra, möglicherweise den Schwellenwert für eine kritische Cybersicherheitsfähigkeit nach unserem Preparedness Framework erreicht. Diese Entwicklungen und die raschen Fortschritte unserer internen Forschung haben unsere Arbeit an einem stärkeren Monitoring sowie besseren Alignment- und Eindämmungsmaßnahmen in allen Phasen des Trainingsprozesses dringlicher gemacht.

Je leistungsfähiger Modelle werden, desto größer werden auch die Risiken ihrer internen Entwicklung und Erprobung. Unsere Standards für Monitoring, Alignment und Sicherheit müssen diesen Risiken voraus sein. Wir wollten uns die nötige Zeit nehmen, um diese Standards zu erfüllen. Deshalb haben wir die Skalierung vorübergehend verlangsamt. Dazu gehörte eine zweiwöchige Pause beim Training unserer neuesten, für den Einsatz vorgesehenen Modelle mit Reinforcement Learning (RL). Währenddessen sicherten wir unsere Forschungsumgebungen weiter ab, unterzogen sie Red-Teaming-Tests und erweiterten die Abdeckung unserer Monitoringsysteme. Unser größter geplanter Frontier-RL-Trainingslauf bleibt ausgesetzt. Unterdessen führen wir Trainings und Evaluationen in kleinerem Maßstab durch, um das Modellverhalten zu beurteilen, unsere Schutzmaßnahmen zu validieren und vor der Fortsetzung weitere Belege für das Alignment zu gewinnen.

Alignment, also die Arbeit daran, dass sich KI-Systeme wie vorgesehen verhalten und auf menschliche Aufsicht reagieren, steht seit Langem im Mittelpunkt unseres Forschungsprogramms. Aufbauend auf bereits laufenden Forschungsarbeiten und Evaluationen verlangen wir nun in allen Trainingsphasen stärkere Belege für ein angemessen ausgerichtetes Verhalten. Immer leistungsfähigere Systeme auf Kurs zu halten, ist eine Herausforderung, der sich das gesamte Fachgebiet stellen muss. Die Signale aus den Fortschritten kommender Modelle zeigen deutlich, dass wir einen breiteren Ansatz brauchen, der auf dem aktuellen Preparedness Framework aufbaut und darüber hinausgeht.

Wir halten es für wichtig, transparent zu machen, wie sich unser Ansatz verändert. Im Folgenden beschreiben wir die bereits umgesetzten Änderungen an unseren Forschungsprozessen und unserer Infrastruktur sowie die noch laufenden Arbeiten.

Unser Ansatz zur Entwicklung leistungsfähigerer Modelle beruht auf drei sich ergänzenden Schutzmaßnahmen:

1. Monitoring, das bedenkliches Verhalten erkennt und uns Reaktionen darauf ermöglicht.
2. Alignment, das die Wahrscheinlichkeit schädlicher oder unbefugter Handlungen verringert.
3. Sicherheitsmaßnahmen, die begrenzen, worauf KI-Systeme zugreifen und was sie beeinflussen können.

Wir erwarten, dass Modelle bald den Großteil der Sicherheitsarbeit übernehmen werden, einschließlich der Abwehr anderer Modelle. Dadurch können alle drei Schutzmaßnahmen mit der Leistungsfähigkeit der Modelle skalieren. Das halten wir für entscheidend.

Wir setzen diese Schutzmaßnahmen in Forschung und Bereitstellung ein und passen sie an die Fähigkeiten, die Betriebsumgebung und das Risikoniveau des jeweiligen Modells an.

Da Frontier-Modelle immer stärkere Cybersicherheitsfähigkeiten entwickeln, erhöhen wir die Sicherheitsstandards für die Umgebungen, in denen wir sie trainieren und evaluieren. Die Erfüllung dieser Standards hat erhebliche Entwicklungsarbeit erfordert und hohe Kosten sowie Verzögerungen für die Frontier-Forschung verursacht. Unmittelbar nach dem Vorfall zwischen OpenAI und Hugging Face* setzten wir die Inferenz von Frontier-Modellen in Forschungsclustern für Läufe aus, die Code ausführen oder Tools mit Internetzugriff verwenden konnten. Wir stellten recht schnell einen stärker eingeschränkten und abgesicherten Weg zur Codeausführung wieder her. Anschließend prüften wir jede Arbeitslast einzeln, um festzustellen, ob sie sicher fortgesetzt werden konnte. Einige Forschungsarbeitslasten wurden unter diesen neuen Kontrollen fortgesetzt, andere erforderten zusätzliche Änderungen.

In den folgenden Wochen haben wir strengere Sicherheitsanforderungen für Arbeitslasten der Frontier-Forschung festgelegt und mit ihrer Umsetzung begonnen. Zum Beispiel:

• Isolation von Arbeitslasten: Für Arbeitslasten, die modellgenerierten oder anderweitig nicht vertrauenswürdigen Code ausführen, verlangen wir nun eine stärkere Isolation („Sandboxes“). Dies gilt auch für Software, die bei der Verarbeitung von Modellergebnissen kompromittiert werden könnte.
• Netzwerkisolation: Wir haben zusätzliche Kontrollen eingeführt, um risikoreichere und nicht vertrauenswürdige Arbeitslasten vom Internet zu isolieren. Wir haben diese Kontrollen so konzipiert, dass die Kompromittierung einer einzelnen Arbeitslast oder eines unterstützenden Dienstes allein keinen unbefugten Zugriff auf das Internet oder andere interne Netzwerke ermöglicht.
• Kontinuierliche Sicherheitstests: Wir haben unsere Umgebung neu konfiguriert, um potenziell anfällige gemeinsam genutzte Dienste zu entfernen, dauerhaft bestehende Berechtigungen zu reduzieren und Sicherheits- sowie Vertrauensgrenzen zu verbessern. Außerdem verbessern wir unsere Möglichkeiten, Sicherheitsprotokolle zu erfassen und zu überwachen. Schließlich investieren wir in Automatisierung und setzen unsere Modelle ein, um diese Grenzen kontinuierlich mit simulierten Angriffen zu testen.

Zusammen bieten diese Kontrollen eine tief gestaffelte Verteidigung und schützen unsere Forschungsumgebung vor Angriffen. Heute verlangen wir für Arbeitslasten mit Astra oder Cybermodellen die strengsten Sicherheitsmaßnahmen, da wir festgestellt haben, dass Astra-Modelle möglicherweise eine kritische Cyberfähigkeit besitzen. Diese Schutzmaßnahmen gelten auch für alle anderen cyberbezogenen Arbeitslasten.

Einige Trainings und Evaluationen von Astra erfüllen diese Anforderungen bereits. Eine beträchtliche Zahl von Arbeitslasten bleibt jedoch ausgesetzt, bis sie vollständig migriert und so erweitert wurden, dass sie den neuen Sicherheitsstandard erfüllen. Bei der Migration in diese neuen Umgebungen priorisieren wir zunächst Arbeitslasten für Sicherheit und Alignment.

Monitoring ist seit Langem ein wichtiger Bestandteil unseres Modellentwicklungsprozesses. Dazu gehören das Monitoring interner Programmier-Agenten und lang andauernder Sitzungen. Unser Monitoring konzentrierte sich insbesondere auf interne Bereitstellungen von Frontier-Modellen und Frontier-RL-Trainingsläufe. Diese betrachteten wir als Arbeitslasten mit dem höchsten Risiko, da sie fortschrittliche Modellfähigkeiten mit Zugriff auf Tools, sensible Systeme sowie interne oder externe Netzwerke verbinden können. Es wurde nicht auf sämtliche Inferenz- und Trainingsläufe mit Tools angewendet. Mit unserem neuen Monitoringsystem haben wir unseren Ansatz überarbeitet und erweitert.

Dieses neue Monitoringsystem arbeitet mehrstufig. Es beginnt mit Aktivierungsklassifikatoren, also Detektoren, die die interne Aktivität eines Modells untersuchen. Sie werden bei jedem abgetasteten Token ausgeführt und leiten potenzielle Bedenken an zunehmend ausgefeilte automatisierte Prüfsysteme mit höherem Rechenaufwand weiter. Diese Systeme untersuchen Tool-Aktionen, verfügbares Reasoning und die vollständige Abfolge der Aktivitäten auf unbefugte Zugriffe, Datendiebstahl, destruktives Verhalten und Versuche, Schutzmaßnahmen zu umgehen. Wir wollen innerhalb von 30 Minuten eine Warnung ausgeben, nachdem unser Monitoringsystem bedenkliche Aktivitäten erkannt hat. Erkennt das Monitoringsystem einen wahrscheinlichen Verstoß gegen eine kritische Sicherheitsgrenze, erzeugt es eine Warnung mit höchster Priorität. In unserer aktuellen Umsetzung werden die Teams für Safety, Sicherheit und Forschung alarmiert. Können sie nicht innerhalb von 30 Minuten eindeutig feststellen, dass die Meldung ein Fehlalarm ist, sollen diese Teams die Aktivität aussetzen.

Dieses Monitoring ist für alle RL-Trainings und Evaluationen mit Tools für Modelle erforderlich, die mindestens die Fähigkeiten von Sol besitzen. Nachdem wir am 7. August festgestellt hatten, dass Astra möglicherweise kritische Cyberfähigkeiten besitzt, führten wir eine zusätzliche Monitoringanforderung für jede Inferenz von Astra mit Tools ein, nicht nur für RL-Trainings und Evaluationen.

Diese Schutzmaßnahmen erfordern erhebliche Rechenleistung. Nach unseren aktuellen Schätzungen beträgt der Monitoringaufwand rund 20 % der überwachten Rechenleistung für die Inferenz. Die Kosten unterscheiden sich jedoch erheblich zwischen Trainings- und Evaluationsarbeitslasten. Weitere Einzelheiten zu diesem System veröffentlichen wir in einem kommenden Blogbeitrag.

Alignment-Forschung ist für unsere Mission von zentraler Bedeutung. Unsere Mission besteht darin, sicherzustellen, dass künstliche allgemeine Intelligenz der gesamten Menschheit zugutekommt. Wenn Modelle fortschrittliche Fähigkeiten wie Cyberangriffe entwickeln und in komplexeren Umgebungen agieren, entstehen durch fehlgeleitetes Verhalten zunehmend ernsthafte Risiken. Dazu zählen Reward Hacking, also das Erzielen hoher Belohnungen im Training, ohne das beabsichtigte Ergebnis tatsächlich zu erreichen, Täuschung und unbefugte Zugriffe.

Bei RL-Läufen mit den leistungsfähigsten Modellen wenden wir unsere zentralen Alignment-Techniken nun in mehr Phasen des Trainingsprozesses an. Dazu verbessern wir Reward-Modelle, damit sie unsicheres Verhalten über Aufgaben und Umgebungen hinweg besser erkennen und unterbinden. Wir trainieren Modelle außerdem darauf, ehrlicher über ihre Handlungen, Fähigkeiten und Grenzen zu informieren, und reduzieren Verhaltensweisen, die Schwächen bei Belohnungen, Bewertungssystemen, Tools oder der Aufsicht ausnutzen. Außerdem erweitern wir die Trainingsabdeckung für Verhaltensweisen, die bei der Interaktion von Modellen mit externen Systemen oder Ressourcen Schaden verursachen könnten.

Wir investieren weiterhin erheblich in die Alignment-Forschung, erweitern die Abdeckung unserer Evaluationen und nutzen unsere Erkenntnisse für Trainings und Schutzmaßnahmen. In naher Zukunft wollen wir wesentlich mehr über unsere Alignment-Forschung berichten, darunter unsere Erkenntnisse zum Modellverhalten und alle neuartigen Herausforderungen, die wir entdecken.

Wir werden unser Preparedness Framework weiterentwickeln, um diese Schutzmaßnahmen über Training und Bereitstellung hinweg zusammenzuführen und die Fähigkeiten künftiger Modelle sowie ihre Betriebsumgebungen besser abzubilden. Die Entwicklung von Methoden, die mit diesen Fähigkeiten skalieren können, erfordert kontinuierliche Investitionen in modellgestützte Sicherheit, wirksameres Monitoring und weitere Fortschritte in der Alignment-Forschung. Wir wollen externe Organisationen einbeziehen und mit der Weiterentwicklung unseres Ansatzes mehr von unseren Erkenntnissen teilen.

Die Fähigkeiten von Frontier-Modellen entwickeln sich rasant weiter. Unsere Fähigkeit, diese Modelle zu verstehen, auszurichten und abzusichern, muss ihrer Entwicklung voraus sein.

*Wir werden in den kommenden Wochen einen technischen Bericht über unsere Erkenntnisse veröffentlichen.