Wie Block mit OpenAI-Technologie KI-Sicherheit entwickelt

Bei Block, dem Unternehmen hinter Square, Cash App und Afterpay, nutzt das Sicherheitsteam die OpenAI Defense Factory. Dort übernimmt KI das Aufspüren von Schwachstellen sowie die Erkennung und Abwehr von Bedrohungen in einem Umfang, den kein menschliches Team bewältigen könnte. Mit KI-Systemen wie OpenAI Daybreak erledigt Block in wenigen Stunden Aufgaben, die früher Wochen dauerten.

Das Sicherheitsteam von Block konzentriert sich darauf, KI verantwortungsvoll in seine Arbeitsabläufe einzubinden, ob bei der Codegenerierung oder im Sicherheitsbetrieb. „Im Kern ist es wie ein neues Teammitglied, mit dem wir unsere Kapazitäten skalieren können“, sagt James Nettesheim, Chief Information Security Officer. „Das unterscheidet sich von herkömmlicher Automatisierung, bei der man jeden Schritt vorgeben musste. Du kannst der KI ein ziemlich spezielles, unklar umrissenes Problem schildern und es gemeinsam mit ihr durcharbeiten.“

Aufgaben wie die Prüfung eines Softwarefehlers oder die Auswertung eines Protokolls dauerten früher Tage oder Wochen. Heute erledigt das Team diese Aufgaben in einem Bruchteil der Zeit. Jedes Ergebnis wird weiterhin von einem Menschen geprüft.

Um beispielsweise Erkennungsregeln zu optimieren, werden bei jeder Untersuchung die unverarbeiteten Abfrageergebnisse als Belege gespeichert. So kann das Team eine vorgeschlagene Änderung an einer Erkennungsregel in weniger als einer Stunde anhand von Telemetriedaten aus sieben Monaten Produktivbetrieb testen. Früher mussten dafür Hunderte alter Fälle manuell erneut abgefragt werden. Das war so zeitaufwendig, dass es in der Praxis nur selten geschah.

Das Team wählt inzwischen auch gezielter aus, welches Modell es für welche Aufgabe einsetzt. „Früher haben wir immer das neueste Modell verwendet, aber das ist nicht mehr nötig“, sagt er. „Für unterschiedliche Aufgaben unterschiedliche Modelle auszuwählen, war ein Lernprozess.“ Der Sicherheits-Harness von Block baut auf Daybreak auf und hilft dabei, Aufgaben dem passenden Modell zuzuweisen. Er bietet zudem Eingriffspunkte, an denen Menschen Aufgaben übernehmen oder Agenten die Arbeit anderer Agenten überprüfen können. Das Team bewertet diese Systeme laufend anhand interner Benchmarks und ihrer Leistung in der Praxis und passt sein Vorgehen bei Bedarf an. Dazu gehört auch, Aufgaben zur menschlichen Prüfung weiterzuleiten, wenn dies der verantwortungsvolle Weg ist.

Dank des automatisierten Triage-Systems wird mehr Arbeit in kürzerer Zeit erledigt. Das Sicherheitsteam von Block verzeichnet einen um 50 % höheren Triage-Durchsatz, einen Zuwachs von 50 % bei der Informationsgewinnung und bei Untersuchungen sowie eine völlig neue Fähigkeit zur autonomen Bedrohungssuche. Nettesheim sagt: „Das System leistet pro Quartal Untersuchungsarbeit im Umfang von rund 1.100 Analysestunden. Denn jede Warnmeldung wird jetzt vollständig und eingehend untersucht, einschließlich aller betroffenen Elemente. Unser System behandelt jede Warnmeldung so, als wäre sie die einzige des Tages.“

Herkömmliche Scan-Tools melden einzelne Schwachstellen isoliert. Mit Daybreak kann das Sicherheitsteam von Block deutlich weiter gehen. Das Modell hilft, Hypothesen über Angriffsmuster zu entwickeln und mehrere Angriffe zu einem vollständigen Angriffspfad bis zur Kompromittierung zu verknüpfen. Dabei deckt es Schwachstellen auf, die möglicherweise seit Jahren bestehen.

In einem Fall wirkte eine Warnmeldung auf einem einzelnen Laptop für sich betrachtet wie ein geringfügiger Richtlinienverstoß. Bei der Gegenprüfung ging das Modell jedoch einem Indikator nach, der nur beiläufig in den Belegen auftauchte. Es glich ihn mit den Identitätsprotokollen von Block ab und deckte eine wesentlich größere Zahl von Problemen auf. „Eine routinemäßige Warnmeldung von einem Endgerät führte dazu, dass eine ganze Angriffskampagne gestoppt wurde. Kein einzelnes Tool stellt diese Verbindung her. Das Signal wird erst sichtbar, wenn man die Protokolle zweier Produkte zusammenführt“, sagt James.

Ein weiteres Beispiel für die Hilfe von Daybreak war eine kürzlich durchgeführte Red-Teaming-Übung. Das Modell erhielt einige Hinweise zu einem internen System und setzte in etwa zwei Stunden einen vollständigen Angriffspfad zusammen: SQL-Injektion, Rechteausweitung, Einrichtung eines ersten Zugangs, Ermittlung von Zugangsdaten und Vordringen in weitere Systeme. Eine Fachkraft für Red Teaming würde dafür normalerweise mehrere Tage benötigen. Bei den jüngsten Red-Teaming-Übungen vergingen von der Meldung einer schwerwiegenden Schwachstelle bis zu einem automatisch vorgeschlagenen Patch 18 Minuten.

Schwachstellen zu finden, ist nur so wertvoll wie die Fähigkeit, sie auch zu beheben. Nettesheim erläutert, wie sein Team bei jedem Befund vorgeht: Zuerst lokalisiert es die betroffene Stelle im Code und ermittelt, wer dafür verantwortlich ist. Dann geht es an die Behebung. „Du schlägst einen Patch vor, bestätigst, dass die Schwachstelle ausnutzbar ist, und prüfst dann, ob sie behoben wurde. Dabei steuert ein Mensch den Prozess und stellt die Codeänderungen bereit.“

Agenten sind technisch leistungsfähig, kennen aber weder den Kontext einer Organisation noch die Gründe für frühere Entscheidungen. Diesen Kontext und die Strategie liefert ein Mensch. Hier kommt sein Team ins Spiel, das eine zusätzliche menschliche Prüfung übernimmt. Wenn sich das Urteilsvermögen der KI in der Praxis bewährt, so Nettesheim, „werden wir die Risikostufe schrittweise erhöhen und KI auch für sensiblere Systeme einsetzen“.

• Weniger als eine Stunde, um eine vorgeschlagene Änderung an einer Erkennungsregel anhand von Telemetriedaten aus sieben Monaten zu testen.

• 18 Minuten von der Meldung einer grob beschriebenen Schwachstelle bis zu einem automatisch vorgeschlagenen Patch bei den jüngsten Red-Teaming-Übungen.

• Rund 600 eingesparte Analysestunden pro Quartal bei der Triage von Fehlalarmen.

• Untersuchungsarbeit im Umfang von etwa 1.100 Analysestunden pro Quartal.

• 50 % höherer Triage-Durchsatz.

• 50 % Zuwachs bei der Informationsgewinnung und bei Untersuchungen.

Allein bei der Erkennung und Abwehr von Bedrohungen werden pro Quartal rund 600 Analysestunden eingespart, die früher für die Triage von Fehlalarmen aufgewendet wurden. Die gewonnene Zeit nutzt das Team für tiefer gehende Untersuchungen und den verantwortungsvollen Ausbau der Automatisierung.

Während Angriffe immer schneller erfolgen und sich KI-Modelle weiterentwickeln, sieht Nettesheim eine Chance, von vornherein weniger Schwachstellen entstehen zu lassen. So könnten Sicherheitsteams weniger Zeit mit Patches verbringen und sich stärker auf vorbeugende, strategische Arbeit konzentrieren.

„OpenAI verschiebt den Vorteil zugunsten der Sicherheitsteams, indem es diese fortschrittlichen Fähigkeiten allen zugänglich macht“, sagt er. „Bisher waren sie meist nur besonders prominenten Technologieunternehmen und staatlichen Stellen vorbehalten. Doch jetzt können alle anfangen, diese Technologie zum Schutz ihrer Netzwerke zu nutzen, auch Organisationen der kritischen Infrastruktur, Schulen und kleine Unternehmen.“