Doppels KI-Abwehrsystem stoppt Angriffe vor der Ausbreitung

Eine einzelne Betrugsseite kann Tausende von Benutzer:innen ins Visier nehmen und innerhalb von weniger als einer Stunde wieder verschwinden. Das ist mehr als genug Zeit für Angreifer:innen, um echten Schaden anzurichten. Mit generativen Tools können sie in kürzester Zeit Hunderte weiterer solcher Seiten erstellen.

Doppel wurde entwickelt, um Organisationen vor Deepfakes und Online-Identitätsdiebstahl zu schützen, erkannte jedoch schnell, dass KI Bedrohungen in unbegrenztem Umfang skalieren lässt. Angreifer:innen müssen keine Betrugsmaschen mehr von Hand erstellen. Sie können endlose Varianten von Phishing-Kits, gefälschten Domains und Fake-Konten in Sekunden generieren.

Um einen Schritt voraus zu sein, hat Doppel ein neues Abwehrsystem gegen Social Engineering entwickelt, das auf den GPT‑5- und o4-mini-Modellen von OpenAI basiert. Die Plattform von Doppel erkennt, klassifiziert und beseitigt Bedrohungen automatisch, reduziert die Arbeitslast von Analyst:innen um 80 %, verdreifacht die Kapazität zur Bedrohungsbewältigung und verkürzt die Reaktionszeit von Stunden auf Minuten.

Herkömmlicher digitaler Risikoschutz setzte darauf, dass Menschen Betrugsseiten, Phishing-Domains und Social-Media-Profile manuell überprüften. Doppel erkannte, dass dieses Modell an seine Grenzen stieß, als Angreifer:innen begannen, Angriffe zu automatisieren und schneller sowie über mehr Angriffsflächen hinweg zu starten, als Menschen sie bewerten konnten.

Diese Geschwindigkeit ist entscheidend für die Kunden von Doppel, Organisationen, die es sich nicht leisten können, stundenlang auf die Bestätigung einer Bedrohung zu warten. Das System von Doppel klassifiziert die meisten Bedrohungen automatisch, nutzt OpenAI-Modelle für Reasoning und eine strukturierte Feedbackschleife namens Reinforcement Fine-Tuning (RFT), um das Modell im Laufe der Zeit zu verbessern. Beim Reinforcement Fine-Tuning (RFT) wird menschliches Feedback als bewertete Beispiele genutzt, damit Modelle lernen, eigenständig konsistente und nachvollziehbare Entscheidungen zu treffen.

Doppels LLM-basierte Pipeline bildet das Herzstück seines Erkennungssystems. Nachdem Signale erfasst und gefiltert wurden, führt das System eine Reihe gezielter Reasoning-Aufgaben aus. Es bewertet potenzielle Bedrohungen, bestätigt Absichten und steuert Klassifizierungsentscheidungen. Jede Phase ist darauf ausgelegt, Geschwindigkeit, Genauigkeit und Konsistenz auszubalancieren, während Analyst:innen sich auf die Sonderfälle konzentrieren, die menschliches Urteilsvermögen erfordern.

So funktioniert es:

• Signalfilterung und Merkmalsextraktion: Die Systeme von Doppel verarbeiten täglich Millionen von Domains, URLs und Konten. Eine Kombination aus Heuristiken und OpenAIs o4-mini filtert Rauschen heraus und extrahiert strukturierte Merkmale, um nachgelagerte Modelle bei der Bewertung zu unterstützen.
• Parallele Bedrohungsbestätigung: Jedes Signal wird durch mehrere GPT‑5-Prompts geleitet, die speziell für verschiedene Arten der Bedrohungsanalyse entwickelt wurden. Diese Prompts bewerten Faktoren wie das Risiko von Identitätsmissbrauch, Markenverwendung oder Social-Engineering-Mustern.
• Bedrohungsklassifizierung: Die RFT-Version von o4-mini fasst die vorherigen Bestätigungen zusammen, um eine strukturierte Kennzeichnung – bösartig, unbedenklich oder unklar – mit produktionsreifer Konsistenz zu vergeben.
• Abschließende Verifizierung: Ein zweiter GPT‑5-Durchlauf validiert die Modellentscheidung und generiert eine Begründung in natürlicher Sprache. Wenn das Vertrauen einen bestimmten Schwellenwert überschreitet, startet das System automatisch eine Durchsetzungsmaßnahme.
• Menschliche Überprüfung: Ergebnisse mit geringer Sicherheit oder widersprüchlichen Bewertungen werden an menschliche Analyst:innen weitergeleitet. Ihre Entscheidungen werden protokolliert und in die RFT-Schleife eingespeist, um die Konsistenz des Modells kontinuierlich zu verbessern.

Doppel hatte bereits deutliche Fortschritte mit seiner ursprünglichen, LLM-gestützten Detektionspipeline erzielt. Doch in Fällen, in denen dieselbe Bedrohung je nach Analyst:in unterschiedlich bewertet werden konnte, wurde Konsistenz zum begrenzenden Faktor.

Um diese Konsistenz zu erreichen, setzte Doppel RFT mit seinen eigenen Analystendaten als Feedbackquelle ein. Jede Entscheidung, eine Domain als bösartig, unbedenklich oder unklar zu klassifizieren, wurde zu einem bewerteten Beispiel. Diese gekennzeichneten Beispiele trainierten das Modell darauf, Expertenurteile zu replizieren, selbst bei unklaren Grenzfällen.

In enger Zusammenarbeit mit dem Applied-Engineering-Team von OpenAI entwickelte Doppel Bewertungsfunktionen, die nicht nur Genauigkeit, sondern auch Erklärbarkeit bewerteten und Modelle belohnten, die klar und nachvollziehbar argumentierten, nicht nur korrekt. Durch die Umwandlung von Analysten-Feedback in strukturierte Trainingsdaten zeigte Doppel, wie RFT die automatisierte Erkennung konsistenter und zuverlässiger machen kann.

Hyperparameter-Tuning und iterative Auswertungen brachten das Modell näher an die Konsistenz menschlicher Entscheidungen heran. Für Doppel bedeutete der letzte Schritt der Automatisierung auch, Entscheidungen unmittelbar nachvollziehbar zu machen.

Jeder automatisierte Takedown enthält nun eine KI-generierte Begründung, die erklärt, warum eine Bedrohung entfernt wurde. Kund:innen erhalten dadurch sofort Einblick in den Grund der Maßnahme – etwas, das früher menschliches Eingreifen erforderte.

Diese Transparenz stärkt das Vertrauen – ein entscheidender Faktor für die Nutzer:innen von Doppel. Teams gewinnen Vertrauen, weil sie nicht nur sehen, was getan wurde, sondern auch warum. Damit können sie schnell reagieren und Entscheidungen intern oder gegenüber Stakeholder:innen nachvollziehbar erklären.

• Arbeitslasten für Analyst:innen um 80 % reduziert
• Reaktionszeit auf Bedrohungen von Stunden auf Minuten reduziert
• Kapazität zur Bedrohungsbewältigung verdreifacht
• Meiste Bedrohungen automatisch klassifiziert

Nachdem die Automatisierung für Phishing- und Imitations-Domains nahezu vollständig abgeschlossen ist, wendet Doppel denselben modellgestützten Ansatz nun auf andere Kanäle mit hoher Varianz an.

„Domänen sind wahrscheinlich der schwierigste Kanal, den wir bearbeiten“, sagt Madduluri. „Die Signale sind chaotisch, Inhalte ändern sich ständig, und Bedrohungen entwickeln sich schnell über mehrere Oberflächen hinweg. Wenn wir das Ende-zu-Ende automatisieren können, können wir alles automatisieren: soziale Medien, bezahlte Anzeigen, was auch immer.“

Die nächsten Meilensteine umfassen die Skalierung ihres RFT-Datensatzes um eine Größenordnung, Experimente mit neuen Bewertungsstrategien und den Einsatz von GPT‑5 für die Extraktion von Upstream-Features. Mit diesen Änderungen kann Doppel Pipeline-Phasen konsolidieren und bereits früher im Prozess über komplexere Bedrohungsindikatoren nach Reasoning-Prinzipien Schlussfolgerungen ziehen.

Mit jeder Iteration arbeitet Doppel auf ein System hin, das das schützt, was echt ist – auf sämtlichen Oberflächen, auf denen das Vertrauen angegriffen wird.