Obranný systém AI firmy Doppel zastaví útoky před rozšířením

Jediný web vydávající se za jinou osobu může být spuštěn, zacílit na tisíce uživatelů a zmizet za méně než hodinu. Útočník má víc než dost času na to, aby způsobil skutečné škody. A generativní nástroje mohou rychle vytvořit stovky dalších podobných webů.

Společnost Doppel byla vytvořena k ochraně organizací před deepfaky a online imitacemi, ale rychle si uvědomila, že umělá inteligence znamená, že hrozby se mohou šířit donekonečna. Útočníci už vymýšlet podvody ručně. Během několika sekund mohou vygenerovat nekonečné varianty phishingových sad, podvržených domén a účtů vydávajících se za někoho jiného.

Aby si společnost Doppel udržela náskok, vyvinula nový typ obranného systému proti sociálnímu inženýrství, který je postaven na modelu OpenAI GPT‑5 a o4-mini. Platforma Doppel automaticky detekuje, klasifikuje a odstraňuje hrozby, snižuje pracovní zátěž analytiků o 80 %, ztrojnásobuje kapacitu pro řešení hrozeb a zkracuje dobu reakce z hodin na minuty.

Tradiční ochrana před digitálními riziky se spoléhala na lidi, kteří ručně kontrolovali falešné weby, phishingové domény a profily a příspěvky na sociálních sítích. Společnost Doppel pochopila, jak se tento model hroutí, když útočníci začali automatizovat útoky, spouštět hrozby rychleji a ve větším měřítku na to, aby je lidé dokázali vyhodnotit.

Tahle rychlost je zásadní pro zákazníky společnosti Doppel, tedy pro organizace, které si nemohou dovolit čekat hodiny na potvrzení hrozby. Systém Doppel automaticky klasifikuje většinu hrozeb: využívá k uvažování modely OpenAI a strukturovanou smyčku zpětné vazby známou jako vylaďování posilováním (RFT), díky které se model postupem času zlepšuje. V rámci vylaďování posilováním se lidská zpětná vazba používá jako hodnocené příklady, které modelům pomáhají naučit se samostatně přijímat konzistentní a vysvětlitelná rozhodnutí.

Proces společnosti Doppel využívající modely LLM je ústředním bodem detekční vrstvy. Po zachycení a filtrování signálů systém provádí řadu cílených úloh uvažování: vyhodnocuje potenciální hrozby, potvrzuje záměry a řídí rozhodování o klasifikaci. Každá fáze je navržena tak, aby vyvažovala rychlost, přesnost a konzistenci a zároveň udržela pozornost analytiků zaměřenou na mezní případy vyžadující lidský úsudek.

Funguje to takto:

• Filtrování signálů a vytažení příznaků: Systémy společnosti Doppel denně zpracovávají miliony domén, adres URL a účtů. Kombinace heuristik a modelu OpenAI o4-mini odfiltruje neužitečné informace a vytáhne strukturované příznaky, které slouží jako vodítko pro následná hodnocení modelů.
• Paralelní potvrzení hrozby: Každý signál prochází několika výzvami GPT‑5, které jsou určeny pro různé typy analýzy hrozeb. Tyto prompty hodnotí faktory, jako jsou riziko vydávání se za jinou osobu, zneužití značky nebo vzorce sociálního inženýrství.
• Klasifikace hrozeb: Verze o4-mini s vylaďováním posilováním shrnuje předchozí potvrzení a přiřazuje strukturovaný štítek (škodlivá, neškodná nebo nejednoznačná) a je na produkční úrovni konzistentní.
• Finální ověření: Druhý průchod modelem GPT‑5 ověřuje rozhodnutí modelu a generuje zdůvodnění v přirozeném jazyce. Pokud míra spolehlivosti překročí prahovou hodnotu, systém automaticky zahájí vynucení opatření.
• Lidská kontrola: Výsledky s nízkou mírou jistoty nebo konfliktní výsledky se předávají lidským analytikům. Jejich rozhodnutí se zaznamenávají a převádějí zpět do smyčky vylaďování posilováním, aby se průběžně zlepšovala konzistence modelu.

Společnost Doppel už zaznamenala významné přínosy svého původního postupu detekce vylepšeného pomocí LLM, ale u případů, kdy stejná hrozba mohla být posouzena různě podle analytika, se omezujícím faktorem stala konzistence.

Pro dosažení této konzistence společnost Doppel použila vylaďování posilováním a jako zdroj zpětné vazby využila vlastní analytická data. Každé rozhodnutí klasifikovat oblast jako škodlivou, neškodnou nebo nejasnou se stalo hodnoceným příkladem. Tyto označené příklady naučily model napodobovat úsudek odborníků, a to i v nejednoznačných okrajových případech.

V úzké spolupráci s týmem aplikovaného vývoje OpenAI navrhla společnost Doppel hodnoticí funkce, které posuzovaly nejen přesnost, ale i kvalitu vysvětlení, a odměňovaly modely, které uvažovaly nejen správně, ale i srozumitelně. Převedením analytické zpětné vazby na strukturovaná trénovací data společnost Doppel ukázala, jak by dolaďování posilováním mohlo zvýšit konzistentnost a spolehlivost automatizované detekce.

Ladění hyperparametrů a iterativní vyhodnocování přiblížily model konzistenci na lidské úrovni. Pro společnost Doppel však dokončení posledního kroku automatizace znamenalo také to, aby rozhodnutí bylo okamžitě srozumitelné.

Každé automatizované odstranění hrozby nyní obsahuje zdůvodnění vygenerované umělou inteligencí, které vysvětluje, proč byla hrozba odstraněna. Zákazníkům tak nabízí okamžitý přehled o důvodech podniknutých opatření. To je krok, který dříve vyžadoval zásah analytiků.

Tato transparentnost posiluje důvěru, která je pro uživatele společnosti Doppel zásadním faktorem. Když týmy vidí nejen to, jaký krok byl proveden, ale vidí i důvody, dodává jim to sebevědomí k rychle reakci a kontext k internímu vysvětlení těchto rozhodnutí nebo k vysvětlení zainteresovaným stranám.

• Snížení pracovní zátěže analytiků o 80 %
• Zkrácení času odezvy na hrozby z hodin na minuty
• Ztrojnásobená kapacita pro zvládání hrozeb
• Většina hrozeb je klasifikována automaticky

Poté, co společnost Doppel dosáhla téměř úplné automatizace v oblasti phisingu a v oblasti útoků na identitu, aplikuje nyní stejný modelový rámec i na další kanály s vysokou variabilitou.

„Domény jsou pravděpodobně nejobtížnějším kanálem, se kterým se vypořádáme,“ řekl Madduluri. „Signály jsou chaotické, obsah se neustále mění a hrozby se rychle vyvíjejí v rámci několika oblastí současně. Pokud toto dokážeme zautomatizovat od začátku do konce, můžeme to stejné udělat pro cokoli: sociální sítě, placené reklamy, na co si vzpomenete.“

Mezi další milníky patří řádově rozšíření jejich datové sady pro vylaďování posilováním, experimentování s novými strategiemi hodnocení a využití GPT‑5 pro extrakci příznaků v předchozí fázi. Tyto změny umožní nástroji Doppel sloučit fáze procesu a analyzovat složitější indikátory hrozeb už v dřívější fázi procesu.

S každou iterací Doppel směřuje k systému, který chrání to, co je skutečné, ve všech oblastech, kde je ohrožena důvěra.