Incidenten mellan OpenAI och Hugging Face(öppnas i ett nytt fönster) blev en vändpunkt för cybersäkerheten eftersom den gav en föraning om hur en typisk hotaktörs förmåga kommer att utvecklas under de kommande månaderna. Jag har talat med många organisationer under de senaste veckorna och ett tema är tydligt: de vet att de måste höja nivån på sitt cybersäkerhetsarbete i grunden och göra det snabbare än någonsin. I det här inlägget berättar jag vad vi gör för att försvara OpenAI, vilka konkreta åtgärder andra organisationer kan vidta redan i dag och varför det är dags att agera nu.
AI-modeller som utvecklas runt om i världen kan i allt högre grad automatisera delar av verkliga cyberattacker vilket gör det enklare att hitta och utnyttja sedan länge befintliga säkerhetsluckor, från fel djupt begravda i kod skriven av människor till bortglömda behörigheter. Samma AI-förmågor ger försvarare nya sätt att hitta och åtgärda dessa svagheter fast de måste agera nu. Om företag agerar beslutsamt genom att bland annat stärka grunderna och ge sina team AI-förstärkta förmågor kan vi göra internet säkrare än någonsin.
Under incidenten mellan OpenAI och Hugging Face lyckades ett agentbaserat kollektiv att autonomt ta sig in i både OpenAI:s forskningsinfrastruktur och ett annat företags produktionsinfrastruktur genom att utnyttja sårbarheter från tidigare okända säkerhetsbrister och inloggningsuppgifter för användarkonton som läckt ut på internet. Det blir allt tydligare att alla företags tekniska skuld(öppnas i ett nytt fönster) döljer betydande brister och försvarare måste hitta och åtgärda dem innan angriparna gör det.
För att ge försvarare ett övertag gentemot angripare började vi tidigare i år göra våra cyberförmågor tillgängliga endast för betrodda försvarare. Sedan dess har flera företag lanserat modeller med öppen vikt vars cyberförmågor endast är ett par månader efter de banbrytande modellerna. Den senaste av dessa modeller verkar vara planerad att lanseras(öppnas i ett nytt fönster) i slutet av augusti och lär påskynda utvecklingen av hotbilden avsevärt.
AI-drivna angripare kommer snart att kunna hitta sedan länge befintliga brister i många nuvarande system men AI kommer även att göra det mycket enklare för försvarare att hitta, prioritera och åtgärda samma brister. Säkerhet är fortfarande en katt-och-råtta-lek men AI kan förändra dess ekonomiska villkor(öppnas i ett nytt fönster) på sätt som ger försvararna ett grundläggande övertag. Vi har till exempel börjat träna våra modeller specifikt för att skriva kod med extremt hög säkerhet. Våra modeller är även otroligt bra på matematiska bevis vilket kan användas för att formellt verifiera programvarors säkerhet på ett sätt som har visat sig vara ohanterligt för människor.
Efter incidenten mellan OpenAI och Hugging Face bad jag ChatGPT Work att med den offentligt tillgängliga GPT‑5.6 Sol utvärdera säkerheten på gregbrockman.com(öppnas i ett nytt fönster). Det är en enkel statisk webbplats på AWS med Cloudflare, jag räknade inte med att det skulle finnas någon större angreppsyta.
På cirka 15 minuter hittade den 13 problem, många av dem går förmodligen inte att utnyttja var för sig men kan förmodligen kombineras med andra sårbarheter för större effekt. Jag hade inte konfigurerat mina DNS-poster för att hindra angripare från att förfalska e-postmeddelanden från mig. Webbplatsen använde en osäker version av jQuery, och Cloudflare vidarebefordrade förfrågningar till AWS via okrypterad HTTP.
Jag bad därefter ChatGPT Work att åtgärda problemen vilket den gjorde på en timme. Den öppnade Cloudflares kontrollpanel i min webbläsare och rättade till DNS, TLS och avancerade säkerhetsinställningar. Den tog bort jQuery helt från webbplatsen och flyttade webbplatsen från AWS till Cloudflare Pages och påbörjade en stegvis utrullning av DMARC(öppnas i ett nytt fönster).
Och detta var bara min personliga webbplats. Detta är ett litet exempel på hur våra befintliga modeller kan fungera som cyberväktare: de hittar den långa svansen av problem som människor saknar tid eller expertis för att hantera (jag känner till exempel till många av de inställningar som modellen korrigerade men vet inte exakt hur de konfigureras korrekt) och åtgärdar dem sedan med en lämpligt anpassad utrullningsplan.
Incidenten med Hugging Face visade att vi hade underskattat våra AI-modellers verkliga cyberförmågor. Vi skärper därför våra säkerhetskrav vilket gör vår pågående säkerhetsforskning och vårt interna säkerhetsarbete ännu mer brådskande.
Jag berättar här lite om hur vi arbetar för tillfället för att säkra OpenAI i hopp om att det ska vara till nytta för andra organisationer. För att skydda OpenAI investerar vi kraftigt i både grundläggande kontroller (för korrekt utförande av grunderna) och i att stärka vårt försvar med banbrytande intelligens. Strategin bygger på fyra huvudpelare.
För det första använder vi våra modeller för att hjälpa till att säkra vår kod. Codex (inklusive vår säkerhetsplugin) validerar kodändringar, identifierar sårbarheter och hjälper utvecklare att åtgärda problem innan de distribueras. Målet är inte bara att ta fram fler säkerhetsfynd som kräver validering av människor utan att upptäcka verkliga sårbarheter före lansering och förkorta vägen från upptäckt av ett problem till säker driftsättning av en åtgärd. När vi fortsätter att träna våra modeller för att producera allt säkrare kod är vårt mål att eliminera vissa klasser av programvarusårbarheter för nyskriven kod.
För det andra sätter vi våra modeller i arbete med att kontinuerligt försvara vår infrastruktur. I dag sorteras och prioriteras nästan alla våra inledande säkerhetsvarningar av AI innan människor kopplas in. Detta minskar monotont arbete för försvarare, förbättrar svarstiden och låter människor spendera tid på det som bäst tar vara på deras färdigheter såsom urskiljning, omdöme och praktiskt expertis. Vi kopplar dessa upptäckter i allt högre grad till avgränsade automatiserade åtgärder samtidigt som människor förblir ansvariga för besluten med störst konsekvenser. Målet är att kunna upptäcka och hantera säkerhetsproblem i maskinhastighet.
För det tredje använder vi banbrytande intelligens för att kontinuerligt kartlägga, undersöka och identifiera möjliga angreppsvägar. Genom att identifiera sårbarheter, felkonfigurationer, identiteter med alltför omfattande behörigheter och oavsiktliga tillitsgränser kan vi snabbt hitta och täppa till luckorna innan angripare utnyttjar dem. Detta låter oss kontinuerligt utvärdera, övervaka och testa våra säkerhetsinvarianter (de säkerhetsegenskaper som vi förutsätter gäller) i våra produkter, vår infrastruktur och våra system.
Slutligen investerar vi stort i grundläggande säkerhet i stor skala. Vi fortsätter att investera i säker arkitektur och säkerhetskontroller, tillämpar strategier såsom djupförsvar och minsta möjliga behörighet samt utformar system där flera oberoende kontroller måste misslyckas samtidigt för att något katastrofalt ska kunna inträffa. Klassiska säkerhetsåtgärder såsom nätverksisolering, härdning av arbetslaster, övervakning samt säker uppdatering och driftsättning blir viktigare än någonsin i en framtid präglad av AI.
Tiden är avgörande och försvarare behöver genomföra stegen nedan i rekordfart. Nedan nämner jag teknik från OpenAI men det finns även gott om konkurrerande alternativ i ekosystemet att utvärdera. Det viktigaste är inte vilket verktyg ni väljer utan att era försvarare får tillgång till kraftfull AI redan nu.
- Säkra organisationens stöd och engagemang. Säkerhetsriskerna förändras snabbt, se till att era säkerhets- och utvecklingsorganisationer har det stöd, de samarbeten och de resurser som krävs för att snabbt hantera riskerna. Genomför scenarioövningar med era team för att simulera hur angreppen kan ta sig uttryck i organisationen och hur ni ska agera.
- Ge säkerhetsteamet en agent. Börja använda Codex, Codex-säkerhetspluginen(öppnas i ett nytt fönster) eller något annat kraftfullt verktyg för agentbaserad kodning och säkerhet. Ge agenten åtkomst till de kodbaser, infrastruktur och tekniska dokumentation som säkerhetsteamet behöver granska. Vänta inte på en företagsomfattande utrullning innan ni börjar med era högst prioriterade system.
- Utrusta agenten med säkerhetsexpertis. Utgå från färdigheter(öppnas i ett nytt fönster) som stöds av gemenskapen såsom arbetsflöden för statisk analys, säkerhetsinriktad kodgranskning, analys av sårbarhetsvarianter, risker i programvarans leveranskedja och andra säkerhetsprocesser. Bygg sedan egna färdigheter kring organisationens arkitektur, säkerhetsstandarder, hotmodeller och åtgärdsplaner.
- Genomför omedelbart säkerhetsgranskningar av era egna system. Prioritera först granskningar av internetexponerade tjänster, autentiseringsflöden, infrastruktur som kod, distributionspipelines och system som hanterar känslig information. Utöka skanningarna i takt med att teamets tillit till metoden växer.
- Arbeta igenom er befintliga kö av sårbarheter. Ge er agent fynd från kodskannrar, beroendevarningar, säkerhetsärenden, buggbelöningsrapporter och tidigare granskningar. Be agenten bedöma fynden, skilja exploaterbara problem från brus, identifiera relaterade sårbarheter på andra håll i kodbasen och rekommendera vad som bör åtgärdas först.
- Integrera säkerhetsgranskning direkt i din utvecklingsprocess. Använd agenter för att granska kodändringar innan de sammanfogas och för att köra säkerhetskontroller i CI. Leta efter autentiseringsfel, kringgående av åtkomstkontroller, exponerade inloggningsuppgifter, osäkra beroenden, osäkra standardinställningar, ändringar som utökar åtkomsten till produktionssystem och andra sårbarheter.
- Låt agenten hjälpa till att åtgärda sina fynd. För validerade problem kan ni be agenten skapa och verifiera en fokuserad patch, skriva ett regressionstest och bekräfta att sårbarheten inte längre kan återskapas. Behåll mänsklig granskning för ändringar med stora konsekvenser men undanröj onödiga dröjsmål mellan upptäckten av ett verkligt problem och presentationen av en säker korrigering för en utvecklare.
- Automatisera bedömningen av upptäckter stegvis. Börja inte med att försöka bygga ett autonomt säkerhetscenter. Börja med att köra en skrivskyddad säkerhetsskanning av ett förvar eller låt en agent granska tidigare avslutade varningar med skrivskyddad åtkomst till era befintliga loggar. Låt agenten sammanfatta bevisningen och rekommendera en hantering medan en människa tar varje beslut. När tilliten växer kan ni gå vidare till rådgivande skanning av pull-requests följt av bedömning av aktiva varningar och automatisk stängning av snävt definierade falska positiva resultat.
- Ha en AI-assisterad kapacitet för forensiska utredningar redo innan den behövs. Ansök om betrodd åtkomst för cyberarbete(öppnas i ett nytt fönster) och få ert team godkänt för att använda GPT‑Daybreak‑Blue i auktoriserat försvarsarbete, inklusive incidenthantering, detektionsutveckling och analys av skadlig kod. Öva på att använda denna kapacitet för att analysera loggar, telemetri och säkerhetsvarningar.
- Experimentera, anordna hackveckor och iterera snabbt. Vi kommer att behöva bygga olika nya verktyg, förändra vårt sätt att arbeta och höja allas kompetens inför den värld vi är på väg mot. Uppmuntra medarbetarna att experimentera, planera in en hackvecka för att skapa nya förmågor och fokusera på snabba iterationer som automatiserar små delar av problemet. Snabba, stegvisa framsteg ger en växande försvarseffekt och ni kan gradvis utöka autonomin i takt med att teamets tillit ökar.
Inget företag klarar detta på egen hand. Vi uppmanar AI-laboratorier, säkerhetsleverantörer, företag och systemansvariga att dela validerade fynd, korrigeringar och praktiska åtgärdsplaner så att en organisations upptäckt kan stärka hela ekosystemet.
Försvararnas tidsfönster är öppet nu. Under de kommande månaderna kommer varje organisation att behöva börja automatisera sina säkerhetsprogram för att förbli säkra, och säkerhetsgemenskapen måste omedelbart ta sig an uppgiften att definiera de verktyg, metoder och åtgärdsplaner som stärker försvararna snabbare än angriparna i takt med att AI fortsätter att utvecklas. Det kommer att kräva en enorm och aldrig tidigare skådad insats men om vi går tillsammans kan vi skapa en säkrare värld än vi tidigare kunnat föreställa oss.
