Hendelsen mellom OpenAI og Hugging Face(åpnes i et nytt vindu) var et vendepunkt for cybersikkerheten fordi den ga et innblikk i hvordan kapasiteten til en typisk trusselaktør vil utvikle seg de kommende månedene. Jeg har snakket med mange organisasjoner de siste ukene, og én ting er tydelig: De vet at de må løfte cybersikkerhetsarbeidet grunnleggende og i en fart vi aldri har sett før. I dette innlegget deler jeg hva vi gjør for å beskytte OpenAI, hvilke konkrete tiltak andre organisasjoner kan iverksette i dag, og hvorfor tiden er inne for å handle.
KI-modeller som utvikles verden over, kan i stadig større grad automatisere deler av reelle cyberangrep. Dermed blir det enklere å finne og utnytte langvarige sikkerhetshull – fra feil dypt begravet i menneskeskrevet programvare til glemte tillatelser. De samme KI-egenskapene gir forsvarerne nye måter å finne og rette svakhetene på, men de må handle nå. Hvis virksomheter handler besluttsomt – blant annet ved å styrke det grunnleggende sikkerhetsarbeidet og gi teamene superkrefter med KI – kan vi gjøre internett sikrere enn noen gang.
Under hendelsen mellom OpenAI og Hugging Face klarte et agentisk kollektiv på egen hånd å trenge inn i både OpenAIs forskningsinfrastruktur og produksjonsinfrastrukturen til et annet selskap. Det kjedet sammen sårbarheter som spente fra tidligere ukjente sikkerhetsfeil til bruk av påloggingsopplysninger for brukerkontoer som var lekket på internett. Det blir stadig tydeligere at den tekniske gjelden(åpnes i et nytt vindu) i alle virksomheter skjuler alvorlige svakheter, og at forsvarerne må finne og rette dem før angriperne gjør det.
For å gi forsvarerne et fortrinn over angriperne begynte vi tidligere i år å gjøre cyberkapasiteten vår tilgjengelig bare for betrodde forsvarere. Siden da har flere selskaper lansert modeller med åpen vekt og cyberkapasitet som bare ligger noen måneder bak det banebrytende nivået. Den nyeste av disse modellene ser ut til å skulle lanseres(åpnes i et nytt vindu) i slutten av august og vil trolig endre trusselbildet betydelig raskere.
KI-drevne angripere vil snart kunne finne langvarige svakheter i mange eksisterende systemer, men KI vil også gjøre det langt enklere for forsvarerne å finne, prioritere og rette de samme svakhetene. Sikkerhet er fortsatt en katt-og-mus-lek, men KI kan endre økonomien i spillet(åpnes i et nytt vindu) slik at forsvarerne får et grunnleggende fortrinn. Vi har for eksempel begynt å trene modellene våre spesifikt til å skrive kode med et sikkerhetsnivå som overgår menneskers. Modellene våre er også utrolig gode på matematiske bevis. Dette kan brukes til formelt å verifisere programvaresikkerhet på en måte som har vist seg uoverkommelig for mennesker.
Etter hendelsen mellom OpenAI og Hugging Face ba jeg ChatGPT Work (med den offentlig tilgjengelige GPT‑5.6 Sol) om å vurdere sikkerheten på gregbrockman.com(åpnes i et nytt vindu). Det er et enkelt statisk nettsted på AWS med Cloudflare som inngangsport, så jeg antok at angrepsflaten var liten.
På rundt 15 minutter avdekket den 13 problemer. Mange av dem kan trolig ikke utnyttes alene, men jeg kunne se for meg at de kunne kjedes sammen med andre sårbarheter og få betydelige konsekvenser. Jeg hadde ikke konfigurert DNS-oppføringene mine slik at angripere ble hindret i å forfalske e-poster fra meg. Nettstedet brukte en usikker versjon av jQuery, og Cloudflare videresendte forespørsler til AWS over ukryptert HTTP.
Deretter ba jeg ChatGPT Work rette problemene, noe den gjorde i løpet av en time. Den åpnet kontrollpanelet til Cloudflare i nettleseren min og klikket seg gjennom en rekke innstillinger for å konfigurere DNS, TLS og avanserte sikkerhetsinnstillinger riktig. Den fjernet jQuery helt fra nettstedet, flyttet det fra AWS til Cloudflare Pages og startet en trinnvis innføring av DMARC(åpnes i et nytt vindu).
Og dette var bare det private nettstedet mitt. Dette er et lite eksempel på hvordan dagens modeller kan fungere som en cybervokter: De finner alle de små problemene som et menneske ikke ville hatt tid eller ekspertise til å håndtere – mange av innstillingene den rettet, kjenner jeg overfladisk til, men jeg ville ikke visst hvordan de skulle konfigureres riktig – og retter dem deretter med en hensiktsmessig, trinnvis utrullingsplan.
Hendelsen hos Hugging Face viste at vi hadde undervurdert cyberkapasiteten modellene våre har i den virkelige verden. Derfor skjerper vi sikkerhetskravene våre, noe som igjen gjør den pågående sikkerhetsforskningen og det interne sikkerhetsarbeidet vårt enda mer presserende.
Jeg deler litt om hvordan vi arbeider for å sikre OpenAI i denne situasjonen, i håp om at det kan være nyttig for andre organisasjoner. For å beskytte OpenAI investerer vi betydelig både i grunnleggende kontroller – å gjøre det grunnleggende riktig – og i å styrke forsvaret vårt med banebrytende intelligens. Strategien bygger på fire hovedpilarer.
For det første bruker vi modellene våre til å sikre koden vår. Codex, inkludert sikkerhetspluginen vår, validerer kodeendringer, avdekker sårbarheter og hjelper utviklere med å løse problemer før endringene settes i produksjon. Målet er ikke bare å produsere flere sikkerhetsfunn som må valideres av mennesker. Målet er å oppdage reelle sårbarheter før de når brukerne, og korte ned veien fra et problem oppdages til en trygg rettelse er satt i produksjon. Etter hvert som vi trener modellene våre til å skrive stadig sikrere kode, er målet å eliminere enkelte typer programvaresårbarheter i nyskrevet kode.
For det andre setter vi modellene våre i arbeid med å forsvare infrastrukturen vår kontinuerlig. I dag blir nesten alle de innledende sikkerhetsvarslene våre først vurdert av KI før mennesker kobles inn. Dette reduserer rutinearbeidet for forsvarerne, gir raskere respons og lar mennesker bruke tiden der ferdighetene deres gir størst verdi – på vurderingsevne, skjønn og praktisk ekspertise. Vi kobler i stadig større grad disse deteksjonene til avgrensede, automatiserte tiltak, samtidig som mennesker beholder ansvaret for beslutningene med størst konsekvenser. Målet er å sikre at vi kan oppdage og håndtere sikkerhetsproblemer med maskinhastighet.
For det tredje bruker vi banebrytende intelligens til kontinuerlig å kartlegge, undersøke og avdekke mulige angrepsveier. Ved å avdekke sårbarheter, feilkonfigurasjoner, identiteter med for vide tilganger og utilsiktede tillitsgrenser kan vi raskt identifisere og tette hullene før angripere utnytter dem. Dermed kan vi kontinuerlig vurdere, overvåke og teste sikkerhetsinvariantene våre – sikkerhetsegenskapene vi antar er oppfylt – på tvers av produkter, infrastruktur og systemer.
Til slutt investerer vi tungt i grunnleggende sikkerhet i stor skala. Vi fortsetter å investere i sikker arkitektur og sikkerhetskontroller, følger strategier som lagvis forsvar og minste privilegium og utformer systemer slik at flere uavhengige kontroller må svikte samtidig før noe katastrofalt kan skje. Klassiske sikkerhetskontroller som nettverksisolering, herding av arbeidslaster, overvåking samt trygg oppdatering og utrulling blir viktigere enn noen gang i en fremtid med KI.
Tiden er knapp, og forsvarerne må gjennomføre tiltakene nedenfor i turbofart. Nedenfor nevner jeg teknologi fra OpenAI, men økosystemet har også mange konkurrenter som bør vurderes. Det avgjørende er ikke det konkrete verktøyet, men å gi forsvarerne tilgang til effektiv KI nå.
- Sørg for forankring og oppslutning i organisasjonen. Sikkerhetsrisikoen endrer seg raskt. Sørg for at sikkerhets- og utviklingsorganisasjonene får støtten, samarbeidet og ressursene de trenger for å håndtere risikoen raskt. Gjennomfør scenarioøvelser med teamene for å simulere hvordan slike angrep kan arte seg i organisasjonen, og hvordan dere vil reagere.
- Gi sikkerhetsteamet en agent. Begynn å bruke Codex, sikkerhetspluginen for Codex(åpnes i et nytt vindu) eller et annet effektivt verktøy for agentisk koding og sikkerhet. Gi agenten godkjent tilgang til kodebasene, infrastrukturkonfigurasjonene og den tekniske dokumentasjonen sikkerhetsteamet skal vurdere. Ikke vent på en utrulling i hele virksomheten før dere begynner med systemene som har høyest prioritet.
- Utstyr agenten med sikkerhetsekspertise. Begynn med fellesskapsstøttede ferdigheter(åpnes i et nytt vindu). De omfatter arbeidsflyter for statisk analyse, sikkerhetsrettet kodegjennomgang, analyse av sårbarhetsvarianter, risiko i programvarens forsyningskjede og andre sikkerhetsprosesser. Bygg deretter egne ferdigheter tilpasset organisasjonens arkitektur, sikkerhetsstandarder, trusselmodeller og prosedyrer.
- Gjennomfør sikkerhetsvurderinger av egne systemer umiddelbart. Prioriter først vurderinger av internetteksponerte tjenester, autentiseringsflyter, infrastruktur som kode, utrullingsprosesser og systemer som behandler sensitiv informasjon. Utvid skanningen etter hvert som teamet blir tryggere.
- Arbeid dere gjennom etterslepet av kjente sårbarheter. Gi agenten funn fra kodeskannere, avhengighetsvarsler, sikkerhetssaker, rapporter fra dusørprogrammer for feil og tidligere vurderinger. Be den vurdere og prioritere funnene, skille reelt utnyttbare problemer fra støy, finne beslektede sårbarheter andre steder i kodebasen og anbefale hva som bør rettes først.
- Bygg sikkerhetsgjennomgang direkte inn i utviklingsprosessen. Bruk agenter til å gjennomgå kodeendringer før de slås sammen, og kjør sikkerhetskontroller i CI. Se etter autentiseringsfeil, omgåelse av tilgangskontroll, eksponerte påloggingsopplysninger, usikre avhengigheter, utrygge standardinnstillinger, endringer som gir bredere tilgang til produksjonssystemer, og andre sårbarheter.
- La agenten bidra til å rette det den finner. Ved validerte problemer ber dere den lage og verifisere en målrettet rettelse, skrive en regresjonstest og bekrefte at sårbarheten ikke lenger kan gjenskapes. Behold menneskelig gjennomgang av endringer med store konsekvenser, men fjern unødvendige forsinkelser mellom det å avdekke et reelt problem og å legge frem en trygg rettelse for en utvikler.
- Automatiser vurderingen av deteksjoner trinnvis. Ikke begynn med å forsøke å bygge et autonomt sikkerhetsoperasjonssenter. Begynn med å kjøre en skrivebeskyttet sikkerhetsskanning av ett lager, eller la en agent gjennomgå tidligere løste varsler med lesetilgang til de eksisterende loggene deres. La agenten oppsummere bevisene og anbefale en avgjørelse, mens et menneske tar alle beslutningene. Etter hvert som tilliten øker, kan dere gå videre til rådgivende skanning av pull-forespørsler, deretter vurdering av aktive varsler og til slutt automatisk lukking av snevert definerte falske positiver.
- Ha kapasitet til KI-assistert kriminalteknisk etterforskning klar før dere trenger den. Søk om Trusted Access for Cyber(åpnes i et nytt vindu), og få teamet godkjent for bruk av GPT‑Daybreak‑Blue til autorisert forsvarsarbeid, blant annet hendelseshåndtering, utvikling av deteksjoner og analyse av skadevare. Øv på å bruke denne kapasiteten til å analysere logger, telemetri og sikkerhetsvarsler.
- Eksperimenter, arranger hackeuker og forbedre løsningene raskt. Vi må utvikle alle slags nye verktøy, endre hvordan vi arbeider, og heve kompetansen til alle for den verdenen vi er på vei inn i. Oppmuntre medarbeiderne til å eksperimentere, sett av en hackeuke til å utvikle ny kapasitet, og fokuser på raske forbedringsrunder som automatiserer små deler av problemet. Raske, trinnvise fremskritt gir stadig større forsvarsgevinster, og dere kan gradvis øke graden av autonomi etter hvert som teamet blir tryggere.
Ingen virksomhet kan gjøre dette alene. Vi ber KI-laboratorier, sikkerhetsleverandører, virksomheter og vedlikeholdere om å dele validerte funn, rettelser og praktiske prosedyrer, slik at én organisasjons oppdagelse kan styrke hele økosystemet.
Forsvarerens mulighetsvindu er åpent nå. I månedene fremover må alle organisasjoner begynne å automatisere sikkerhetsarbeidet betydelig for å forbli sikre. Samtidig må sikkerhetsmiljøet raskt utvikle verktøyene, praksisene og prosedyrene som gjør forsvarerne sterkere raskere enn angriperne etter hvert som KI fortsetter å utvikle seg. Dette vil kreve en enorm innsats uten sidestykke, men hvis vi står sammen, kan vi skape en sikrere verden enn vi tidligere kunne forestille oss.
