Forsvarerens handlingsrom er i ferd med å stenges
Forsvarerne har et forsprang, men vi må handle
OpenAIs tilnærming
Defense Factory
Oppbygging av et kontinuerlig forsvar
Tradisjonelle cyberforsvarssystemer alene er ikke lenger tilstrekkelige
Agenter kan nå gjennomføre langvarige cyberoperasjoner ved å misbruke modeller med åpen vekt som blir stadig mer tilgjengelige. Som svar på dette er vi i ferd med å bygge opp en Defense Factory hos OpenAI. En automatisert forsvarsoperasjon for å finne, validere og utbedre sårbarheter fortløpende.
Team hos Cloudflare(åpnes i et nytt vindu), Ramp(åpnes i et nytt vindu) og Google(åpnes i et nytt vindu) utforsker også denne tilnærmingen. Her deler vi arkitekturen og prosessene bak vår egen Defense Factory, sammen med det vi har lært av å bygge den.
De nyeste banebrytende modellene finner sårbarheter allerede i produksjon
I en nylig sikkerhetssprint brukte vi de nyeste cybermodellene våre til å finne, validere og fikse sårbarheter i hele OpenAI. Vi mobiliserte over 250 personer og gikk inn i arbeidet med samme hast som ved hendelseshåndtering.
Agenter kan nå koble sammen utnyttelser
Agentene lagrer det de lærer fra økt til økt for å utvikle en detaljert forståelse av et system og se sammenhenger mellom svakheter. Komplekse angrep som tidligere var umulige å gjennomføre, kan nå utføres autonomt.
Agentnettverk øker omfanget av angrepene
Agenter som kjører kontinuerlig i flåter, kan utnytte sårbarheter i større skala og lenge før en sikkerhetsrespons der mennesker er involvert, klarer å oppdage og tette de samme sårbarhetene.
Forsvarerne har et forsprang, men vi må handle
Forsvarere har to strukturelle fordeler. De kan gi agenter direkte tilgang til koden deres og bruke banebrytende modeller for å få et forsprang på angripere som misbruker allment tilgjengelige modeller med åpen vekt.
Cyberegenskap
Tid
- Banebrytende
- Forsvarernes kapasitet
- Bredt utbredt
Innfør kontinuerlig forsvar
Forsvarerens handlingsrom
Dette forspranget utgjør forsvarerens handlingsrom.
Defense Factory
En Defense Factory er en kontinuerlig operasjon bygget rundt agenter for å finne og utbedre sårbarheter. Den hjelper forsvarere med å holde tritt når angripere misbruker stadig mer kapable modeller med åpen vekt for å få fart på operasjonene sine. Agenter bruker eksisterende sikkerhets- og utviklingsverktøy, gjenbrukbare ferdigheter definerer arbeidsflytene de følger, og i isolerte, reproduserbare miljøer kan de undersøke funn og klargjøre testede feilrettinger for gjennomgang. Teamene automatiserer gradvis mer av prosessen, noe som reduserer antall overleveringer og forkorter tiden fra oppdagelse til utbedring.
Tradisjonell sikkerhet
Dine eksisterende verktøy, som helst bør være tilgjengelige for agenter via MCP-er, CLI-er eller API-er.
GitHub · GitLab
Snyk · Semgrep · Tenable
Jira · Linear · ServiceNow
Defense Factory
Bindeleddet mellom dine eksisterende verktøy, som gjør det mulig for agentene å proaktivt oppdage og utbedre sårbarheter i en kontinuerlig arbeidsflyt.
Isolerte, reproduserbare miljøer · Ona, Cloudflare, Modal
- Codex Desktop
- Codex CLI
- Codex Security CLI
Sikkerhetsskanning · Triage-funn · Feilrettingsfunn
Egendefinerte ferdigheter
Astra · Sol · Terra · Luna
Daybreak Blue · Daybreak Red
Arkitekturen for kontinuerlig forsvar
En Defense Factory må kunne reprodusere sårbarheter og verifisere at rettelser fungerer. Det krever reproduserbare og isolerte utviklingsmiljøer med riktig kode, avhengigheter og tjenester, støttet av orkestrering og tilgangskontroller som lar agenter arbeide trygt i stor skala.
Kontrollplan
Skalerer kjøringsmiljøer og sentraliserer policyer og hemmeligheter.
Dataplan
Isolerte, midlertidige miljøer for å validere funn.
Utviklersystemer
Gi agenter verktøyene de trenger for å fungere.
Tilstand og arbeidsflyter
Hold oversikt over det du beskytter, hva agenter finner, og hva som må utbedres.
Sikkerhet og revisjon
Overvåk agenter som kjører KI-modeller for cybersikkerhet, for å bidra til sikker kjøring og sikker tilgang til sensitiv kontekst og data.
Hvordan Defense Factory supplerer tradisjonell sikkerhet
Skroll horisontalt for å se hva Factory legger til.
| Work | Vanlig flaskehals | Dette får du med Defense Factory |
|---|---|---|
| Oppdagelse | Funn venter på undersøkelse. | Funn utløser automatiske undersøkelser. |
| Prioritering | Dubletter gjør prioriteringene uklare. | Duplikater slått sammen. Utnyttbarhet testet. |
| Eierskap | Funn venter på en ansvarlig. | Alle funn har en verifisert eier. |
| Utbedring | Ingeniørene gjentar undersøkelser. | Testede patcher kommer frem til granskere med dokumentasjon. |
| Verifisering | Sammenslåtte rettelser blir ikke verifisert. | Utrullede rettelser testes på nytt uavhengig. |
Slik vokste en sikkerhetssprint på tvers av hele OpenAI til en Defense Factory
Etter hvert som nye modellfunksjoner gjør det mulig for oss å undersøke systemene våre grundigere, økte vi tempoet og omfanget av sikkerhetsarbeidet vårt. Vi erklærte en intern rød kode og samlet Security, Applied og Research i en koordinert sprint på tvers av hundrevis av systemer.
- personer mobilisert
- 250+
- tjenesteområder dekkes
- 100+
«Vi styrker forsvaret vårt med samme hastverk som ved en hendelse. Dette er en innsats der alle må bidra, og den prioriteres foran alt annet, med unntak av virksomhetskritisk drift. Vi tar med oss det samme alvoret og tempoet videre etter sprinten, mens vi fortsetter å teste og styrke forsvaret vårt.»
Sprinten var startpunktet for vår Defense Factory. Vi arbeider for å etablere en kontinuerlig forsvarssløyfe for å kartlegge systemene våre, finne og validere sårbarheter, tildele ansvarlige, verifisere rettelser og forbedre systemet for hver kjøring.
Forsvarssløyfen
- 01
Inventar
Kartlegg, lenk, oppdater
- 02
Oppdagelse
Skanning, analyse, import
- 03
Dynamisk validering
Reprodusere, teste, bekrefte
- 04
Tildeling av eierskap
Identifisere, videreformidle, følge opp
- 05
Verifisert utbedring
Oppdatering, distribusjon, verifisering
Lær, tilpass deg og øk autonomien
SECURITY.md representerer en felles systemkontekst, ikke et nytt trinn i sløyfen. Inventarisering, oppdagelse, dynamisk validering, tildeling av eierskap og verifisert utbedring leser hver for seg den eksisterende konteksten og bidrar med det de finner ut. Hver gjennomgang gjenbruker systemkartet, eierskapet, etterforskningsbevisene og de kontrollene som allerede er gjennomført, slik at senere gjennomganger kan konsentrere seg om endringer og uavklarte risikoer i stedet for å starte på nytt. Medarbeiderne gjennomgår endringer som har betydelige konsekvenser og kontrollerer uavhengig av hverandre at utbedringene er implementert. Pulsen illustrerer et kontekstbidrag, ikke målt fremdrift eller besparelser.
Dette lærte vi av å utvikle forsvarssløyfen
Forsvarssykluser krever riktige utviklingsmiljøene
Reproduserbare utviklingsmiljøer utgjør grunnlaget for en autonom forsvarssløyfe. Agenter trenger isolerte miljøer som kan settes opp automatisk i stor skala, med de tjenestene, avhengighetene og konfigurasjonene som trengs for å gjenskape sårbarheter og teste løsninger. Disse miljøene må være midlertidige, opprettes på nytt for hvert kjøringsløp og slettes sammen med tilstanden sin etterpå, slik at ett kjøringsløp ikke forurenser det neste.
Autonomi må bygges opp gradvis ut fra manuelle trinn
Vi begynte med små partier og manuell gjennomgang, og fjernet deretter gjentatte manuelle trinn etter hvert som vi fikk tillit til resultatene. Vi utvidet omfanget av arbeidet agentene kunne utføre, uavhengig av hva de hadde lov til å endre. Etter hvert som agentene tok på seg en større del av rutinearbeidet, begynte folk i større grad å sette grenser, håndtere unntak og kontrollere resultatene.
Systemene ble registrert mens feilrettingene ble satt i gang
Vi begynte med å kartlegge systemene våre. Codex bidro til å opprette oversikten, mens vi samlet eksisterende funn i en felles backlog. I starten var eierskapsoppslag fortsatt avhengig av at folk fant riktig team. Vi omgjorde service- og eierinformasjon til gjenbrukbare data, slik at agentene kunne merke og videresende grupper av saker, mens ansatte tok seg av tvetydige tilfeller. Dette førte til at andelen godkjente eieroppdrag økte til 90,6 %. Parallellt tok teamene tak i presserende problemer allerede før oversikten og eiermodellen var ferdig. Vi løste 53 presserende eller høyt prioriterte problemer i systemene våre allerede den første dagen.
- Akseptert eierskap etter ruting
- 90,6 %
Utvikling og videreutvikling av triagering av agenter
Codex vurderte grupper av funn opp mot en alvorlighetsskala og tok hensyn til tjenesten og eierens situasjon. De første alvorlighetsgradsklassifiseringene var for vidtrekkende, og klassifiseringene varierte avhengig av hvilke instruksjoner agentene fikk. Vi versjonerte vurderingsskjemaet og promptene, la til gjentakbare evalueringer, og dokumenterte vurderernes forventede prioriteringer og resonnering. Menneskelige stikkprøver bidro til å spisse prioriteringene og oppdage mangelfulle eller dupliserte rapporter. Vi satte også rutingen på pause inntil dedupliseringen ble bedre, med en utvikling fra en liten, gjennomgått batch til gjentatte kjøringer, hvor 37 % av funnene ble identifisert som dupliserte problemer.
- av funn som er identifisert som duplikater
- 37 %
Gjorde validering under kjøring repeterbar
Å opprette isolerte miljøer der agenter kan kjøre kode, vurdere alvorlighetsgraden og filtrere bort falske positiver, var et avgjørende skritt for å skille signal fra støy. Men konfigurasjonen av miljøet ble en begrensning for valideringen, så vi begynte med utvalgte tjenester som vi kunne kjøre gjentatte ganger. Vi gikk gjennom manglende avhengigheter og konfigurasjonsforskjeller, slik at vi kunne skille mellom et funn som ikke lot seg gjenskape og en test som ikke kunne kjøres som den skulle. Med disse forbedringene ble 19,5 % av funnene reprodusert under kjøring, og andelen falske positive etter dynamisk validering var 0,81 %.
- Andel falske positive etter dynamisk validering
- 0,81 %
Innførte automatisering av patcher og utviklet gjenbrukbare arbeidsflyter
Feilrettingen var 100 % basert på Codex, der agentene genererte oppdateringer mens vi forbedret rutingen og prioriteringene. Vi ga agentene reproduserbare utviklingsmiljøer for å gjenskape feil og teste foreslåtte oppdateringer mot tjenester i drift, og dermed kontrollere både sikkerhetsrettelsen og dens innvirkning på normal funksjon. Vi har samlet erfaringer i SECURITY.md-filer og gjenbrukbare ferdigheter, og utvidet agentbasert skanning og prioritering sammen med automatiserte kontroller av utbedringer. Oppfølgingskontroller avdekket et avvik mellom sammenslåtte oppdateringer og feilrettinger som var distribuert i hele flåten. Etter en liten testperiode utvidet vi verifiseringen og la ut kommentarer om bekreftede feilrettinger, samtidig som vi holdt den automatiske gjenåpningen deaktivert mens vi fant ut hvordan vi skulle håndtere forsinkelser i utrullingen.
- andelen tilbakeførte feilrettinger
- 0,53 %
Teknisk blogginnlegg kommer snart
OpenAIs tilnærming til ferdigheter og sikkerhetsarbeidsflyter
Inventar
Agenter sammenstiller skyregistreringer, distribusjonskonfigurasjon og data om tjenesteeierskap i en ressursoversikt. De knytter eksponerte endepunkter til kode og eiere, og bevarer dokumentasjon og mangler slik at kartleggingen starter med et tydeligere omfang.
Skroll horisontalt for å utforske diagrammet.
Sky- og ressursoppføringer, kilde- og utrullingskonfigurasjon samt tjeneste- og eierdata inngår samlet i det reproduserbare utviklingsmiljøet. Codex bruker en foreslått funksjon for å bygge og oppdatere ressursoversikten og den eksisterende referansen for tjenestetilordning til å opprette en ressursoversikt. Den samme ressursoversikten er den første inndataen til Discovery. Skriveoperasjoner for ressursoversikten og planlegging av oppdateringer må konfigureres av den kallende arbeidsflyten.
- Tredjepartsplattformer
- Artefakter
- OpenAI-produkter
- Ferdigheter / plugins
- Miljøer
Oppdagelse
Agentene bruker en oversikt over ressurser, kildekode, en trusselmodell og sikkerhetsretningslinjer som veiledning for sikkerhetsskanninger og for å kartlegge angrepsveier. Resultatene slås sammen med eksisterende sårbarhetsrapporter til en omfattende samling av potensielle sårbarheter.
Skroll horisontalt for å utforske diagrammet.
Ressursoversikt fra Inventory workflow, Source control, Threat model og Security policy kommer samlet inn i det reproduserbare utviklingsmiljøet for oppdagelse med Codex, Codex Security Scans og analyse av angrepsveier. Sårbarhetsrapporter omgår lokal oppdagelse og blir direkte lagt til i Kandidatsårbarheter. Læringsferdigheter er ikke en fast rekkefølge.
- Tredjepartsplattformer
- Artefakter
- OpenAI-produkter
- Ferdigheter / plugins
- Miljøer
Dynamisk validering
Når agentene har foreløpige funn og en kjørbar applikasjon, gjennomgår de koden, vurderer eksponeringen på nytt og forsøker å reprodusere mistenkte sårbarheter i et kontrollert miljø. De lagrer dokumentasjon på reproduksjon av bekreftede sårbarheter og sjekker om det finnes duplikater før de oppretter godkjente saker.
Skroll horisontalt for å utforske diagrammet.
Potensielle sårbarheter og applikasjonskonfigurasjon inngår begge i det reproduserbare utviklingsmiljøet. Codex benytter seg av triagering og validering av funn og deduplisering & opprettelse av saker. Triage og ny vurdering av eksponering undersøker kildekoden, ikke oppførselen under kjøring. En validert sårbarhet krever bevis på at den kan gjenskapes; statisk sporing alene oppfyller ikke dette kravet. Resultater som er tilbakevist eller som ikke gir entydige konklusjoner, forblir en del av funnet. Innlegg i Tracker må godkjennes.
- Tredjepartsplattformer
- Artefakter
- OpenAI-produkter
- Ferdigheter / plugins
- Miljøer
Tildeling av eierskap
Agentene bruker bedriftsspesifikke ferdigheter til å knytte validerte funn til bedriftens kontekst, eierregister og feilrapporteringssystemer, og oppretter dermed tildelte saker med navngitte ansvarlige og dokumentasjon.
Skroll horisontalt for å utforske diagrammet.
Bekreftede sårbarheter, direktemeldingstjenester, eierregister og feilrapporteringssystem inngår alle i det reproduserbare utviklingsmiljøet. Codex bruker de tilpassede funksjonene Tjeneste- og eiertilordning og Problemmarkering for å opprette et tildelt problem. Tildeling er ikke det samme som bekreftelse.
- Tredjepartsplattformer
- Artefakter
- OpenAI-produkter
- Ferdigheter / plugins
- Miljøer
Verifisert utbedring
Agentene utarbeider og kontrollerer selvstendig en løsning, gjennomgår oppfølgingen av utbedringsarbeidet og foreslår tiltak for å styrke sikkerheten. Etter manuell gjennomgang og godkjent implementering gjennomføres det en ny test av den foreslåtte tilpassede integrasjonen for å verifisere den implementerte løsningen, og det registreres dokumentasjon på verifiseringen.
Skroll horisontalt for å utforske diagrammet.
Tildelte problemer, bevis på sårbarheter og instruksjoner for arkivet inngår alle i det reproduserbare utviklingsmiljøet. Codex kan benytte funksjonene Feilrettingsfunn, Bekreft retting, Gjennomgå oppfølging av utbedringen og Sikkerhetsstyrking. Disse funksjonene utgjør ikke en obligatorisk, fast rekkefølge. Bekreft retting kombinerer verifisering av oppdateringer med foreslåtte tilpassede produksjonskontroller etter manuell gjennomgang og godkjent distribusjon. Gjennomførte og bekreftede utbedringstiltak inkluderer dokumentasjon på gjennomføring og verifisering; mislykkede eller uklare kontroller fører til at utbedringstiltaket forblir åpent. Godkjente endringer og endringer i feilmeldinger er ikke bevis på at feilen er rettet.
- Tredjepartsplattformer
- Artefakter
- OpenAI-produkter
- Ferdigheter / plugins
- Miljøer
Gjør kontinuerlig forsvar til en prioritet
Informer teamet ditt, start med én arbeidsflyt, og bygg gradvis videre mot en Defense Factory. Vi kommer fortsatt til å publisere det vi lærer hos OpenAI, sammen med praktiske arbeidsflyter, verktøy og veiledning.
Informer teamet ditt
Bruk orienteringspresentasjonen til å argumentere for en Defense Factory, sette retning og bli enige om en første arbeidsflyt.
Søk om tilgang til cybermodeller
Søk om Daybreak for tilgang til OpenAIs avanserte cybermodeller for autorisert defensivt arbeid.
Kjør én arbeidsflyt
Bruk ferdighetene i Codex Security-pluginen til å finne sårbarheter, validere funn og forberede rettelser.
Er du allerede OpenAI-kunde? Snakk med kontoteamet ditt om arkitekturen din.
Videre lesning
Hendelsen hos Hugging Face
Black Hat-foredraget om rekonstruksjonen av Hugging Face-hendelsen.
- Agentinntrenging: den tekniske tidslinjenHugging Faces detaljerte redegjørelse for innbruddet, inkludert angrepsveien, etterforskningen og de defensive tiltakene som ble iverksatt.(åpnes i et nytt vindu)
- Sikkerhetshendelse knyttet til evaluering av Hugging Face-modellerOpenAI sin redegjørelse for hendelsen knyttet til modellvurderingen, selskapets samarbeid med Hugging Face og endringene i sikkerhetstiltakene for vurderingen.(åpnes i et nytt vindu)
- Forsvarerens handlingsromHvorfor forsvarerne har et begrenset handlingsrom, og hvordan organisasjoner kan bruke KI til å styrke cyberforsvaret.(åpnes i et nytt vindu)
- Utvidelse av Daybreak etter hvert som handlingsrommet for cyberforsvar blir stadig mindreSlik utvider Daybreak tilgangen til avanserte cybermodeller og hjelper sikkerhetsansvarlige med å ta dem i bruk med passende sikkerhetstiltak.(åpnes i et nytt vindu)
- Codex Security-programtilleggVeiledning til hvordan du installerer Codex Security-plugin-modulen, skanner et arkiv og går gjennom sikkerhetsfunn.(åpnes i et nytt vindu)