L'incident d'OpenAI-Hugging Face(s'obre en una finestra nova) va marcar un abans i un després en la ciberseguretat, perquè va permetre entreveure com evolucionaran durant els pròxims mesos les capacitats d'un actor d'amenaces típic. Durant les últimes setmanes he parlat amb moltes organitzacions, i hi ha una idea clara: saben que han de millorar radicalment les seves pràctiques de ciberseguretat a una velocitat sense precedents. En aquest article explicaré què fem per defensar OpenAI, quines mesures concretes poden adoptar avui altres organitzacions i per què cal actuar ara.
Els models d'IA desenvolupats arreu del món poden automatitzar cada cop més parts dels ciberatacs reals, cosa que facilita trobar i explotar mancances de seguretat persistents, des d'errors ocults en les profunditats de programari escrit per persones fins a permisos oblidats. Aquestes mateixes capacitats d'IA ofereixen als defensors noves maneres de trobar i corregir aquestes febleses, però han d'actuar ara. Si les empreses actuen amb decisió —millorant els fonaments i potenciant els equips amb IA, entre altres mesures—, podem fer que internet sigui més segur que mai.
En l'incident d'OpenAI-Hugging Face, un col·lectiu agentiu va poder penetrar de manera autònoma no només en la infraestructura de recerca d'OpenAI, sinó també en la infraestructura de producció d'una altra empresa, encadenant vulnerabilitats que anaven des de fallades de seguretat desconegudes fins aleshores fins a l'ús de credencials de comptes d'usuari filtrades a internet. Cada cop és més evident que el deute tècnic(s'obre en una finestra nova) de totes les empreses amaga deficiències importants, i els defensors han de trobar-les i corregir-les abans que ho facin els atacants.
Per donar avantatge als defensors respecte dels atacants, a principis d'any vam començar a oferir les nostres capacitats cibernètiques només a defensors de confiança. Des d'aleshores, diverses empreses han publicat models de pes obert amb capacitats cibernètiques que només van uns mesos per darrere dels models d'avantguarda. Sembla que el més recent d'aquests models es publicarà(s'obre en una finestra nova) a finals d'agost i que probablement accelerarà de manera considerable l'evolució del panorama d'amenaces.
Tot i que aviat els atacants que utilitzen IA podran trobar deficiències persistents en molts sistemes existents, la IA també facilitarà molt que els defensors trobin, prioritzin i corregeixin aquestes mateixes deficiències. La seguretat continua sent un joc del gat i la rata, però la IA pot canviar-ne l'economia(s'obre en una finestra nova) de maneres que donin un avantatge fonamental als defensors. Per exemple, comencem a entrenar els nostres models específicament perquè escriguin codi amb un nivell de seguretat sobrehumà. Els nostres models també són increïblement bons en demostracions matemàtiques, que es poden aplicar per verificar formalment la seguretat del programari d'una manera que ha resultat inabastable per als humans.
Després de l'incident d'OpenAI-Hugging Face, vaig demanar a ChatGPT Work, amb el GPT‑5.6 Sol disponible públicament, que avalués la seguretat de gregbrockman.com(s'obre en una finestra nova). És un lloc web estàtic senzill, allotjat a AWS i amb Cloudflare com a porta d'entrada, així que vaig pensar que no tindria gaire superfície vulnerable.
En uns 15 minuts, va descobrir 13 problemes, molts dels quals probablement no es poden explotar per si sols, però podia imaginar que s'encadenessin amb altres vulnerabilitats i tinguessin un efecte considerable. No havia configurat els registres DNS per impedir que els atacants falsifiquessin correus en nom meu; el lloc web utilitzava una versió no segura de jQuery, i Cloudflare reenviava les sol·licituds a AWS mitjançant HTTP sense xifrar.
Aleshores vaig demanar a ChatGPT Work que corregís aquests problemes, i ho va fer en el transcurs d'una hora. Va obrir el tauler de control de Cloudflare al meu navegador i va anar prement nombrosos botons per configurar correctament el DNS, TLS i opcions de seguretat avançades; va eliminar completament jQuery del lloc; va migrar el lloc d'AWS a Cloudflare Pages, i va iniciar un desplegament gradual de DMARC(s'obre en una finestra nova).
I això només era el meu lloc web personal. Aquest és un petit exemple de com els nostres models actuals poden actuar com a guardians cibernètics: detecten tota una llarga cua de problemes que una persona no tindria temps o coneixements per abordar —moltes de les opcions que va corregir em resultaven vagament familiars, però no hauria sabut configurar-les correctament de memòria— i després els corregeixen amb un pla de desplegament ben ajustat.
L'incident de Hugging Face va demostrar que havíem subestimat les capacitats cibernètiques reals dels nostres models d'IA. Per això estem reforçant els nostres requisits de seguretat, cosa que fa encara més urgent la recerca que ja duem a terme en aquest àmbit i la nostra feina interna de seguretat.
Vull explicar una mica com abordem la protecció d'OpenAI en aquest moment, amb l'esperança que sigui útil per a altres organitzacions. Per protegir OpenAI, invertim considerablement tant en controls fonamentals —fer bé les coses bàsiques— com a potenciar les nostres defenses mitjançant intel·ligència d'avantguarda. Aquesta estratègia té quatre pilars principals.
En primer lloc, fem servir els nostres models per ajudar a protegir el nostre codi. Codex, inclòs el nostre connector de seguretat, valida els canvis en el codi, identifica vulnerabilitats i ajuda els desenvolupadors a corregir problemes abans del desplegament. No volem limitar-nos a generar més troballes de seguretat que requereixin validació humana; l'objectiu és detectar vulnerabilitats reals abans que arribin a producció i escurçar el camí entre descobrir un problema i desplegar-ne una correcció segura. A mesura que continuem entrenant els nostres models perquè produeixin codi cada cop més segur, aspirem a eliminar determinades classes de vulnerabilitats del programari en el codi nou.
En segon lloc, posem els nostres models a treballar per defensar contínuament la nostra infraestructura. Avui, gairebé totes les nostres alertes de seguretat inicials són triades per sistemes intel·ligents abans que hi intervinguin persones. Això redueix la feina feixuga dels defensors, millora el temps de resposta i permet que les persones es dediquin a allò en què les seves habilitats aporten més valor: el discerniment, el criteri i l'experiència aplicada. Cada cop connectem més aquestes deteccions amb respostes automatitzades i acotades, alhora que mantenim les persones com a responsables de les decisions de més impacte. L'objectiu és garantir que puguem detectar els problemes de seguretat i respondre-hi a la velocitat de les màquines.
En tercer lloc, fem servir intel·ligència d'avantguarda per enumerar, sondejar i identificar contínuament possibles vies d'atac. Identificar vulnerabilitats, configuracions errònies, identitats amb privilegis excessius o límits de confiança involuntaris ens permet detectar i tancar ràpidament aquestes bretxes abans que els atacants les puguin aprofitar. Això ens permet avaluar, supervisar i provar contínuament les nostres invariants de seguretat —les propietats de seguretat que considerem certes— en tots els nostres productes, infraestructures i sistemes.
Finalment, invertim molt en els fonaments a gran escala. Continuem invertint en arquitectures i controls segurs, adoptem estratègies com la defensa en profunditat i el privilegi mínim, i dissenyem sistemes en què calgui que diversos controls independents fallin alhora perquè es produeixi una catàstrofe. Els controls de seguretat clàssics, com l'aïllament de xarxes, el reforç de les càrregues de treball, la supervisió i l'aplicació i el desplegament segurs de pedaços, seran més importants que mai en el futur de la IA.
El temps és essencial, i els defensors hauran d'aplicar els passos següents a tota velocitat. A continuació esmentaré tecnologia d'OpenAI, però a l'ecosistema també hi ha molts competidors que convé avaluar. L'eina concreta importa menys que posar ara mateix una IA potent en mans dels vostres defensors.
- Aconseguiu el compromís i el suport de l'organització. El risc de seguretat canvia ràpidament: assegureu-vos que els equips de seguretat i enginyeria disposin del suport, la col·laboració i els recursos necessaris per abordar aquests riscos amb rapidesa. Feu simulacions teòriques amb els equips per recrear com es podrien manifestar aquests atacs a les vostres organitzacions i com hi respondríeu.
- Doneu un agent al vostre equip de seguretat. Comenceu a utilitzar Codex, el connector Codex Security(s'obre en una finestra nova) o una altra eina potent de programació agentiva i seguretat. Doneu-li accés autoritzat als repositoris de codi, les configuracions d'infraestructura i la documentació tècnica que l'equip de seguretat hagi d'avaluar. No espereu un desplegament a tota l'empresa per començar pels sistemes de màxima prioritat.
- Doteu aquest agent de coneixements especialitzats en seguretat. Partiu de les habilitats(s'obre en una finestra nova) mantingudes per la comunitat, que inclouen fluxos de treball per a anàlisi estàtica, revisió de codi centrada en la seguretat, anàlisi de variants de vulnerabilitats, riscos de la cadena de subministrament de programari i altres tasques de seguretat. Després, creeu habilitats pròpies adaptades a l'arquitectura, els estàndards de seguretat, els models d'amenaces i els procediments de la vostra organització.
- Avalueu immediatament la seguretat dels vostres sistemes. Prioritzeu primer l'avaluació dels serveis exposats a internet, els fluxos d'autenticació, la infraestructura com a codi, les canalitzacions de desplegament i els sistemes que gestionen informació sensible. Amplieu les anàlisis a mesura que l'equip guanyi confiança.
- Resoleu els casos pendents de vulnerabilitats. Faciliteu al vostre agent les troballes dels analitzadors de codi, les alertes de dependències, els tiquets de seguretat, els informes de recompenses per errors i les avaluacions anteriors. Demaneu-li que triï aquestes troballes, separi els problemes explotables del soroll, identifiqui vulnerabilitats relacionades en altres parts del repositori de codi i recomani què cal corregir primer.
- Integreu la revisió de seguretat directament en el procés de desenvolupament. Utilitzeu agents per revisar els canvis en el codi abans de combinar-los i executeu comprovacions de seguretat en la integració contínua. Busqueu errors d'autenticació, vies per eludir els controls d'accés, credencials exposades, dependències no segures, valors predeterminats insegurs, canvis que ampliïn l'accés als sistemes de producció i altres vulnerabilitats.
- Feu que l'agent ajudi a corregir allò que trobi. Per als problemes validats, demaneu-li que generi i verifiqui un pedaç específic, escrigui una prova de regressió i confirmi que la vulnerabilitat ja no es pot reproduir. Manteniu la revisió humana per als canvis importants, però elimineu el retard innecessari entre identificar un problema real i posar una correcció segura a disposició d'un enginyer.
- Automatitzeu gradualment el triatge de les deteccions. No comenceu intentant crear un centre autònom d'operacions de seguretat. Comenceu executant una anàlisi de seguretat de només lectura en un repositori, o feu que un agent revisi alertes ja resoltes amb accés de només lectura als registres existents. Deixeu que resumeixi les proves i recomani una resolució, mentre una persona pren totes les decisions. A mesura que augmenti la confiança, passeu a analitzar les sol·licituds d'extracció amb caràcter consultiu, després al triatge d'alertes en directe i, finalment, al tancament automàtic de falsos positius definits de manera molt concreta.
- Prepareu una capacitat d'investigació forense assistida per IA abans de necessitar-la. Sol·liciteu Trusted Access for Cyber(s'obre en una finestra nova) i aconseguiu l'autorització perquè l'equip utilitzi GPT‑Daybreak‑Blue en tasques defensives autoritzades, com ara la resposta a incidents, l'enginyeria de detecció i l'anàlisi de programari maliciós. Practiqueu l'ús d'aquesta capacitat per analitzar registres, telemetria i alertes de seguretat.
- Experimenteu, organitzeu setmanes de hackató i itereu ràpidament. Haurem de crear tota mena d'eines noves, modificar la nostra manera de treballar i millorar les capacitats de tothom per al món cap al qual avancem. Animeu el personal a fer experiments, programeu una setmana de hackató per crear noves capacitats i centreu-vos a iterar ràpidament sobre cicles que automatitzin petites parts del problema. El progrés incremental ràpid genera resultats defensius acumulatius, i podeu ampliar gradualment l'autonomia a mesura que l'equip guanyi confiança.
Cap empresa pot fer-ho tota sola. Demanem als laboratoris d'IA, els proveïdors de seguretat, les empreses i els responsables de manteniment que comparteixin troballes validades, correccions i procediments pràctics perquè el descobriment d'una organització pugui reforçar tot l'ecosistema.
La finestra dels defensors és oberta ara. Durant els pròxims mesos, totes les organitzacions hauran de començar a automatitzar de manera considerable el seu programa de seguretat per continuar protegides, i la comunitat de seguretat s'haurà de mobilitzar urgentment per definir les eines, les pràctiques i els procediments que augmentin el poder dels defensors més ràpidament que el dels atacants a mesura que la IA continuï avançant. Això exigirà un esforç enorme i sense precedents, però, si ens mobilitzem plegats, podem assolir un món més segur del que fins ara podíem imaginar.
