Empoderem els defensors amb el nostre Programa de Subvencions en Ciberseguretat

Compartim més informació sobre la feina que hem patrocinat durant l’últim any en el marc del nostre Programa de Subvencions en Ciberseguretat⁠.

El 2023, vam llançar el Programa de Subvencions en Ciberseguretat amb una visió ambiciosa: dotar els ciberdefensors amb els models d’IA més avançats i impulsar una recerca innovadora a la cruïlla entre la ciberseguretat i la intel·ligència artificial. La resposta entusiasta de la comunitat ha superat les nostres expectatives: hem rebut més de 600 sol·licituds, fet que subratlla la necessitat crítica i l’impacte d’un diàleg significatiu i de recerca entre OpenAI i la comunitat de la ciberseguretat.

Des dels seus inicis, el programa ha donat suport a una àmplia varietat de projectes. Ens fa il·lusió destacar-ne alguns.

Wagner Lab de UC Berkeley

El laboratori de recerca en seguretat del professor David Wagner a UC Berkeley està desenvolupant tècniques pioneres destinades a defensar-se contra els atacs d’injecció d’indicacions en grans models de llenguatge (LLM). El grup treballa amb OpenAI per millorar la fiabilitat d’aquests models i protegir-los contra amenaces de ciberseguretat.

Coguard

Albert Heinle, cofundador i CTO de Coguard⁠(s'obre en una finestra nova), utilitza la IA per reduir les males configuracions de programari, una causa habitual d’incidents de seguretat. La configuració del programari és complexa, i això es complica encara més quan es connecta programari a xarxes i clústers. Les solucions de programari actuals depenen de polítiques basades en regles obsoletes. La IA pot ajudar a automatitzar la detecció de males configuracions i mantenir-les actualitzades.

Mithril Security

Mithril ha desenvolupat una prova de concepte per reforçar la infraestructura d’inferència per a LLM, incloses eines de codi obert per desplegar models d’IA en GPU amb enclavaments segurs basats en Trusted Platform Modules (TPM). Aquest projecte pretén demostrar que les dades es poden enviar a proveïdors d’IA sense cap exposició de dades, ni tan sols als administradors. El seu treball està disponible públicament a GitHub⁠(s'obre en una finestra nova) i com a llibre blanc que detalla la seva arquitectura⁠(s'obre en una finestra nova).

Gabriel Bernadett-Shapiro

Beneficiari individual de la subvenció, Gabriel Bernadett-Shapiro va crear el taller AI OSINT i l’AI Security Starter Kit, que ofereixen formació tècnica sobre els conceptes bàsics dels LLM i eines gratuïtes per a estudiants, periodistes, investigadors i professionals de la seguretat de la informació. En particular, Gabriel ha posat èmfasi en la formació afiliada per a investigadors internacionals de crims atroços i estudiants d’estudis d’intel·ligència de la Universitat Johns Hopkins per ajudar a garantir que tinguin les millors eines per aprofitar la IA tant en entorns crítics com exigents.

Breuer Lab a Dartmouth

Les xarxes neuronals són vulnerables a atacs en què els adversaris reconstrueixen dades d’entrenament privades interactuant amb el model. Defensar-se contra aquests atacs acostuma a requerir compromisos costosos en termes de precisió del model i temps d’entrenament. El laboratori del professor Adam Breuer⁠(s'obre en una finestra nova) a Dartmouth està desenvolupant noves tècniques de defensa que prevenen aquests atacs sense comprometre la precisió ni l’eficiència.

Security Lab Boston University (SeclaBU)

Identificar i raonar sobre vulnerabilitats de codi és una àrea de recerca important i activa. El doctorand Saad Ullah, el professor Gianluca Stringhini de SeclaBU⁠(s'obre en una finestra nova) i la professora Ayse Coskun de Peac Lab⁠(s'obre en una finestra nova) a la Universitat de Boston treballen per millorar la capacitat dels LLM de detectar i corregir vulnerabilitats en el codi. Aquesta recerca podria permetre als ciberdefensors detectar i prevenir explotacions de codi abans que s’utilitzin de manera maliciosa.

CY-PHY Security Lab de la Universitat de Santa Cruz (UCSC)

El grup de recerca del professor Alvaro Cardenas⁠(s'obre en una finestra nova) de la UCSC està explorant com podem utilitzar models fundacionals per dissenyar agents que responguin autònomament als intrusos de xarxes informàtiques, també coneguts com a agents autònoms de ciberdefensa. El projecte pretén comparar els avantatges i els desavantatges dels models fundacionals amb les seves contraparts entrenades mitjançant aprenentatge per reforç (RL) i, posteriorment, com poden treballar conjuntament per millorar la seguretat de la xarxa i el triatge de la informació sobre amenaces.

MIT Computer Science Artificial Intelligence Laboratory (MIT CSAIL)

Stephen Moskal, Erik Hemberg i Una-May O’Reilly del MIT Computer Science Artificial Intelligence Laboratory⁠(s'obre en una finestra nova) estan explorant com automatitzar el procés de decisió i dur a terme respostes accionables utilitzant enfocaments d’enginyeria d'indicacions en un bucle de planificar-actuar-informar per al red-teaming. A més, el grup està explorant les capacitats dels agents LLM en desafiaments de Capture-the-Flag (CTF), exercicis destinats a descobrir vulnerabilitats en un entorn controlat.

ChatGPT s’ha convertit en una de les eines més populars i utilitzades pels professionals de la ciberseguretat. Entre els usos més habituals dels ciberdefensors hi ha traduir i reformular argot tècnic o esdeveniments de registre en un llenguatge més senzill, escriure codi per analitzar artefactes durant investigacions, crear analitzadors de registres i resumir l’estat d’un incident dins de restriccions de temps estrictes.

Per amplificar-ne els beneficis, hem concedit accés gratuït a ChatGPT Plus a moltes persones de la comunitat de la ciberseguretat, ja que ho considerem una oportunitat clau per impulsar l’adopció de la IA en la ciberdefensa.

Continuarem oferint comptes gratuïts de ChatGPT Plus i estenem aquesta iniciativa per proporcionar ChatGPT Team i Enterprise. La nostra expansió comença amb els nostres socis de la Research and Education Network for Uganda (RENU)⁠(s'obre en una finestra nova).

Si compartiu la nostra visió d’un futur segur i innovador impulsat per la IA, us convidem a presentar les vostres propostes i a unir-vos al nostre objectiu de millorar les tecnologies defensives de ciberseguretat.

Envieu la vostra proposta aquí⁠