Empoderamos a los defensores de la ciberseguridad con nuestro programa de subvenciones
Por una investigación innovadora y la integración de la IA en el ámbito de la ciberseguridad.
En este artículo, ampliamos la información sobre los proyectos que patrocinamos el año pasado en el marco de nuestro programa de subvenciones para ciberseguridad.
En 2023, lanzamos el programa de subvenciones para ciberseguridad con un doble objetivo muy ambicioso: dotar a los especialistas en ciberseguridad de los modelos de IA más avanzados y propiciar una investigación pionera que abarque la ciberseguridad y la inteligencia artificial. El entusiasmo con el que se recibió esta iniciativa superó todas nuestras previsiones. Recibimos más de seiscientas solicitudes, hecho que subraya la necesidad imperante de tender puentes y coordinar proyectos de investigación entre OpenAI y la comunidad de profesionales de la ciberseguridad.
Desde el principio, el programa ha dado cabida a multitud de proyectos distintos. Nos complace compartir aquí algunos de ellos.
El laboratorio Wagner de la UC Berkeley
El laboratorio de investigación en materia de seguridad del profesor David Wagner, ubicado en la Universidad de California, Berkeley, está liderando técnicas pioneras con el objetivo de proteger los grandes modelos del lenguaje (LLM) de los ataques de inyección de prompts. El grupo de trabajo usa OpenAI para reforzar la fiabilidad de estos modelos y protegerlos contra las ciberamenazas.
Coguard
Albert Heinle, cofundador y director de Tecnología de Coguard(se abre en una ventana nueva), usa la inteligencia artificial para minimizar los errores de configuración del software, un problema habitual que puede originar incidentes de seguridad. Configurar software es una tarea compleja que se agrava cuando se conecta a redes y clústeres. Las soluciones de software actuales funcionan con políticas basadas en reglas obsoletas. La inteligencia artificial permite detectar errores de configuración de forma automatizada y mantener el software actualizado.
Mithril Security
Mithril ha desarrollado una prueba de concepto para blindar la infraestructura de inferencia de los LLM. Para ello, ha incorporado herramientas de código abierto para implementar los modelos de IA en las GPU con enclaves seguros basados en módulos de plataforma segura (TPM). La finalidad del proyecto es demostrar que pueden enviarse datos a los proveedores de IA sin necesidad de exponerlos ni siquiera a los administradores. Su obra está disponible para consulta pública en GitHub(se abre en una ventana nueva) y a modo de informe con información detallada sobre la arquitectura empleada(se abre en una ventana nueva).
Gabriel Bernadett-Shapiro
Gabriel Bernadett-Shapiro recibió una subvención a título individual para diseñar el taller AI OSINT y el kit de introducción a la seguridad de la IA, que ofrece formación técnica sobre conceptos básicos de los LLM y herramientas gratuitas para estudiantes, periodistas, investigadores y expertos en seguridad de la información. En concreto, Gabriel aboga por los programas de formación oficial para investigadores de crímenes atroces internacionales y estudiantes de grados de inteligencia de la Universidad Johns Hopkins para garantizar que disponen de las mejores herramientas para aprovechar la IA en ambientes críticos y complejos.
El laboratorio de Breuer de la Universidad de Dartmouth
Las redes neuronales son vulnerables a un tipo de ataque en el que los atacantes interactúan con el modelo para reconstruir los datos privados usados durante el entrenamiento. La defensa contra este tipo de ataques suele conllevar un gran sacrificio que repercute tanto en la precisión del modelo como en la duración del entrenamiento. El laboratorio que el profesor Adam Breuer(se abre en una ventana nueva) ha desplegado en la Universidad de Darmouth está desarrollando técnicas de defensa innovadoras para prevenir estos ataques sin renunciar a la precisión ni a la eficiencia.
El laboratorio de seguridad de la Universidad de Boston (SeclaBU)
Identificar y analizar las vulnerabilidades del código es un área de estudio fundamental. El doctorando Saad Ullah, el profesor Gianluca Stringhini de SeclaBU(se abre en una ventana nueva) y la profesora Ayse Coskun del Peac Lab(se abre en una ventana nueva) de la Universidad de Boston se han aliado para mejorar la capacidad de los LLM para detectar y subsanar vulnerabilidades en el código. Esta investigación podría ayudar a los expertos en ciberseguridad a identificar y prevenir vulnerabilidades en el código antes de que se usen con fines maliciosos.
El laboratorio de seguridad CY-PHY de la Universidad de Santa Cruz (UCSC)
El grupo de investigación liderado por el profesor Álvaro Cárdenas(se abre en una ventana nueva) de la UCSC está investigando cómo usar los modelos fundacionales para diseñar agentes que respondan de forma autónoma a los intrusos que se cuelan en las redes informáticas, lo que se conoce como «agentes autónomos de ciberseguridad». El objetivo de este proyecto es comparar las ventajas y las desventajas de los modelos fundacionales con respecto a sus homólogos entrenados mediante el aprendizaje por refuerzo (RL) y, posteriormente, cómo combinarlos para reforzar la seguridad de la red y el triaje de la información sobre amenazas.
El Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (MIT CSAIL)
Stephen Moskal, Erik Hemberg y Una-May O’Reilly, del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT(se abre en una ventana nueva), están estudiando un sistema para automatizar el proceso de decisión y actuación aplicando la ingeniería de prompts en el bucle de «planificación, actuación y notificación» del equipo rojo. Asimismo, el grupo explora el potencial de los agentes de LLM en retos Capture-the-Flag (CTF), es decir, ejercicios cuyo objetivo es detectar vulnerabilidades en un entorno controlado.
ChatGPT se ha revelado como una de las herramientas más populares y utilizadas por los profesionales de la ciberseguridad. Entre los usos más habituales en este ámbito, destaca traducir y reformular la jerga técnica o los eventos de registro usando un lenguaje más sencillo, escribir código para analizar artefactos durante las investigaciones, crear analizadores de registros y resumir el estado de una incidencia con estrictas limitaciones de tiempo.
A fin de democratizar sus beneficios, ofrecemos acceso gratuito a ChatGPT Plus a buena parte de la comunidad de expertos en ciberseguridad, puesto que lo consideramos una oportunidad única para aumentar la adopción de la IA en este sector.
Seguiremos ofreciendo cuentas gratuitas a ChatGPT Plus, y extendemos esta iniciativa a ChatGPT Team y Enterprise. Los primeros en beneficiarse de esta ampliación son nuestros colaboradores de la Research and Education Network for Uganda (RENU)(se abre en una ventana nueva).
Si compartes nuestra visión de un futuro más seguro e innovador, impulsado por la inteligencia artificial, te animamos a hacernos llegar tus propuestas y a incorporarte a nuestro equipo con el fin de mejorar las tecnologías defensivas de ciberseguridad.
Envíanos tu candidatura aquí