Empoderamiento de los defensores a través de nuestro Programa de subvenciones de ciberseguridad

Compartiremos más sobre el trabajo que hemos patrocinado en el último año a través del Programa de subvenciones de ciberseguridad⁠. 

En 2023 lanzamos el Programa de subvenciones de ciberseguridad con una audaz visión: equipar a los encargados de la ciberdefensa con los modelos de IA más avanzados y fomentar la investigación innovadora en el punto de conexión entre ciberseguridad e inteligencia artificial. La entusiasta respuesta de la comunidad superó nuestras expectativas (hemos recibido más de 600 solicitudes), lo que subraya la necesidad crítica y el impacto de un discurso significativo y diálogo de investigación entre OpenAI y la comunidad de la ciberseguridad.

Desde su creación, el programa ha respaldado a una diversa gama de proyectos. Nos complace destacar algunos de ellos. 

Wagner Lab de UC Berkeley

El laboratorio de investigación de seguridad del profesor David Wagner, en UC Berkeley, está creando técnicas pioneras para defenderse contra ataques de inyección de consultas en los grandes modelos de lenguaje (LLM). El grupo trabaja con OpenAI para mejorar la confiabilidad de estos modelos y protegerlos contra las amenazas de ciberseguridad.

Coguard

Albert Heinle, cofundador y CTO de Coguard⁠(se abre en una nueva ventana), usa IA para disminuir las malas configuraciones de software, una causa habitual de incidentes de seguridad. La configuración de software es compleja y se vuelve aún más difícil cuando el software se conecta a redes y clústeres. Las soluciones de software actuales utilizan políticas anticuadas basadas en reglas. La IA permite automatizar la detección de malas configuraciones y mantenerlas actualizadas.

Mithril Security

Mithril ha desarrollado una prueba de concepto para fortalecer la infraestructura de inferencia de los LLM, incluyendo herramientas de código abierto para implementar los modelos de IA en GPU con enclaves seguros basados en Módulos de plataforma seguros (TPM). El objetivo de este proyecto es demostrar que los datos se pueden enviar a los proveedores de IA sin que haya exposición, ni siquiera ante los administradores. Su trabajo está disponible para el público en GitHub⁠(se abre en una nueva ventana) y como documento técnico que describe en detalle su arquitectura⁠(se abre en una nueva ventana).

Gabriel Bernadett-Shapiro

Gabriel Bernadett-Shapiro, un becario individual, creó el taller AI OSINT y AI Security Starter Kit, que ofrecen capacitación técnica sobre los elementos básicos de los LLM y herramientas gratuitas para estudiantes, periodistas, investigadores y profesionales de seguridad de la información. Específicamente, Gabriel ha dado énfasis a la capacitación de afiliados para investigadores de crímenes de atrocidad internacionales y estudiantes de inteligencia en Johns Hopkins University para garantizar que tengan las mejores herramientas para aprovechar la IA en entornos críticos y difíciles.

Breuer Lab en Dartmouth

Las redes neuronales son vulnerables a ataques donde los adversarios reconstruyen datos de entrenamiento privado al interactuar con el modelo. Para defenderse de esos ataques generalmente se necesitan compensaciones costosas en términos de exactitud del modelo y tiempo de entrenamiento. El laboratorio del profesor Adam Breuer⁠(se abre en una nueva ventana) en Dartmouth está desarrollando nuevas técnicas de defensa que evitan estos ataques sin afectar la exactitud ni la eficacia.

Security Lab Boston University (SeclaBU)

Identificación y razonamiento respecto a las vulnerabilidades del código es un área de investigación importante y activa. El candidato a Ph.D Saad Ullah, el profesor Gianluca Stringhini de SeclaBU⁠(se abre en una nueva ventana) y la profesora Ayse Coskun de Peac Lab⁠(se abre en una nueva ventana) en Boston University trabajan para mejorar la capacidad de los LLM para detectar y corregir las vulnerabilidades en el código. Esta investigación podría permitir que los encargados de la ciberdefensa detecten y eviten los exploits de código antes de que se usen maliciosamente.

CY-PHY Security Lab de University of Santa Cruz (UCSC)

El grupo de investigación del profesor Álvaro Cárdenas⁠(se abre en una nueva ventana), de UCSC, está explorando cómo podemos usar modelos de base para diseñar agentes que respondan de manera autónoma a los intrusos de la red computacional, conocidos como agentes de ciberdefensa autónomos. El proyecto pretende comparar las ventajas y desventajas de los modelos de base respecto a sus contrapartes entrenados usando aprendizaje de refuerzo (RL) y, por ende, cómo pueden trabajar en conjunto para mejorar la seguridad de la red y la clasificación de la información de amenazas.

MIT Computer Science Artificial Intelligence Laboratory (MIT CSAIL)

Stephen Moskal, Erik Hemberg y Una-May O’Reilly de MIT Computer Science Artificial Intelligence Laboratory⁠(se abre en una nueva ventana) exploran cómo automatizar el proceso de decisión y realizar respuestas procesables usando enfoques de ingeniería de instrucciones en un bucle de planificar, actuar e informar para las pruebas de equipo rojo.  Además, el grupo explora las capacidades de Agente LLM en desafíos de tipo Capture-the-Flag (CTF), ejercicios orientados a descubrir vulnerabilidades en un entorno controlado.

ChatGPT se ha convertido en una de las herramientas más populares y utilizadas por los profesionales de ciberseguridad. Entre los usos más comunes para la ciberdefensa está la traducción y replanteamiento de jerga técnica o eventos de registro a un lenguaje más simple, escribir código para analizar artefactos durante las investigaciones, crear analizadores de registros y resumir el estado de un incidente dentro de un tiempo limitado.

Para ampliar estos beneficios, hemos otorgado acceso gratuito a ChatGPT Plus a muchos miembros de la comunidad de ciberseguridad, lo que consideramos una oportunidad clave para mejorar la adopción de la IA en la ciberdefensa.

Continuaremos ofreciendo cuentas gratis de ChatGPT Plus y ampliando esta iniciativa de proporcionar ChatGPT Team and Enterprise. Nuestra expansión comienza con nuestros socios de Research and Education Network for Uganda (RENU)⁠(se abre en una nueva ventana).

Si compartes nuestra visión de un futuro seguro e innovador impulsado por la IA, te invitamos a enviar tu propuesta y a unirte a nosotros para mejorar las tecnologías de ciberseguridad defensiva.

Envía tu propuesta aquí⁠