A medida que los sistemas de IA asumen tareas más complejas—especialmente aquellas que involucran la web y aplicaciones conectadas—, las exigencias de seguridad cambian.
Un riesgo emergente se ha vuelto especialmente importante: inyección de prompts. En estos ataques, un tercero intenta engañar a un sistema de IA conversacional para que siga instrucciones maliciosas o revele información sensible.
Hoy presentamos dos nuevas protecciones diseñadas para ayudar a usuarios y organizaciones a mitigar los ataques de inyección de prompts, con una visibilidad más clara del riesgo y controles más sólidos:
- Modo de bloqueo en ChatGPT, una configuración de seguridad avanzada y opcional para usuarios de alto riesgo
- Etiquetas de «Riesgo elevado» para ciertas capacidades que pueden introducir un riesgo adicional en ChatGPT, ChatGPT Atlas y Codex
Estas adiciones se basan en nuestras protecciones existentes a través de los niveles de modelo, producto y sistema. Esto incluye el aislamiento, protecciones contra la exfiltración de datos basada en URL, la supervisión y la aplicación, y controles empresariales como el acceso basado en roles y los registros de auditoría.
El Modo de Bloqueo es una configuración de seguridad avanzada opcional diseñada para un pequeño grupo de usuarios altamente conscientes de la seguridad, como ejecutivos o equipos de seguridad en organizaciones prominentes, que requieren una protección aumentada contra amenazas avanzadas. No es necesario para la mayoría de los usuarios. El Modo de Bloqueo limita estrictamente cómo ChatGPT puede interactuar con sistemas externos para reducir el riesgo de exfiltración de datos basada en la inyección de prompts.
El Modo de Bloqueo desactiva de manera determinista ciertas herramientas y capacidades en ChatGPT que un adversario podría intentar explotar para extraer datos sensibles de las conversaciones de los usuarios o de las aplicaciones conectadas mediante ataques como las inyecciones de prompts.
Por ejemplo, la navegación web en el modo de bloqueo se limita al contenido en caché, de modo que no se realizan solicitudes de red en tiempo real fuera de la red controlada por OpenAI. Esta restricción está diseñada para evitar que se exfiltre información sensible a un atacante a través de la navegación. Algunas características se desactivan completamente cuando no podemos proporcionar garantías deterministas sólidas de seguridad de los datos.
El Modo de Bloqueo es un nuevo ajuste determinista que ayuda a proteger los datos de ser compartidos inadvertidamente con terceros al restringir de manera estricta cómo puede interactuar ChatGPT con ciertos sistemas externos.
Los planes empresariales de ChatGPT ya proporcionan seguridad de datos de nivel empresarial. El modo de bloqueo se basa en esas protecciones y está disponible para ChatGPT Enterprise, ChatGPT Edu, ChatGPT para el sector salud y ChatGPT para profesores. Los administradores pueden habilitarlo en Área de trabajo(se abre en una ventana nueva) creando un nuevo rol(se abre en una ventana nueva). Cuando está activado, el Modo de Bloqueo impone restricciones adicionales sobre la configuración de administrador existente.
Obtén más información sobre el Modo de Bloqueo en nuestro Centro de ayuda(se abre en una ventana nueva).
Dado que algunos flujos de trabajo críticos dependen de aplicaciones, los administradores de tu área de trabajo mantienen controles más detallados. Pueden elegir exactamente qué aplicaciones—y qué acciones específicas dentro de esas aplicaciones—están disponibles para los usuarios en el Modo de Bloqueo. Además, y de forma independiente del Modo de Bloqueo, la Plataforma de Registros de API para el Cumplimiento Normativo(se abre en una ventana nueva) proporciona una visibilidad detallada sobre el uso de la aplicación, los datos compartidos y las fuentes conectadas, ayudando a los administradores a mantener la supervisión.
Planeamos que el Modo de Bloqueo esté disponible para los consumidores en los próximos meses.
Los productos de IA pueden ser más útiles cuando se conectan a tus aplicaciones y a la web, y hemos invertido mucho en mantener la seguridad de los datos conectados. Al mismo tiempo, algunas capacidades relacionadas con la red introducen nuevos riesgos que aún no están completamente abordados por las medidas de seguridad y protección de la industria. Algunos usuarios pueden sentirse cómodos asumiendo estos riesgos, y creemos que es importante que tengan la capacidad de decidir si y cómo utilizarlos, especialmente al manejar sus datos privados.
Nuestro enfoque ha sido ofrecer orientación dentro del producto para características que puedan suponer un riesgo adicional. Para que esto sea más claro y coherente, estamos estandarizando la forma en que etiquetamos una breve lista de capacidades existentes. Estas funciones ahora utilizarán una etiqueta coherente de «Riesgo Elevado» en ChatGPT, ChatGPT Atlas y Codex, para que los usuarios reciban la misma orientación dondequiera que las encuentren.
Por ejemplo, en Codex, nuestro asistente de programación, los desarrolladores pueden otorgar a Codex acceso a la red para que pueda realizar acciones en la web, como consultar documentación. La pantalla de configuración pertinente incluye la etiqueta «Riesgo Elevado», junto con una explicación clara de qué cambia, qué riesgos pueden introducirse y cuándo es apropiado ese acceso.
Una captura de pantalla de la pantalla de configuración de Codex donde los usuarios pueden configurar el acceso de red que tiene Codex.
Seguimos invirtiendo en fortalecer nuestras salvaguardas de seguridad, especialmente para riesgos nuevos, emergentes o en crecimiento. A medida que reforcemos las salvaguardas de estas funciones, eliminaremos la etiqueta «Riesgo Elevado» una vez que determinemos que los avances en seguridad han mitigado suficientemente esos riesgos para el uso general. También continuaremos actualizando qué características llevan esta etiqueta con el tiempo para comunicar mejor el riesgo a los usuarios.
Autor
Sigue leyendo
