A medida que los sistemas de IA asumen tareas más complejas, especialmente aquellas que involucran la web y aplicaciones conectadas, cambian las exigencias de seguridad.
Se ha vuelto especialmente importante un riesgo emergente: la inyección de prompts. En estos ataques, un tercero intenta engañar a un sistema de IA conversacional para que siga instrucciones maliciosas o revele información confidencial.
Hoy presentamos dos nuevas protecciones diseñadas para ayudar a usuarios y organizaciones a mitigar los ataques de inyección de prompts, con una visibilidad más clara del riesgo y controles más sólidos:
- Modo de Bloqueo en ChatGPT, una configuración de seguridad avanzada y opcional para usuarios de alto riesgo
- Etiquetas de “Riesgo Elevado” para ciertas capacidades que pueden introducir un riesgo adicional en ChatGPT, ChatGPT Atlas y Codex
Estas adiciones se fundamentan en nuestras protecciones existentes a nivel de modelo, producto y sistema. Esto incluye el aislamiento, protecciones contra la exfiltración de datos basada en URL, monitoreo y aplicación, y controles empresariales como el acceso basado en roles y los registros de auditoría.
El Modo de Bloqueo es una configuración de seguridad avanzada opcional diseñada para un pequeño grupo de usuarios altamente conscientes de la seguridad, como ejecutivos o equipos de seguridad de organizaciones prominentes, que requieren una mayor protección contra amenazas avanzadas. No es necesario para la mayoría de los usuarios. El Modo de Bloqueo limita severamente la interacción de ChatGPT con sistemas externos para mitigar el riesgo de exfiltración de datos basada en inyecciones de prompts.
El Modo de Bloqueo desactiva de manera determinista ciertas herramientas y capacidades en ChatGPT que un adversario podría intentar explotar para extraer datos sensibles de las conversaciones de los usuarios o de las aplicaciones conectadas mediante ataques como las inyecciones de prompts.
Por ejemplo, la navegación web en el Modo de Bloqueo se limita al contenido almacenado en caché, de modo que no se realizan solicitudes de red en tiempo real desde la red controlada por OpenAI. Esta restricción está diseñada para impedir que datos sensibles sean exfiltrados a un atacante a través de la navegación. Algunas funciones se desactivan por completo cuando no podemos ofrecer garantías deterministas sólidas de seguridad de los datos.
El Modo de Bloqueo es una nueva configuración determinista que ayuda a proteger los datos de ser compartidos inadvertidamente con terceros al restringir estrictamente cómo ChatGPT puede interactuar con ciertos sistemas externos.
Los planes corporativos de ChatGPT ya ofrecen seguridad de datos a nivel empresarial. El Modo de Bloqueo se basa en esas protecciones y está disponible para ChatGPT Enterprise, ChatGPT Edu, ChatGPT para el sector salud y ChatGPT para docentes. Los administradores pueden habilitarlo en Configuración del Espacio de Trabajo(se abre en una nueva ventana) creando un nuevo rol(se abre en una nueva ventana). Cuando se activa, el Modo de Bloqueo impone restricciones adicionales sobre la configuración de administrador existente.
Obtén más información sobre el Modo de Bloqueo en nuestro Help Center(se abre en una nueva ventana).
Debido a que algunos flujos de trabajo críticos dependen de aplicaciones, los administradores de espacios de trabajo mantienen controles más detallados. Pueden elegir exactamente qué aplicaciones—y qué acciones específicas dentro de esas aplicaciones—están disponibles para los usuarios en el Modo de Bloqueo. Además, y de manera independiente al Modo de Bloqueo, la Plataforma de registros de API para el cumplimiento normativo(se abre en una nueva ventana) ofrece una visibilidad detallada sobre el uso de la aplicación, los datos compartidos y las fuentes conectadas, ayudando a los administradores a mantener el control.
Planeamos poner el Modo de Bloqueo a disposición de los consumidores en los próximos meses.
Los productos de IA pueden ser más útiles cuando se conectan a tus aplicaciones y a la web, y hemos invertido mucho en mantener los datos conectados seguros. Al mismo tiempo, algunas capacidades relacionadas con la red introducen nuevos riesgos que aún no están completamente abordados por las medidas de seguridad y protección de la industria. Algunos usuarios pueden sentirse cómodos asumiendo estos riesgos, y creemos que es importante que tengan la capacidad de decidir si los usan y cómo, especialmente al trabajar con sus datos personales.
Nuestro enfoque ha sido ofrecer orientación dentro del producto para características que puedan presentar un riesgo adicional. Para que esto sea más claro y coherente, estamos estandarizando la forma en que etiquetamos una lista breve de capacidades existentes. Estas funciones ahora usarán una etiqueta coherente de “Riesgo Elevado” en ChatGPT, ChatGPT Atlas y Codex, para que los usuarios reciban la misma orientación dondequiera que las encuentren.
Por ejemplo, en Codex, nuestro asistente de programación, los desarrolladores pueden darle a Codex acceso a la red para que pueda realizar acciones en la web, como consultar documentación. La pantalla de configuración relevante incluye la etiqueta “Riesgo Elevado”, junto con una explicación clara de qué cambios ocurren, qué riesgos pueden introducirse y cuándo es apropiado ese acceso.
Una captura de pantalla de la pantalla de configuración de Codex donde los usuarios pueden configurar el acceso de red que tiene Codex.
Continuamos invirtiendo en el fortalecimiento de nuestras medidas de seguridad y protección, especialmente ante riesgos nuevos, emergentes o en crecimiento. A medida que reforzamos las protecciones de estas funciones, eliminaremos la etiqueta “Riesgo elevado” una vez que determinemos que los avances en seguridad han mitigado suficientemente esos riesgos para el uso general. También continuaremos actualizando qué características llevan esta etiqueta con el tiempo para comunicar mejor el riesgo a los usuarios.
Autor
Sigue leyendo
