En junio, durante el entrenamiento y la evaluación internos, nuestros modelos accedieron a sitios web del gobierno australiano de formas no autorizadas. También deberíamos haber gestionado mejor nuestra respuesta. Lo lamentamos y estamos trabajando para hacerlo mejor en el futuro.
En esta publicación, exponemos lo que sabemos, lo que hemos cambiado y lo que haremos para recuperar la confianza de la población australiana. Se trata de un nuevo tipo de incidente cibernético que representa un desafío global emergente. Una de las formas en que buscamos asumir la responsabilidad por esta situación es colaborar de manera decidida con Australia para ayudar a desarrollar enfoques prácticos que permitan a los desarrolladores de IA y los gobiernos identificar, divulgar y responder a conductas cibernéticas de la IA, ya sean maliciosas o involuntarias.
Tras el incidente de Hugging Face en julio, empezamos a revisar las actividades previas de entrenamiento y evaluación para identificar otras organizaciones afectadas. A mediados de agosto, esa revisión identificó actividad que afectaba a los sitios web del gobierno australiano que se detallan a continuación.
Esto es lo que sabemos a partir de la evidencia:
Services Australia: un modelo de OpenAI descubrió una forma de obtener acceso no público al servicio, ejecutó comandos, recuperó archivos internos, credenciales y estadísticas agregadas, y escribió archivos. Sin embargo, no accedió a registros individuales de pacientes o usuarios del servicio. Más adelante abordamos este incidente con mayor detalle.
Oficina de Estadísticas e Investigación sobre Delincuencia de Nueva Gales del Sur (BOCSAR): un modelo de OpenAI accedió a la herramienta pública de mapas de delincuencia de BOCSAR para investigar estadísticas públicas sobre delitos (más adelante explicamos por qué los modelos realizan diversas tareas de búsqueda de información). El modelo realizó solicitudes a la API y de metadatos del sitio web a través de la herramienta pública de BOCSAR, que proporciona credenciales para las solicitudes a la API desde el navegador. El sistema de BOCSAR devolvió la configuración de la aplicación, tareas y registros operativos, y metadatos del sitio web. No se accedió a antecedentes penales de personas.
Departamento de Salud de Victoria: agentes de OpenAI descubrieron una clave de acceso expuesta que les permitió consultar el sistema de informes de la Agencia de Información de Salud de Victoria y recuperar la configuración de los informes y estadísticas agregadas de encuestas. No está claro hasta qué punto esta información debería haber sido accesible, ya que eso depende de las políticas de acceso de VAHI. No se accedió a historias clínicas individuales ni a respuestas de encuestas que permitieran identificar a las personas.
Instituto Australiano de Salud y Bienestar: agentes de OpenAI recuperaron estadísticas agregadas mediante servicios de navegación y descarga de terceros, incluso del sitio web de AIHW, y consultaron directamente los datos de los gráficos. Otros intentos de eludir los controles de acceso no tuvieron éxito. El material descargado parece haber sido de acceso público. No se comprometió la seguridad del sistema. No se accedió a historias clínicas individuales.
Iniciamos investigaciones sobre estas actividades en cuanto tuvimos conocimiento de ellas a mediados de agosto. Notificamos a Services Australia y al Departamento de Salud de Victoria el 10 de septiembre, y a la Oficina de Estadísticas e Investigación sobre Delincuencia de Nueva Gales del Sur el 18 de septiembre. La actividad relacionada con el Instituto Australiano de Salud y Bienestar no alcanzó nuestros umbrales de divulgación porque la forma de acceso parecía corresponder a un acceso público. Aun así, notificamos al instituto el 24 de septiembre para compartir nuestros hallazgos y ofrecer una sesión informativa.
Nuestro objetivo era proporcionar a los organismos afectados un informe detallado una vez concluida la investigación. Sin embargo, deberíamos haber compartido los hallazgos preliminares antes y mantenido informados a los organismos australianos a medida que surgían nuevos datos.
Desde entonces, hemos colaborado estrechamente con organismos del gobierno australiano para compartir lo que hemos descubierto hasta la fecha. Si identificamos otros organismos afectados, les notificaremos de forma rápida y directa con la información disponible y les proporcionaremos actualizaciones a medida que surjan nuevos datos.
Durante el entrenamiento y la evaluación internos de junio, estábamos ejecutando un modelo experimental de OpenAI, de uso exclusivamente interno, que no estaba destinado al lanzamiento público ni contaba con todas las medidas de protección de nuestros productos disponibles para el público. Durante ese entrenamiento y evaluación, el modelo accedió al Servicio de Informes Estadísticos de Medicare de Services Australia. Hasta la fecha, nuestra revisión no ha encontrado evidencia de que se haya accedido a la historia clínica de ninguna persona.
Cuando entrenamos y evaluamos internamente nuestros modelos, les asignamos tareas extraídas de una amplia colección de preguntas de investigación sobre muchos temas, que reflejan los tipos de preguntas detalladas que podrían hacer los usuarios. Esto entrena al modelo para encontrar, interpretar y analizar información disponible públicamente, de modo que pueda ser más útil para las personas. Nuestros modelos deben responder estas preguntas utilizando estadísticas de acceso público.
En este caso, una de las tareas asignadas al modelo era investigar el gasto público por persona en medicamentos para afecciones de la piel en comunidades del estado de Victoria. El modelo tuvo dificultades para obtener esa información y realizó acciones que no habíamos autorizado. Mientras buscaba esta información en el Servicio de Informes Estadísticos de Medicare de Services Australia, descubrió una forma de obtener acceso no público al servicio. Luego utilizó ese acceso para revisar información técnica del sistema y código fuente relacionados con el servicio, siempre con el objetivo de encontrar la información que buscaba originalmente. No era nuestra intención que ocurriera esta actividad, y ni el acceso al servicio ni las acciones posteriores deberían haber sucedido.
Tras el incidente de Hugging Face, reforzamos las medidas de protección de nuestra investigación, con restricciones de red adicionales y un monitoreo más amplio. Implementamos controles para bloquear el acceso a internet en tiempo real en estos entornos de investigación y ofrecer acceso a la web mediante contenido almacenado en caché. Como capa adicional de seguridad, nuestros sistemas de monitoreo actuales habrían detectado esta actividad y alertado a nuestro equipo para que realizara una revisión humana urgente. Por ejemplo, cuando un modelo obtuvo acceso a internet en tiempo real durante una ejecución de entrenamiento reciente(se abre en una nueva ventana), nuestro sistema de monitoreo detectó la actividad y alertó a un revisor humano, y detuvimos la ejecución. Seguimos probando estas protecciones y corrigiendo sus deficiencias. El incidente de Hugging Face sigue siendo el más grave que hemos observado.
Las personas quieren saber que la IA se desarrolla de forma segura, y eso empieza por las acciones que llevamos a cabo las propias empresas como la nuestra. Hace poco informamos(se abre en una nueva ventana) que pausamos el entrenamiento y las evaluaciones que implican el uso de herramientas en nuestros modelos más capaces. Solo reanudaremos su entrenamiento cuando tengamos la certeza de contar con medidas de protección adicionales, en las que ya estamos trabajando.
A medida que los sistemas de IA se vuelven más capaces en general, también vemos que queda cada vez menos tiempo para ayudar a las organizaciones a encontrar y corregir debilidades. Esto requiere una acción colectiva junto con los defensores de la ciberseguridad de todo el mundo.
Nos sumamos a organizaciones de los sectores de tecnología, ciberseguridad e infraestructura crítica en un llamado a la acción colectiva en ciberdefensa. Ese llamado empieza por nuestras propias responsabilidades, entre ellas reforzar las medidas de protección, divulgar información de manera oportuna y brindar apoyo práctico a las organizaciones afectadas. También pide invertir en los equipos que protegen los servicios esenciales, para que puedan encontrar vulnerabilidades, verificar las correcciones y compartir lo que funciona.
En Australia, estamos destinando recursos y conocimientos especializados para apoyar a los organismos afectados y ayudar a los defensores de la ciberseguridad a poner en práctica estos principios, lo que incluye:
Apoyo específico para los organismos afectados. Destinaremos los recursos necesarios para ayudar a los organismos afectados a comprender lo sucedido y evaluar el impacto. Esto incluye compartir los hallazgos técnicos pertinentes y coordinar la colaboración con nuestros equipos de respuesta mediante acuerdos adecuados de intercambio de información.
Financiamiento y apoyo para reforzar las ciberdefensas. Apoyaremos a los gobiernos y al sector empresarial de Australia mediante créditos de nuestro fondo Daybreak para defensores de primera línea, de 1000 millones de dólares, y asistencia técnica para reforzar las ciberdefensas de la infraestructura crítica y otros entornos sensibles. A partir de nuestra colaboración con gobiernos y operadores de infraestructura crítica, este trabajo ayudará a las organizaciones a comprender, detectar y responder mejor a los riesgos que plantean los agentes de IA cada vez más capaces.
Un grupo de trabajo australiano. Estableceremos un grupo de trabajo con especialistas independientes de Australia para elaborar recomendaciones prácticas de políticas que permitan gestionar los riesgos de los agentes de IA cada vez más capaces. A partir de las lecciones de estos incidentes, se centrará en mejorar los procesos de notificación, reforzar la coordinación entre los desarrolladores de IA y el gobierno e identificar medidas para proteger mejor los sistemas gubernamentales. Las recomendaciones del grupo de trabajo orientarán el enfoque de OpenAI y apoyarán la labor de los gobiernos australianos en materia de seguridad de la IA y ciberseguridad. Se espera que el grupo de trabajo concluya su labor antes de fin de año. También recomendará medidas prácticas que las empresas de IA puedan adoptar para reducir el riesgo de incidentes similares.
Los gobiernos, los sectores productivos y los ciudadanos de Australia son y han sido aliados invaluables para OpenAI. Valoramos profundamente esta relación y tenemos la intención de enmendar lo ocurrido.
El director de Estrategia de OpenAI, Jason Kwon, viajará desde la sede de OpenAI en Estados Unidos para comparecer ante la Comisión Especial Conjunta sobre Inteligencia Artificial en Sídney el martes 6 de octubre. Responderá preguntas sobre lo que sabemos, cómo respondimos, qué medidas hemos tomado y cómo mejoraremos de aquí en adelante.
Seguiremos compartiendo hallazgos verificados con los organismos afectados y los gobiernos correspondientes. Publicaremos actualizaciones sobre nuestra revisión en curso y los avances en el cumplimiento de estos compromisos. Sabemos que nos queda mucho trabajo por delante para recuperar la confianza y que tenemos la responsabilidad de demostrar a los australianos que estamos haciendo cambios significativos y cumpliendo nuestras promesas.
