En junio, durante las actividades internas de entrenamiento y evaluación, nuestros modelos accedieron a sitios web de las administraciones públicas australianas de formas no autorizadas. También deberíamos haber gestionado mejor nuestra respuesta. Lo sentimos y estamos trabajando para hacerlo mejor en el futuro.
En esta publicación, exponemos lo que sabemos, lo que hemos cambiado y lo que haremos para recuperar la confianza de la población australiana. Se trata de un nuevo tipo de ciberincidente que representa un desafío emergente a escala mundial. Una de las formas en que pretendemos asumir nuestra responsabilidad por esta situación es colaborar activamente con Australia para ayudar a desarrollar enfoques prácticos que permitan a los desarrolladores de IA y a los gobiernos identificar y comunicar comportamientos de la IA en el ciberespacio, ya sean maliciosos o involuntarios, y responder a ellos.
Tras el incidente de Hugging Face en julio, empezamos a revisar las actividades previas de entrenamiento y evaluación para identificar a otras organizaciones afectadas. A mediados de agosto, esa revisión identificó actividad que afectaba a los sitios web de las administraciones públicas australianas que se indican a continuación.
Esto es lo que sabemos a partir de las pruebas disponibles:
Services Australia: un modelo de OpenAI descubrió una forma de acceder a áreas del servicio no abiertas al público. Ejecutó comandos, obtuvo archivos internos, credenciales y estadísticas agregadas, y escribió archivos. Sin embargo, no accedió a registros individuales de pacientes ni de usuarios del servicio. Abordamos este incidente con más detalle a continuación.
Oficina de Estadísticas e Investigación Criminal de Nueva Gales del Sur (BOCSAR): un modelo de OpenAI accedió a la herramienta pública de mapas de delincuencia de BOCSAR para investigar estadísticas públicas sobre delincuencia (más adelante explicamos por qué los modelos realizan diversas tareas de búsqueda de información). El modelo realizó solicitudes a la API y peticiones de metadatos del sitio web mediante la herramienta pública de BOCSAR, que proporciona credenciales para las solicitudes a la API desde el navegador. El sistema de BOCSAR devolvió la configuración de la aplicación, tareas y registros operativos, y metadatos del sitio web. No se accedió a registros delictivos individuales.
Departamento de Salud de Victoria: agentes de OpenAI descubrieron una clave de acceso expuesta que les permitió consultar el sistema de informes de la Agencia de Información Sanitaria de Victoria y obtener la configuración de los informes y estadísticas agregadas de encuestas. No está claro hasta qué punto esta información debía ser accesible, ya que depende de las políticas de acceso de dicha agencia (VAHI). No se accedió a historiales médicos individuales ni a respuestas de encuestas que permitieran identificar a los participantes.
Instituto Australiano de Salud y Bienestar: agentes de OpenAI obtuvieron estadísticas agregadas mediante servicios de navegación y descarga de terceros, entre otras fuentes desde el sitio web del instituto (AIHW), y consultaron directamente los datos de los gráficos. Otros intentos de eludir los controles de acceso no tuvieron éxito. El material descargado parece haber sido de acceso público. La seguridad del sistema no se vio comprometida. No se accedió a historiales médicos individuales.
Iniciamos investigaciones sobre estas actividades en cuanto tuvimos conocimiento de ellas, a mediados de agosto. Notificamos lo ocurrido a Services Australia y al Departamento de Salud de Victoria el 10 de septiembre, y a la Oficina de Estadísticas e Investigación Criminal de Nueva Gales del Sur el 18 de septiembre. La actividad relacionada con el Instituto Australiano de Salud y Bienestar no cumplía nuestros criterios de notificación porque la forma de acceso parecía ajustarse al acceso público. Aun así, se lo notificamos el 24 de septiembre para compartir nuestros hallazgos y ofrecer una sesión informativa.
Nuestro objetivo era proporcionar a los organismos afectados un informe detallado una vez concluida nuestra investigación. Sin embargo, deberíamos haber compartido antes los hallazgos preliminares y mantenido informados a los organismos australianos a medida que se conocían más hechos.
Desde entonces, hemos colaborado estrechamente con los organismos públicos australianos para compartir lo que hemos averiguado hasta la fecha. Si identificamos otros organismos afectados, se lo notificaremos con prontitud y directamente con la información disponible, y les mantendremos informados a medida que se conozcan más hechos.
Durante las actividades internas de entrenamiento y evaluación de junio, estábamos utilizando un modelo experimental de OpenAI exclusivamente interno, que no estaba destinado a su lanzamiento público y no contaba con todas las salvaguardas de nuestros productos disponibles para el público. Durante ese entrenamiento y evaluación, accedió al servicio de informes estadísticos de Medicare de Services Australia. Hasta la fecha, nuestra revisión no ha encontrado pruebas de que se accediera al historial médico de ninguna persona.
Cuando realizamos actividades internas de entrenamiento y evaluación de nuestros modelos, les asignamos tareas extraídas de un amplio conjunto de preguntas de investigación sobre muchos temas, representativas de las preguntas detalladas que podrían hacer los usuarios. Así se entrena al modelo para encontrar, interpretar y analizar información de acceso público, de modo que pueda ser más útil para las personas. Nuestros modelos deben responder a estas preguntas utilizando estadísticas publicadas de acceso público.
En este caso, una de las tareas asignadas al modelo era investigar el gasto público por persona en medicamentos para enfermedades de la piel en las comunidades del estado de Victoria. El modelo tuvo dificultades para obtener esa información y realizó acciones que no habíamos autorizado. Mientras buscaba esta información en el servicio de informes estadísticos de Medicare de Services Australia, descubrió una forma de acceder a áreas del servicio no abiertas al público. A continuación, utilizó ese acceso para revisar información técnica del sistema y código fuente del servicio, siempre con el objetivo de encontrar la información que buscaba originalmente. No era nuestra intención que se produjera esta actividad, y ni el acceso al servicio ni las acciones posteriores deberían haber ocurrido.
Tras el incidente de Hugging Face, reforzamos las salvaguardas de nuestros entornos de investigación, con restricciones de red adicionales y una supervisión más amplia. Implementamos controles para bloquear el acceso directo a internet en estos entornos de investigación y ofrecer acceso web a través de contenido almacenado en caché. Como capa adicional de seguridad, nuestros sistemas de supervisión actuales habrían detectado esta actividad y alertado a nuestro equipo para que realizara una revisión humana urgente. Por ejemplo, cuando un modelo consiguió acceso directo a internet durante una sesión de entrenamiento reciente(se abre en una ventana nueva), nuestro sistema de supervisión detectó la actividad y alertó a un revisor humano, y detuvimos la sesión. Seguimos poniendo a prueba estas protecciones y subsanando deficiencias. El de Hugging Face sigue siendo el incidente más grave que hemos observado.
La gente quiere saber que la IA se está desarrollando de forma segura, y eso empieza por lo que hacemos las propias empresas como la nuestra. Recientemente comunicamos(se abre en una ventana nueva) que hemos pausado el entrenamiento y la evaluación con uso de herramientas de nuestros modelos más capaces. Solo reanudaremos su entrenamiento cuando tengamos la certeza de contar con salvaguardas adicionales, en las que estamos trabajando ahora.
A medida que aumentan las capacidades de los sistemas de IA en general, vemos también que se reduce el margen de tiempo para ayudar a las organizaciones a encontrar y corregir vulnerabilidades. Esto exige una acción colectiva en colaboración con los equipos de ciberdefensa de todo el mundo.
Nos hemos unido a organizaciones de los sectores de la tecnología, la ciberseguridad y las infraestructuras críticas en un llamamiento a la acción colectiva en materia de ciberdefensa. Ese llamamiento empieza por nuestras propias responsabilidades, que incluyen reforzar las salvaguardas, notificar los incidentes a tiempo y ofrecer apoyo práctico a las organizaciones afectadas. También pide invertir en los equipos que protegen los servicios esenciales, para que puedan encontrar vulnerabilidades, verificar las correcciones y compartir lo que funciona.
En Australia, estamos destinando recursos y conocimientos especializados a apoyar a los organismos afectados y ayudar a los equipos de ciberdefensa a poner en práctica estos principios, con medidas como las siguientes:
Apoyo específico a los organismos afectados. Destinaremos los recursos necesarios para ayudar a los organismos afectados a comprender lo ocurrido y evaluar su impacto. Esto incluye compartir los hallazgos técnicos pertinentes y facilitar la colaboración con nuestros equipos de respuesta mediante los acuerdos de intercambio de información adecuados.
Financiación y apoyo para reforzar las ciberdefensas. Apoyaremos a los gobiernos y al sector empresarial australianos con créditos de nuestro fondo Daybreak for Frontline Defenders, dotado con 1000 millones de dólares, y asistencia técnica para reforzar las ciberdefensas de las infraestructuras críticas y otros entornos sensibles. Sobre la base de nuestra colaboración con gobiernos y operadores de infraestructuras críticas, este trabajo ayudará a las organizaciones a comprender y detectar mejor los riesgos de los agentes de IA cada vez más capaces, así como a responder mejor a ellos.
Un grupo de trabajo australiano. Crearemos un grupo de trabajo con expertos australianos independientes para elaborar recomendaciones prácticas sobre políticas que permitan gestionar los riesgos de los agentes de IA cada vez más capaces. A partir de las lecciones aprendidas de estos incidentes, se centrará en mejorar los procesos de notificación, reforzar la coordinación entre los desarrolladores de IA y las administraciones públicas, e identificar medidas para proteger mejor los sistemas de estas últimas. Las recomendaciones del grupo de trabajo orientarán el enfoque de OpenAI y apoyarán la labor de los gobiernos australianos en materia de seguridad de la IA y ciberseguridad. El grupo de trabajo, que prevé concluir su labor a finales de año, también recomendará medidas prácticas que las empresas de IA puedan adoptar para reducir el riesgo de incidentes similares.
Los gobiernos, los sectores empresariales y los ciudadanos de Australia son y han sido colaboradores de un valor incalculable para OpenAI. No damos por sentada esta relación y tenemos la intención de subsanar lo ocurrido.
Jason Kwon, director de Estrategia de OpenAI, viajará desde la sede de OpenAI en Estados Unidos para comparecer ante la Comisión Mixta Especial sobre Inteligencia Artificial en Sídney el martes 6 de octubre. Responderá a preguntas sobre lo que sabemos, cómo respondimos, qué medidas hemos tomado y cómo mejoraremos de cara al futuro.
Seguiremos compartiendo los hallazgos verificados con los organismos afectados y los gobiernos pertinentes. Publicaremos novedades sobre nuestra revisión en curso y los avances en el cumplimiento de estos compromisos. Sabemos que nos queda mucho trabajo por delante para recuperar la confianza y que tenemos la responsabilidad de demostrar a los australianos que estamos realizando cambios significativos y cumpliendo nuestras promesas.
