Agente informático

Hoy presentamos una vista previa de investigación de Operator⁠(se abre en una nueva ventana), un agente que puede acceder a la web para realizar tareas en tu lugar. El impulso detrás de Operator proviene de un agente informático (CUA), un modelo que combina las capacidades de visión de GPT‑4o con el razonamiento avanzado a través del aprendizaje por refuerzo. El CUA está entrenado para interactuar con interfaces gráficas de usuario (GUI), es decir, con los botones, menús y campos de texto que se ven en una pantalla, del mismo modo que lo hacen los humanos. Esto le da la flexibilidad necesaria para realizar tareas digitales sin utilizar API específicas del sistema operativo o de la web. 

El CUA se basa en años de investigación fundacional acerca de la confluencia de la comprensión y el razonamiento multimodales. Su avanzada percepción de la GUI combinada con la resolución estructurada de problemas le permite dividir las tareas en planes de varios pasos y autocorregirse de forma adaptativa cuando surge algún problema. Esta capacidad es un nuevo paso en el desarrollo de la IA, ya que permite que los modelos utilicen las mismas herramientas que los humanos y les abre las puertas a una amplia gama de nuevas aplicaciones.

Si bien el CUA es aún algo reciente y tiene limitaciones, es verdad que ha logrado establecer nuevos resultados de referencia, con un 38,1 % de aciertos en OSWorld para tareas de uso completo de la computadora, así como un 58,1 % en WebArena y un 87 % en WebVoyager para tareas basadas en la web. Estos resultados ponen de relieve la capacidad de CUA para navegar y operar en diversos entornos valiéndose de un único espacio de acción general. 

Desarrollamos el CUA teniendo a la seguridad como máxima prioridad, con el afán de hacer frente a los retos que implica el acceso de un agente al mundo digital, tal y como se detalla en nuestra Tarjeta de sistema de Operator. Para comenzar, y fieles a nuestra estrategia de despliegue iterativo, estamos lanzando el CUA a través de una vista previa de investigación de Operator en operator.chatgpt.com⁠(se abre en una nueva ventana) para usuarios Pro⁠(se abre en una nueva ventana) Tier en los EE. UU. Gracias a los comentarios del mundo real, estamos en condiciones de perfeccionar las medidas de seguridad y mejorar de forma continua al tiempo que nos preparamos para un futuro en el que los agentes digitales se utilizarán cada vez más.

El CUA procesa datos de píxeles en bruto para comprender lo que ocurre en la pantalla y emplea un mouse y un teclado virtuales para completar las acciones. Puede realizar tareas de varios pasos, hacer frente a errores y adaptarse a cambios inesperados. Esto le permite al CUA actuar en una amplia gama de entornos digitales, ejecutando tareas como rellenar formularios y navegar por sitios web sin recurrir a API especializadas.

A partir de las instrucciones de un usuario, el CUA funciona siguiendo un bucle iterativo que integra la percepción, el razonamiento y la acción:

• Percepción: Las capturas de la computadora se añaden al contexto del modelo, lo que proporciona una instantánea visual del estado actual de la computadora. 
• Razonamiento: El CUA razona los pasos siguientes por medio de la cadena de pensamiento, teniendo en cuenta las capturas y las acciones actuales y pasadas. Este monólogo interno mejora el rendimiento de la tarea al permitir que el modelo evalúe sus observaciones, haga un seguimiento de los pasos intermedios y se adapte de forma dinámica.
• Acción: Lleva a cabo las acciones, como hacer clic, desplazarse o escribir, hasta que decide que la tarea ya se completó o que se necesita la intervención del usuario. Si bien maneja la mayoría de los pasos de forma automática, el CUA solicita la confirmación del usuario para acciones delicadas, como ingresar los datos de inicio de sesión o responder a formularios CAPTCHA.

CUA establece un nuevo hito en las pruebas comparativas de uso de la computadora y del navegador al utilizar la misma interfaz universal de pantalla, mouse y teclado.

Las siguientes visualizaciones muestran ejemplos en los que el CUA navega por una variedad de tareas estandarizadas de OSWorld.

Como el CUA es uno de nuestros primeros productos autónomos con capacidad para realizar acciones directamente en un navegador, implica enfrentarnos a nuevos riesgos y desafíos. Cuando preparábamos el despliegue de Operator, llevamos a cabo numerosas pruebas de seguridad y aplicamos medidas de mitigación en tres clases principales de riesgos para la seguridad: el uso indebido, los errores de modelo y los riesgos fronterizos. Estamos convencidos de que la seguridad debe abordarse por capas, por lo que adoptamos medidas de seguridad en todo el contexto del despliegue: el propio modelo de CUA, el sistema Operator y los procesos posteriores al despliegue. El objetivo es que las medidas de mitigación se apliquen de forma sucesiva y que cada capa reduzca progresivamente el perfil de riesgo.

La primera categoría de riesgo es el uso indebido. Además de la exigencia de que los usuarios cumplan nuestras Políticas de uso, nos inspiramos en el trabajo de seguridad realizado para GPT‑4o y diseñamos las siguientes medidas para reducir el riesgo de que Operator sufra daños a causa de un uso indebido:

• Rechazos: El modelo del CUA está entrenado para rechazar muchas tareas perjudiciales, así como actividades ilegales o reguladas.
• Lista de bloqueo: Operator no puede acceder a sitios web que bloqueamos preventivamente, como muchos de los dedicados al juego, al entretenimiento para adultos y a la venta de drogas o armas.
• Moderación: Verificadores de seguridad automáticos diseñados para garantizar el cumplimiento de las políticas de uso revisan en tiempo real las interacciones de los usuarios y pueden tanto emitir advertencias como bloquear actividades prohibidas. 
• Detección sin conexión: Además, también desarrollamos canales de detección automática y revisión humana para identificar el uso prohibido en áreas prioritarias para nuestras políticas, como la seguridad infantil y las actividades engañosas, lo cual nos permite garantizar el cumplimiento de nuestras políticas de uso.

La segunda categoría de riesgo corresponde a los errores de modelo, en los que el modelo de CUA emprende accidentalmente una acción que el usuario no tenía intención de realizar y que, a su vez, puede causarle daños a él o a otras personas. Los errores hipotéticos pueden ser de muy diversa gravedad, y van desde un error de escritura en un correo electrónico hasta la compra errónea de un artículo o el borrado definitivo de un documento importante. Para minimizar los posibles daños, desarrollamos estas medidas de mitigación:

• Confirmación del usuario: El modelo de CUA está entrenado para pedirle al usuario su confirmación antes de finalizar tareas con efectos secundarios externos, por ejemplo, antes de realizar un pedido o enviar un correo electrónico, entre otras, de forma que el usuario pueda volver a comprobar el trabajo que el modelo realizó antes de que se convierta en permanente.
• Limitación en as tareas: Por el momento, el modelo de CUA se negará a ayudar en determinadas tareas de mayor riesgo, como transacciones bancarias, así como en tareas que impliquen una toma de decisiones delicada.
• Modo de supervisión: En algunos sitios web particularmente delicados, como los de correo electrónico, Operator requiere la supervisión activa por parte del usuario, con el fin de garantizar que éste pueda detectar y corregir directamente cualquier eventual error que el modelo pueda cometer.

Los ataques de adversarios a sitios web forman una categoría especialmente importante de errores del modelo, ya que provocan que el modelo de CUA lleve a cabo acciones no deseadas, mediante inyecciones, infiltración de sistemas de seguridad e intentos de suplantación de identidad. Además de las medidas ya mencionadas contra los errores del modelo, desarrollamos varias capas de defensa adicionales para protegernos de estos riesgos:

• Navegación prudente: El modelo de CUA está diseñado para identificar e ignorar las inyecciones puntuales en los sitios web, reconociendo todos los casos menos uno de una de las primeras sesiones internas de equipo rojo.
• Monitoreo: En Operator, implementamos un modelo adicional para supervisar y pausar la ejecución si en la pantalla se detecta contenido sospechoso.
• Proceso de detección: Estamos aplicando procesos de detección automática y de revisión humana para identificar patrones de acceso sospechosos que se puedan marcar y asignar rápidamente al monitoreo (en cuestión de horas).

Por último, evaluamos el modelo de CUA ante los riesgos fronterizos descritos en nuestro Marco de preparación⁠(se abre en una nueva ventana), entre los que se incluyen escenarios de replicación autónoma y herramientas de biorriesgo. Estas evaluaciones no mostraron ningún riesgo adicional respecto a GPT‑4o.

Si te interesa conocer más en detalle las evaluaciones y las medidas de protección, puedes revisar la Tarjeta de sistema de Operator,un documento vivo con información transparente sobre nuestro enfoque de la seguridad y las mejoras en curso.

Al ser nuevas muchas de las capacidades de Operator, lo mismo ocurre con los riesgos y los métodos de mitigación que aplicamos.  Si bien nuestras medidas de mitigación son vanguardistas, diversas y complementarias, es de esperar que tanto los riesgos como nuestro planteamiento evolucionen a medida que adquirimos más conocimientos. Esperamos aprovechar el periodo de vista previa de la investigación para recabar los comentarios de los usuarios, perfeccionar nuestras medidas de protección y mejorar la seguridad de los agentes.

El CUA se basa en años de avances en investigación sobre multimodalidad, razonamiento y seguridad. Gracias a la serie o-model, logramos avances significativos en razonamiento profundo, desplegamos capacidades de visión mediante GPT‑4o y aplicamos nuevas técnicas para mejorar la robustez mediante el aprendizaje por refuerzo y la jerarquía de instrucciones. Nuestro próximo reto consiste en ampliar el espacio de acción de los agentes. La interfaz universal es lo suficientemente flexible como para responder a este reto, ya que permite que un agente navegue por cualquier herramienta de software diseñada para humanos. El CUA va más allá de las API especializadas para agentes y es capaz de adaptarse a cualquier entorno informático disponible, lo que le permite abordar la "larga fila" de casos de uso digital que siguen estando fuera del alcance de la mayoría de los modelos de IA.

Por otra parte, también estamos trabajando para que el CUA esté disponible en la API⁠(se abre en una nueva ventana), de modo que los desarrolladores puedan recurrir a él para crear sus propios agentes que utilicen computadoras. A medida que seguimos perfeccionando el CUA, estamos impacientes por conocer los diferentes casos de uso que la comunidad encontrará en él. Tenemos la intención de incorporar los comentarios del mundo real que obtengamos de esta vista previa para perfeccionar continuamente las capacidades y las medidas de seguridad del CUA y así avanzar de forma segura en nuestra misión de hacer llegar los beneficios de la IA a todo el mundo.