Agente informático

Presentamos una previsualización de investigación de Operator⁠(se abre en una ventana nueva), un agente capaz de acceder a Internet para llevar a cabo tareas por el usuario. La tecnología que impulsa a Operator es un agente informático (CUA, por sus siglas en inglés), un modelo que combina las capacidades visuales de GPT‑4o con habilidades de razonamiento avanzado mediante el aprendizaje por refuerzo. El CUA está entrenado para interactuar con interfaces gráficas de usuario (GUI, por sus siglas en inglés), como botones, menús y campos de texto visibles en pantalla, tal y como lo hacen los humanos. Esto le da flexibilidad para llevar a cabo tareas digitales sin depender de API específicas de un sistema operativo o una web. 

El CUA surge tras años de investigación en un campo que aúna la comprensión multimodal y el razonamiento. Gracias a la capacidad para entender interfaces gráficas de usuario y resolver problemas de forma estructurada, puede dividir tareas en varios pasos, corregirse, y adaptarse si surge algún problema. Esto representa un nuevo avance en el desarrollo de la IA, ya que permite a los modelos usar las mismas herramientas que emplean los usuarios de forma cotidiana, lo que abre la puerta a una gran variedad de aplicaciones nuevas.

Si bien es cierto que el CUA se encuentra aún en una etapa inicial y presenta limitaciones, ha logrado establecer nuevos récords en pruebas comparativas. Por ejemplo, logró un índice de éxito del 38,1 % en OSWorld para tareas de uso del ordenador al completo, y un 58,1 % en WebArena y un 87 % en WebVoyager para tareas basadas en la web. Estos resultados destacan la capacidad del CUA para navegar y funcionar en distintos entornos usando un único espacio de acción general. 

Hemos diseñado el CUA con la seguridad como prioridad, teniendo en cuenta los retos que implica darle acceso al mundo digital a un agente, algo que explicamos con más detalle en la tarjeta del sistema de Operator. Como parte de nuestra estrategia de despliegue iterativo, lanzamos el CUA en una previsualización de investigación de Operator, disponible en operator.chatgpt.com⁠(se abre en una ventana nueva) inicialmente para usuarios del nivel Pro⁠(se abre en una ventana nueva) en Estados Unidos. Así, podemos aprender de la experiencia de uso real, ajustar las medidas de seguridad y seguir mejorando mientras nos preparamos para un futuro en el que los agentes digitales serán cada vez más comunes.

El CUA interpreta directamente los datos de los píxeles que aparecen en pantalla para comprender qué sucede, y emplea un ratón y un teclado virtuales para efectuar tareas. Puede completar tareas de varios pasos, resolver errores y adaptarse si algo inesperado cambia en el entorno. Gracias a esto, es capaz de desenvolverse en una amplia variedad de entornos digitales, efectuando tareas como completar formularios o navegar por páginas web sin necesidad de API especializadas.

A partir de una instrucción del usuario, el CUA actúa mediante un bucle iterativo que integra percepción, razonamiento y acción:

• Percepción: se incorporan capturas de pantalla al contexto del modelo, proporcionando información visual del estado actual del ordenador. 
• Razonamiento: el CUA determina los pasos siguientes basándose en cadenas de pensamiento, la información visual que recibe en ese momento y las acciones previas. Este «monólogo» interno mejora el rendimiento, ya que le permite evaluar las observaciones, seguir pasos intermedios y adaptarse si es necesario.
• Acción: ejecuta las acciones necesarias (clics, desplazamientos o redacción de texto) hasta que decide que ha completado la tarea o se necesite la intervención del usuario. Aunque puede gestionar la mayoría de los pasos de forma automática, el CUA solicita la confirmación del usuario en acciones más delicadas, como la introducción de credenciales de inicio de sesión o la resolución de CAPTCHA.

El CUA alcanza un nivel sin precedentes en pruebas comparativas de tareas con el ordenador y de navegación web, utilizando la misma interfaz universal de pantalla, ratón y teclado.

Las siguientes visualizaciones muestran ejemplos del CUA navegando por una serie de tareas estandarizadas de OSWorld.

Como el CUA es uno de nuestros primeros productos con capacidades autónomas que puede llevar a cabo acciones directas en un navegador, el uso conlleva nuevos riesgos y cuestiones que hay que tener en cuenta. Durante la fase de preparación para el despliegue de Operator, llevamos a cabo rigurosas pruebas de seguridad e implementamos medidas de mitigación que abordan tres categorías clave de riesgos de seguridad: uso indebido, errores del modelo y riesgos del futuro. Creemos que es fundamental adoptar un enfoque por capas en materia de seguridad, por lo que incorporamos medidas preventivas en todo el contexto de implementación: el propio modelo de CUA, el sistema de Operator y los procesos posteriores al despliegue. La idea es que cada capa sume las medidas preventivas y reduzca el perfil de riesgo poco a poco.

La primera categoría de riesgo es el uso indebido. Además de exigir a los usuarios el cumplimiento de nuestras Políticas de uso, hemos desarrollado una serie de mecanismos preventivos para mitigar los riesgos de daños derivados del uso indebido de Operator, aprovechando el trabajo de seguridad efectuado con GPT‑4o:

• Rechazos: el modelo de CUA está formado para rechazar muchas tareas perjudiciales y actividades ilegales o reguladas.
• Lista de bloqueo: Operator no puede acceder a sitios web que se hayan bloqueado de forma preventiva, como muchas páginas de casinos, entretenimiento para adultos o venta de armas o estupefacientes.
• Moderación: las interacciones de los usuarios se supervisan en tiempo real mediante sistemas automatizados de seguridad diseñados para garantizar el cumplimiento de las Políticas de uso y que pueden emitir advertencias o bloquear actividades prohibidas. 
• Detección sin conexión: también se han desarrollado sistemas de detección automáticos y procesos de revisión humana para identificar usos indebidos en áreas críticas de nuestras políticas, como la seguridad infantil o las actividades fraudulentas, facilitando la aplicación de nuestras Políticas de uso.

La segunda categoría de riesgo son los errores del modelo, es decir, cuando el modelo del CUA lleva a cabo una acción por accidente que el usuario no tenía intención de efectuar, lo que puede causar perjuicios al propio usuario o a otras personas. Estos hipotéticos errores pueden ir desde algo menor, como un error de ortografía en un correo, hasta asuntos más graves como comprar un producto equivocado o borrar un documento importante para siempre. Para reducir estos riesgos, se han implementado las siguientes estrategias de mitigación:

• Autorización del usuario: el modelo de CUA está formado para pedir la confirmación del usuario antes de finalizar tareas que puedan tener efectos colaterales externos, como completar una compra o enviar un correo electrónico, de modo que el usuario pueda revisar el trabajo del modelo antes de completar la acción.
• Limitaciones en las tareas: por ahora, el modelo de CUA se negará a ayudar con tareas de mayor riesgo, como transacciones bancarias o actividades que impliquen tomar decisiones sensibles.
• Modo de observación: en sitios especialmente confidenciales, como servicios de correo electrónico, Operator requiere la supervisión activa del usuario, lo que permite detectar y corregir directamente cualquier posible error del modelo.

Una categoría especialmente importante de errores del modelo son los ataques adversos a sitios web, que inducen al modelo de CUA a efectuar acciones no deseadas mediante técnicas como inyecciones de indicaciones, jailbreaks y phishing. Además de las medidas de mitigación ya mencionadas, hemos desarrollado más capas de defensa adicionales para enfrentar estos casos:

• Navegación cauta: el modelo de CUA está diseñado para identificar e ignorar inyecciones de indicaciones en sitios web, y fue capaz de reconocer todos los casos excepto uno en una prueba interna temprana de equipo rojo.
• Supervisión: en Operator, hemos implantado un modelo adicional que supervisa y pone en pausa la ejecución si se detecta contenido sospechoso en la pantalla.
• Detección ininterrumpida: aplicamos tanto sistemas de detección automatizados como revisiones humanas para identificar patrones de acceso sospechosos que puedan señalarse y añadirse al sistema de supervisión en cuestión de horas.

Por último, evaluamos el modelo de CUA frente a los riesgos del futuro descritos en nuestro Marco de preparación⁠(se abre en una ventana nueva), entre los que se incluyen situaciones como la replicación autónoma y el uso indebido en biotecnología. Estas pruebas no mostraron un riesgo adicional al de GPT‑4o.

Invitamos a todas las personas interesadas en saber más sobre nuestras evaluaciones y mecanismos de protección a revisar la tarjeta del sistema de Operator, un documento en constante actualización que ofrece una visión detallada y transparente de nuestro enfoque sobre seguridad y las mejoras en curso.

Dado que muchas de las capacidades de Operator son nuevas, también lo son los riesgos y las estrategias de mitigación que hemos implantado.  Aunque hemos diseñado medidas innovadoras y complementarias para reducir esos riesgos, sabemos que tanto los peligros como nuestro planteamiento irán cambiando a medida que aprendemos. Esperamos que este periodo de previsualización de investigación sirva como una oportunidad para recopilar comentarios de los usuarios, perfeccionar nuestras medidas de seguridad y hacer que el uso de agentes sea cada vez más seguro.

El CUA surge tras años de avances en la investigación sobre multimodalidad, razonamiento y seguridad. Hemos logrado progresos de gran importancia en razonamiento profundo con la serie de modelos o, en capacidades de visión con GPT‑4o, y en nuevas técnicas para mejorar la fiabilidad mediante el aprendizaje por refuerzo y las jerarquías de instrucciones. Nuestro próximo objetivo es ampliar el espacio de acción de los agentes, permitiendo que puedan operar en cualquier herramienta de software universal diseñada para usuarios humanos gracias a una interfaz universal. Al dejar de depender de API específicas para agentes, el CUA puede adaptarse a cualquier entorno digital disponible, abordando así todo un abanico casos de uso que siguen siendo inaccesibles para la mayoría de los modelos de IA actuales.

Además, estamos desarrollando una versión de CUA para la API⁠(se abre en una ventana nueva), que permitirá a los desarrolladores crear sus propios agentes informáticos. A medida que sigamos mejorando el CUA, esperamos ver otros casos de uso distintos descubiertos por la comunidad. Gracias a los comentarios reales que obtengamos durante esta previsualización, esperamos seguir perfeccionando las capacidades del CUA y las mitigaciones de seguridad avanzando en nuestra misión de llevar los beneficios de la IA a todas las personas.