Agente para uso do computador (CUA)

Hoje apresentamos uma prévia de investigação do Operator⁠(abre em uma nova janela), um agente que pode acessar a Web para realizar tarefas para você. O mecanismo que capacita o Operator é o agente para uso do computador (CUA), um modelo que combina os recursos de visão do GPT‑4o com raciocínio avançado por meio da aprendizagem por reforço. O CUA é treinado para interagir com interfaces gráficas de usuário (GUIs) — ou seja, os botões, menus e campos de texto que as pessoas veem em uma tela — tal como um ser humano faria. Isso proporciona flexibilidade na hora de executar tarefas digitais, sem que seja necessário usar APIs específicas do sistema operacional ou da Web. 

O CUA é resultado de anos de investigação voltada para a intersecção entre a compreensão multimodal e a reflexão. Ao combinar percepção de GUI avançada com resolução estruturada de problemas, ele consegue dividir tarefas em planos de várias etapas e se autocorrigir de maneira adaptativa sempre que pintar um desafio. Essa capacidade marca o próximo passo no desenvolvimento da IA, pois permite que os modelos utilizem as mesmas ferramentas que os seres humanos utilizam diariamente. Além disso, também abre portas para uma vasta gama de novas aplicações.

Embora ainda esteja em fase inicial e tenha limitações, o CUA estabelece novos padrões de referência de última geração, alcançando uma taxa de sucesso de 38,1% no OSWorld para tarefas de uso completo do computador, 58,1% no WebArena e 87% no WebVoyager para tarefas baseadas na Web. Esses resultados destacam a capacidade do CUA de navegar e operar em diversos ambientes usando um único espaço de ação geral. 

Tal como está detalhado no cartão do sistema do Operator, nós desenvolvemos o CUA para priorizar a segurança e, assim, ser capaz de enfrentar os desafios que envolvem a presença de um agente no mundo digital. Ainda dentro da nossa estratégia de implementação iterativa, decidimos lançar o CUA por meio de uma prévia de investigação do Operator em operator.chatgpt.com⁠(abre em uma nova janela). Por ora, o acesso está restrito a usuários do plano Pro⁠(abre em uma nova janela) nos EUA. Com o feedback do mundo real, poderemos refinar as medidas de segurança e melhorar continuamente. Enquanto isso, continuaremos em preparação para um futuro onde os agentes digitais são cada vez mais utilizados.

O CUA processa dados brutos de pixels para compreender o que está acontecendo na tela, e além disso também usa um mouse e um teclado virtuais para realizar ações. Ele consegue navegar por tarefas com várias etapas, lidar com erros e se adaptar a alterações inesperadas. Tudo isso permite que o CUA atue em uma ampla variedade de ambientes digitais, realizando tarefas como preenchimento de formulários e navegação em sites sem a necessidade de APIs especializadas.

Dependendo da instrução do usuário, o CUA consegue operar por meio de um loop iterativo que integra percepção, reflexão e ação:

• Percepção: capturas de tela do computador são adicionadas ao contexto do modelo, fornecendo um instantâneo visual do estado atual do computador. 
• Reflexão: o CUA reflete sobre os próximos passos usando uma cadeia de pensamentos, que leva em consideração as capturas de tela e as ações atuais e anteriores. Esse monólogo interno melhora o desempenho das tarefas, permitindo que o modelo avalie observações, acompanhe etapas intermediárias e se adapte dinamicamente.
• Ação: ele executa as ações (clicar, rolar ou digitar) até determinar que a tarefa foi concluída ou que uma ação do usuário é necessária. Embora execute a maioria das etapas automaticamente, o CUA solicita a confirmação do usuário para ações confidenciais (por exemplo, inserir detalhes de login ou responder a formulários CAPTCHA).

O CUA estabelece um novo padrão de excelência em benchmarks de uso para computadores e navegadores, pois utiliza a mesma interface universal de tela, mouse e teclado.

As visualizações a seguir mostram exemplos do CUA em ação, realizando diversas tarefas padronizadas do OSWorld.

Como o CUA é um dos nossos primeiros produtos agênticos com capacidade de realizar ações diretamente em um navegador, ele traz novos riscos e desafios que precisam ser enfrentados. Enquanto nos preparávamos para a implantação do Operator, realizamos testes de segurança extensivos e implementamos medidas de mitigação em três principais classes de riscos de segurança: uso indevido, erros de modelo e riscos de fronteira. Acreditamos que é importante adotar uma abordagem em camadas para a segurança e, por isso, implementamos salvaguardas em todo o contexto de implantação: o próprio modelo do CUA, o sistema Operator e os processos pós-implantação. O objetivo é ter medidas de mitigação cumulativas, onde cada camada vai reduzindo gradualmente o perfil de risco.

A primeira categoria de risco é o uso indevido. Além de exigir que os usuários cumpram nossas Políticas de uso, criamos as seguintes medidas para reduzir o risco de danos ao Operator por conta de uso indevido. Vale lembrar que isso foi feito com base em nosso trabalho de segurança para o GPT‑4o:

• Recusas: o modelo do CUA foi treinado para recusar muitas tarefas prejudiciais e atividades ilegais ou regulamentadas.
• Lista de bloqueios: o Operator não pode acessar sites que bloqueamos preventivamente, como muitos sites de jogos de azar, entretenimento adulto e varejistas de drogas ou armas.
• Moderação: as interações dos usuários são analisadas em tempo real por verificadores de segurança automatizados, projetados para garantir a conformidade com as Políticas de uso e capacitados para emitir avisos ou bloqueios referentes a atividades proibidas. 
• Detecção offline: também desenvolvemos pipelines de detecção automatizada e revisão humana para identificar usos proibidos em áreas prioritárias da política, incluindo segurança infantil e atividades enganosas. Desse modo, conseguimos aplicar nossas Políticas de uso.

A segunda categoria de risco é a dos erros do modelo, em que o modelo do CUA acidentalmente realiza uma ação que o usuário não pretendia. Isso, por sua vez, causa danos ao usuário ou a outras pessoas. Os erros hipotéticos podem variar em gravidade — desde um erro ortográfico em um e-mail até a compra do item errado ou a exclusão permanente de um documento importante. Para minimizar possíveis danos, desenvolvemos as seguintes medidas de mitigação:

• Confirmações do usuário: o modelo do CUA é treinado para solicitar a confirmação do usuário antes de finalizar tarefas com efeitos colaterais externos (por exemplo, antes de enviar um pedido, enviar um e-mail etc.). Dessa forma, o usuário pode verificar novamente o trabalho do modelo antes que a ação seja permanente.
• Limitações nas tarefas: por enquanto, o modelo do CUA não ajudará em determinadas tarefas de maior risco, como transações bancárias e tarefas que exigem tomadas de decisão mais delicadas.
• Modo de observação: em sites particularmente sensíveis, como e-mails, o Operator requer supervisão ativa dos usuários. Desse modo, é possível detectar e corrigir diretamente quaisquer erros potenciais que o modelo possa cometer.

Outra categoria particularmente importante de erros de modelo são os ataques adversários a sites. Esses ataques fazem com que o modelo do CUA execute ações indesejadas por meio de injeções de prompt, jailbreaks e tentativas de phishing. Além das medidas de mitigação contra erros do modelo que já mencionamos acima, também desenvolvemos várias camadas adicionais de defesa para oferecer proteção contra esses riscos:

• Navegação cautelosa: o modelo do CUA foi projetado para identificar e ignorar injeções de prompt em sites, reconhecendo todos os casos, exceto um, a partir de uma sessão interna inicial das equipes internas de testes ofensivos.
• Monitoramento: implementamos um modelo adicional no Operator para monitorar e pausar a execução, caso o agente detecte conteúdo suspeito na tela.
• Pipeline de detecção: estamos aplicando pipelines de detecção automatizada e revisão humana para identificar padrões de acesso suspeitos que podem ser sinalizados e rapidamente adicionados ao monitor (em questão de horas).

Por fim, também avaliamos o modelo do CUA em relação aos riscos de fronteira descritos em nosso Framework de prontidão⁠(abre em uma nova janela), incluindo cenários envolvendo replicação autônoma e ferramentas de riscos biológicos. Essas avaliações não mostraram nenhum risco adicional além do GPT‑4o.

Para quem tiver interesse em explorar as avaliações e salvaguardas em mais detalhes, recomendamos consultar o cartão do sistema do Operator: um documento dinâmico, que oferece transparência sobre nossa abordagem de segurança e melhorias contínuas.

Como muitos dos recursos do Operator são novos, os riscos e as abordagens de mitigação que implementamos também são novos.  Embora tenhamos buscado medidas de mitigação de última geração, diversificadas e complementares, a expectativa é de que esses riscos e nossa abordagem evoluam à medida que aprendemos mais. Queremos utilizar o período de prévia de investigação como uma oportunidade para coletar feedback dos usuários, refinar nossas salvaguardas e reforçar a segurança dos agentes.

O CUA é resultado de anos de avanços na investigação em multimodalidade, reflexão e segurança. Fizemos progressos significativos em raciocínio profundo por meio da série de modelos o, além dos avanços nos recursos de visão por meio do GPT‑4o e em novas técnicas para melhorar a robustez. Tudo isso se deu por meio da aprendizagem por reforço e hierarquia de instruções. O próximo desafio que pretendemos explorar é expandir o espaço de ação dos agentes. A flexibilidade oferecida por uma interface universal vai ajudar a resolver esse desafio, pois permite que um agente navegue em qualquer ferramenta de software projetada para humanos. Ao ir além das APIs especializadas e fáceis de usar para agentes, o CUA pode se adaptar a qualquer ambiente de computador disponível, atendendo verdadeiramente à “cauda longa” dos casos de uso digital que permanecem fora do alcance da maioria dos modelos de IA.

Também estamos trabalhando para disponibilizar o CUA na API⁠(abre em uma nova janela), pois assim os desenvolvedores poderão usá-lo na hora de criar seus próprios agentes para uso do computador (CUA). Queremos muito ver os diferentes casos de uso que a comunidade irá descobrir, sobretudo conforme a iteração do CUA continuar. Planejamos usar o feedback real que coletarmos durante a prévia inicial para refinar continuamente os recursos e as medidas de segurança da CUA, a fim de avançar com segurança em nossa missão de distribuir os benefícios da IA para todo mundo.