Computer-Using Agent
Powering Operator with Computer-Using Agent, a universal interface for AI to interact with the digital world.
Бүгін біз сіз үшін тапсырмаларды орындау үшін вебке шыға алатын агент — Operator(жаңа терезеде ашылады) зерттеу превьюін таныстырдық. Operator-ды қуаттандыратын жүйе — Computer-Using Agent (CUA), GPT‑4o‑ның көру мүмкіндіктерін күшейтпелі оқыту арқылы жетілдірілген ой қорытумен біріктіретін модель. CUA графикалық пайдаланушы интерфейстерімен (GUI) — экрандағы адамдар көретін батырмалармен, мәзірлермен және мәтін өрістерімен — адамдар сияқты әрекеттесуге үйретілген. Бұл оған ОЖ-ге не вебке арнайы API-лерді қолданбай-ақ цифрлық тапсырмаларды орындау икемділігін береді.
CUA мультимодаль түсіну мен ой қорыту түйіскен тұстағы көпжылдық іргелі зерттеулерге сүйенеді. Жетілдірілген GUI қабылдауын құрылымдалған мәселе шешумен біріктіру арқылы ол тапсырмаларды көпқадамды жоспарларға бөле алады және қиындықтар туындағанда бейімделіп, өзін түзете алады. Бұл мүмкіндік AI дамуындағы келесі қадамды білдіреді: модельдерге адамдар күн сайын сүйенетін сол құралдарды пайдалануға мүмкіндік береді және жаңа қолданбалардың орасан ауқымына жол ашады.
CUA әлі ерте кезеңде және шектеулері бар болса да, ол жаңа үздік бенчмарк нәтижелерін көрсетіп отыр: толық компьютерді пайдалану тапсырмаларында OSWorld-та 38.1% табыс көрсеткішіне, ал веб-негізді тапсырмаларда WebArena-да 58.1% және WebVoyager-де 87% нәтижеге жетті. Бұл нәтижелер CUA-ның бір жалпы әрекет кеңістігін пайдаланып, алуан түрлі орталарда шарлап, жұмыс істей алу қабілетін көрсетеді.
Агенттің цифрлық әлемге қол жеткізуі туғызатын қиындықтарды шешу үшін біз CUA-ны қауіпсіздікті ең жоғары басымдық етіп әзірледік, бұл туралы Operator System Card құжатында толығырақ айтылған. Итеративті енгізу стратегиямызға сай, біз CUA-ны бастапқы кезеңде АҚШ-тағы Pro(жаңа терезеде ашылады) Tier пайдаланушылары үшін operator.chatgpt.com(жаңа терезеде ашылады) сайтындағы Operator зерттеу превьюі арқылы шығарып отырмыз. Нақты әлемнен кері байланыс жинау арқылы біз қауіпсіздік шараларын жетілдіріп, цифрлық агенттерді пайдалану арта түсетін болашаққа дайындалған сайын үздіксіз жақсара аламыз.
CUA processes raw pixel data to understand what’s happening on the screen and uses a virtual mouse and keyboard to complete actions. It can navigate multi-step tasks, handle errors, and adapt to unexpected changes. This enables CUA to act in a wide range of digital environments, performing tasks like filling out forms and navigating websites without needing specialized APIs.
Given a user’s instruction, CUA operates through an iterative loop that integrates perception, reasoning, and action:
- Perception: Screenshots from the computer are added to the model’s context, providing a visual snapshot of the computer's current state.
- Reasoning: CUA reasons through the next steps using chain-of-thought, taking into consideration current and past screenshots and actions. This inner monologue improves task performance by enabling the model to evaluate its observations, track intermediate steps, and adapt dynamically.
- Action: It performs the actions—clicking, scrolling, or typing—until it decides that the task is completed or user input is needed. While it handles most steps automatically, CUA seeks user confirmation for sensitive actions, such as entering login details or responding to CAPTCHA forms.
CUA establishes a new state-of-the-art in both computer use and browser use benchmarks by using the same universal interface of screen, mouse, and keyboard.
| Бенчмарк түріы | Эталон | Компьютерді пайдалану (әмбебап интерфейс) | Веб-шолу агенттері | Адам | |
|---|---|---|---|---|---|
| OpenAI CUA (компьютерді пайдаланушы агент) | Алдыңғы SOTA | Алдыңғы SOTA | |||
| Компьютерді пайдалану | OSWorld | 38,1% | 22,0% | - | 72,4% |
| Браузерді пайдалану | WebArena | 58,1% | 36,2% | 57,1% | 78,2% |
| WebVoyager | 87,0% | 56,0% | 87,0% | - | |
WebArena(жаңа терезеде ашылады) and WebVoyager(жаңа терезеде ашылады) are designed to evaluate the performance of web browsing agents in completing real-world tasks using browsers. WebArena utilizes self-hosted open-source websites offline to imitate real-world scenarios in e-commerce, online store content management (CMS), social forum platforms, and more. WebVoyager tests the model’s performance on online live websites like Amazon, GitHub, and Google Maps.
In these benchmarks, CUA sets a new standard using the same universal interface that perceives the browser screen as pixels and takes action through mouse and keyboard. CUA achieved a 58.1% success rate on WebArena and an 87% success rate on WebVoyager for web-based tasks. While CUA achieves a high success rate on WebVoyager, where most tasks are relatively simple, CUA still needs more improvements to close the gap with human performance on more complex benchmarks like WebArena.
OSWorld(жаңа терезеде ашылады) is a benchmark that evaluates models’ ability to control full operating systems like Ubuntu, Windows, and macOS. In this benchmark, CUA achieves 38.1% success rate. We observed test-time scaling, meaning CUA’s performance improves when more steps are allowed. The figure below compares CUA’s performance with previous state-of-the-arts with varying maximum allowed steps. Human performance on this benchmark is 72.4%, so there is still significant room for improvement.
The following visualizations show examples of CUA navigating a variety of standardized OSWorld tasks.
We’re making CUA available through a research preview of Operator, an agent that can go to the web to perform tasks for you. Operator is available to Pro(жаңа терезеде ашылады) users in the U.S. at operator.chatgpt.com(жаңа терезеде ашылады). This research preview is an opportunity to learn from our users and the broader ecosystem, refining and improving Operator iteratively. As with any early-stage technology, we don’t expect CUA to perform reliably in all scenarios just yet. However, it has already proven useful in a variety of cases, and we aim to extend that reliability across a wider range of tasks. By releasing CUA in Operator, we hope to gather valuable insights from our users, which will guide us in refining its capabilities and expanding its applications.
In the table below, we present CUA’s performance in Operator on a handful of trials given a prompt to illustrate its known strengths and weaknesses.
| Санат | көмексөз | Сәтті / әрекеттер | Ескертпе |
|---|---|---|---|
| Тапсырмаларды орындау үшін әртүрлі UI компоненттерімен өзара әрекеттесу | 1-қадам: Britannica-дан аюлардың мекен ету ортасының егжей-тегжейлі карта көрінісін іздеңіз 2-қадам: керемет! Енді қара, қоңыр және ақ аю туралы сілтемелерді қарап шығып, олардың физикалық сипаттамаларына, нақтырақ айтқанда айырмашылықтарына қатысты қысқа жалпы шолу беріңіз. О, және сілтемелерді мен үшін сақтап қой, сонда мен оларға тез қол жеткізе аламын. | 10 / 10 | CUA(компьютерді пайдаланушы агент) пайдаланушыларға қажет ақпаратты табу үшін нәтижелерді іздеу, сұрыптау және сүзу мақсатында әртүрлі UI құрамдас бөліктерімен өзара әрекеттесе алады. Әртүрлі веб-сайттар мен UIs үшін сенімділік әртүрлі болады. |
| Маған сондай «Target» мәмілелерінің бірін алғым келеді. Оларда «Poppi» пребиотикалық газдалған сусындарына жеңілдік бар-жоғын тексеріп бере аласыз ба? Егер солай болса, 12 fl oz банкадағы қарбыз дәмін алғым келеді. Маған бұған қоса берілетін ұсыныс түрін айтып беріңіз және оның глютенсіз екенін тексеріп беріңіз. | 9 / 10 | ||
| Мен Сиэтлге көшуді жоспарлап отырмын және Redfin сайтынан кемінде 3 жатын бөлмесі, 2 жуынатын бөлмесі және энергияны үнемдейтін дизайны бар таунхаус тауып беруіңізді қалаймын. Менің бюджетім 600 000 - 800 000 доллар аралығында, әрі ол ең дұрысы 1500 шаршы фут шамасына жақын болуы керек. | 3 / 10 | ||
| Қайталанатын қарапайым UI өзара әрекеттесулері арқылы орындалатын тапсырмалар | Todoist ішінде «Weekend Grocery Shopping» деп аталатын жаңа жоба жасаңыз. Келесі сатып алу тізімін өнімдермен қосыңыз: банандар (6 дана) авокадо (2 піскен) бала шпинаты (1 қап) тұтас сүт (1 галлон) чеддер ірімшігі (8 унция блок) картоп чипсы (тұздалған, отбасылық өлшем) қара шоколад (70% какао, 2 тақта) | 10 / 10 | CUA(компьютерді пайдаланушы агент) пайдаланушылардың қарапайым, бірақ жалықтыратын тапсырмаларын автоматтандыру үшін қарапайым UI өзара әрекеттесуін бірнеше рет сенімді түрде қайталай алады. |
| 1990-жылдар үшін АҚШ-тағы ең танымал әндерді Spotify-дан іздеп, кемінде 10 тректен тұратын плейлист жасаңыз. | 10 / 10 | ||
| CUA(компьютерді пайдаланушы агент) веб-сайтты қалай пайдалану керектігі туралы егжей-тегжейлі нұсқаулар көмексөздерде болғанда ғана жоғары табыстылық көрсететін тапсырмалар. | tagvenue.com сайтына кіріп, Лондонда 150 адам сыятын концерт залын іздеңіз. Маған ол 2025 жылғы 22 ақпанда, бүкіл күнге 9:00-ден 00:00-ге дейін керек, тек сағатына 90 фунттан аспайтынына көз жеткізіңіз. Ой Сүзгілер бөлімінде тиісті сүзгілер бар-жоғын тексеріп, автотұрақтың бар екеніне және барлығының мүгедектер арбасымен қолжетімді екеніне көз жеткізе аласыз ба. | 8 / 10 | Тіпті бір тапсырманың өзінде де, CUA-ның сенімділігі тапсырманы қалай сұратып отырғанымызға байланысты өзгеруі мүмкін. In Осы жағдайда, күн/уақыт бойынша нақтылау беру арқылы (мысалы, 9:00-ден 12:00-ге дейін немесе 9:00-ден бастап бүкіл күн), сондай-ақ нәтижелерді табу үшін қай UI-ды пайдалану керектігі туралы нұсқаулар беру арқылы (мысалы, Сүзгілер бөлімін тексеріңіз …) |
| tagvenue.com сайтына кіріп, Лондонда 150 адам сыятын концерт залын іздеңіз. Маған ол 2025 жылғы 22 ақпанда 9:00-ден бастап күні бойы керек, тек сағатына 90 фунттан аспайтынына көз жеткізіңіз. Оу және автотұрақ бар екеніне және бүкіл нысанның мүгедектер арбасымен қолжетімді екеніне көз жеткізіңіз. | 3 / 10 | ||
| Бейтаныс пайдаланушы интерфейсі мен мәтінді өңдеуді қолдануда қиналу | html5editor қолданып, сол жақтағы бөлікке келесі мәтінді енгізіңіз, содан кейін менің нұсқауларым бойынша оны өңдеп, аяқтаған соң барлығын толық қамтитын скриншотын маған жіберіңіз. Мәтін: Сәлем, әлем! Бұл менің алғашқы мәтінім. Маған HTML арқылы бағдарламаланғанда қалай көрінетінін көру керек. Кейбір бөліктер қызыл болуы керек. Кейбір Қалың. Кейбір Көлбеу. Кейбір асты сызылған. Дейін менің сабағым аяқталды, және біз басқа жаққа ауысамыз. ... Сәлем, әлем! 2-тақырып қолданылуы керек Оның астындағы сөйлем кәдімгі абзац мәтіні болуы керек. The Қызыл туралы айтылған сөйлем қалыпты мәтін болуы керек және қызыл Қалың қаріп туралы айтылған сөйлем қалыпты мәтін болуы керек қалыңдатылған Курсив туралы айтылған сөйлем курсивпен жазылуы керек Соңғы сөйлем әдеттегі солға туралаудың орнына оңға туралануы керек. | 4 / 10 | CUA(компьютерді пайдаланушы агент) оқыту барысында көп өзара әрекеттеспеген UI-лармен өзара әрекеттесуге мәжбүр болғанда, берілген UI-ды тиісті түрде қалай пайдалану керегін анықтауда қиналады. Бұл көбіне көптеген сынақтар мен қателіктерге, әрі тиімсіз әрекеттерге әкеледі. CUA(компьютерді пайдаланушы агент) мәтінді өңдеуде дәл емес. Ол көбіне процесте көптеген қателік жібереді немесе қате бар нәтижені ұсынады. |
Because CUA is one of our first agentic products with an ability to directly take actions in a browser, it brings new risks and challenges to address. As we prepared for deployment of Operator, we did extensive safety testing and implemented mitigations across three major classes of safety risks: misuse, model mistakes, and frontier risks. We believe it is important to take a layered approach to safety, so we implemented safeguards across the whole deployment context: the CUA model itself, the Operator system, and post-deployment processes. The aim is to have mitigations that stack, with each layer incrementally reducing the risk profile.
The first category of risk is misuse. In addition to requiring users to comply with our Usage Policies, we have designed the following mitigations to reduce Operator’s risk of harm due to misuse, building off our safety work for GPT‑4o:
- Refusals: The CUA model is trained to refuse many harmful tasks and illegal or regulated activities.
- Blocklist: Operator cannot access websites that we’ve preemptively blocked, such as many gambling sites, adult entertainment, and drug or gun retailers.
- Moderation: User interactions are reviewed in real-time by automated safety checkers that are designed to ensure compliance with Usage Policies and have the ability to issue warnings or blocks for prohibited activities.
- Offline detection: We’ve also developed automated detection and human review pipelines to identify prohibited usage in priority policy areas, including child safety and deceptive activities, allowing us to enforce our Usage Policies.
The second category of risk is model mistakes, where the CUA model accidentally takes an action that the user didn’t intend, which in turn causes harm to the user or others. Hypothetical mistakes can range in severity, from a typo in an email, to purchasing the wrong item, to permanently deleting an important document. To minimize potential harm, we’ve developed the following mitigations:
- User confirmations: The CUA model is trained to ask for user confirmation before finalizing tasks with external side effects, for example before submitting an order, sending an email, etc., so that the user can double-check the model’s work before it becomes permanent.
- Limitations on tasks: For now, the CUA model will decline to help with certain higher-risk tasks, like banking transactions and tasks that require sensitive decision-making.
- Watch mode: On particularly sensitive websites, such as email, Operator requires active user supervision, ensuring users can directly catch and address any potential mistakes the model might make.
One particularly important category of model mistakes is adversarial attacks on websites that cause the CUA model to take unintended actions, through prompt injections, jailbreaks, and phishing attempts. In addition to the aforementioned mitigations against model mistakes, we developed several additional layers of defense to protect against these risks:
- Cautious navigation: The CUA model is designed to identify and ignore prompt injections on websites, recognizing all but one case from an early internal red-teaming session.
- Monitoring: In Operator, we’ve implemented an additional model to monitor and pause execution if it detects suspicious content on the screen.
- Detection pipeline: We’re applying both automated detection and human review pipelines to identify suspicious access patterns that can be flagged and rapidly added to the monitor (in a matter of hours).
Finally, we evaluated the CUA model against frontier risks outlined in our Preparedness Framework(жаңа терезеде ашылады), including scenarios involving autonomous replication and biorisk tooling. These assessments showed no incremental risk on top of GPT‑4o.
For those interested in exploring the evaluations and safeguards in more detail, we encourage you to review the Operator System Card, a living document that provides transparency into our safety approach and ongoing improvements.
As many of Operator’s capabilities are new, so are the risks and mitigation approaches we’ve implemented. While we have aimed for state-of-the-art, diverse and complementary mitigations, we expect these risks and our approach to evolve as we learn more. We look forward to using the research preview period as an opportunity to gather user feedback, refine our safeguards, and enhance agentic safety.
CUA builds on years of research advancements in multimodality, reasoning and safety. We have made significant progress in deep reasoning through the o-model series, vision capabilities through GPT‑4o, and new techniques to improve robustness through reinforcement learning and instruction hierarchy. The next challenge space we plan to explore is expanding the action space of agents. The flexibility offered by a universal interface addresses this challenge, enabling an agent that can navigate any software tool designed for humans. By moving beyond specialized agent-friendly APIs, CUA can adapt to whatever computer environment is available—truly addressing the “long tail” of digital use cases that remain out of reach for most AI models.
We're also working to make CUA available in the API(жаңа терезеде ашылады), so developers can use it to build their own computer-using agents. As we continue to iterate on CUA, we look forward to seeing the different use cases the community will discover. We plan to use the real-world feedback we gather from this early preview to continuously refine CUA’s capabilities and safety mitigations to safely advance our mission of distributing the benefits of AI to everyone.
Авторлар
Дереккөздер
Дәйексөздер
OpenAI-ға сілтеме жасаңыз және дәйексөз келтіру үшін келесі BibTeX-ті пайдаланыңыз: http://cdn.openai.com/cua/cua2025.bib(жаңа терезеде ашылады)