Computer-Using Agent

I dag implementerede vi en forskningsversion af Operator⁠(åbner i et nyt vindue), en agent, der kan gå på nettet og udføre opgaver for dig. Bag Operator er vores agent med computeradgang (Computer-Using Agent), en model, der kombinerer GPT‑4o’s synsevner med avanceret tænkning gennem forstærkningslæring. Vores Computer-Using Agent (CUA) er trænet til at interagere med grafiske brugerflader (GUI'er) – de knapper, menuer og tekstfelter, vi ser på en skærm – præcis som et menneske ville gøre. Det giver agenten fleksibilitet til at løse digitale opgaver uden at skulle bruge OS- eller webspecifikke API’er. 

Computer-Using Agent (CUA) bygger videre på flere års grundforskning i krydsfeltet mellem multimodal forståelse og avanceret tænkning. Ved at kombinere avanceret grafisk brugerflade-perception med struktureret problemløsning kan agenten opdele opgaver i flere trin og løbende rette sig selv, når der opstår udfordringer. Denne evne markerer et nyt skridt i AI’s udvikling – modeller kan nu bruge de samme værktøjer, som mennesker benytter i hverdagen, hvilket åbner døren til en lang række nye anvendelsesmuligheder.

Selvom Computer-Using Agent (CUA) stadig er i sin tidlige fase og har sine begrænsninger, sætter den nye standarder med sine resultater – en succesrate på 38, 1% på OSWorld for opgaver med fuld computerbrug og 58,1% på WebArena og 87 % på WebVoyager for webbaserede opgaver. Resultaterne viser Computer-Using Agents (CUA) evne til at navigere og agere i forskellige miljøer via én samlet handlingsramme. 

Vi har udviklet Computer-Using Agent (CUA) med sikkerhed som højeste prioritet, for at imødegå de udfordringer, der følger med, når en agent får adgang til den digitale verden – som beskrevet i vores Systemkort for Operator. I tråd med vores gradvise lanceringsstrategi udgiver vi nu som første skridt vores Computer-Using Agent (CUA) i en forskningsversion af Operator på operator.chatgpt.com⁠(åbner i et nyt vindue) for Pro⁠(åbner i et nyt vindue)-brugere i USA. Ved at indsamle feedback fra brug i virkelige scenarier kan vi finjustere sikkerhedsforanstaltningerne og løbende lave forbedringer, mens vi forbereder os på en fremtid med øget brug af digitale agent-systemer.

Computer-Using Agent (CUA) behandler rå pixeldata for at forstå, hvad der sker på skærmen, og anvender en virtuel mus og et virtuelt tastatur til at udføre handlinger. Den kan navigere gennem flertrins-opgaver, håndtere fejl og tilpasse sig uforudsete ændringer. Det gør Computer-Using Agent (CUA) i stand til at agere i en lang række digitale miljøer og udføre opgaver som at udfylde formularer og navigere på websites – uden behov for specialiserede API’er.

Når brugeren giver en instruktion, arbejder den i et gradvist loop, der integrerer perception, avanceret tænkning og handling:

• Perception: Skærmbilleder fra computeren tilføjes til modellens kontekst og giver et visuelt øjebliksbillede af computerens aktuelle tilstand. 
• Avanceret tænkning: Computer-Using Agent (CUA) ræsonnerer sig gennem de næste trin ved hjælp af tankekæder og tager hensyn til aktuelle og tidligere skærmbilleder og handlinger. Denne indre monolog forbedrer opgaveløsningen ved at gøre det muligt for modellen at evaluere sine observationer, spore mellemliggende trin og tilpasse sig dynamisk.
• Handling: Den udfører handlingerne – klikker, scroller eller skriver – indtil den vurderer, at opgaven er fuldført, eller at der er behov for brugerinput. Mens det håndterer de fleste trin automatisk, søger Computer-Using Agent (CUA) brugerbekræftelse for følsomme handlinger, såsom at indtaste login-oplysninger eller svare på CAPTCHA-formularer.

Computer-Using Agent (CUA) sætter en ny standard i benchmarks for både computer- og browserbrug ved at bruge den samme universelle brugerflade bestående af skærm, mus og tastatur.

De følgende visualiseringer viser eksempler på, hvordan Computer-Using Agent (CUA) navigerer i en række standardiserede OSWorld-opgaver.

Fordi Computer-Using Agent (CUA) er et af vores første produkter, der kan agere og udføre handlinger direkte i en browser, medfører det også nye risici og udfordringer, der skal håndteres. I forbindelse med lanceringen af Operator har vi gennemført omfattende sikkerhedstest og implementeret foranstaltninger, der adresserer tre overordnede kategorier af sikkerhedsrisici: misbrug, model­fejl og frontier-risici. Vi vurderer, at det er vigtigt at anvende en sikkerhedstilgang med flere lag. Derfor har vi indført sikkerhedsforanstaltninger på tværs af hele konteksten for implementeringen – selve modellen, Operator-systemet og de processer, der træder i kraft efter implementeringen. Målet er her at skabe et samlet system af afbødninger, hvor hvert lag gradvist reducerer den samlede risikoprofil.

Den første risikokategori er misbrug. Ud over at kræve, at brugerne overholder vores Retningslinjer for brug, har vi udviklet følgende foranstaltninger for at reducere Operator’s risiko for skade på grund af misbrug, idet vi bygger videre på vores sikkerhedsarbejde for GPT‑4o:

• Nægtelser: Computer-Using Agent-modellen (CUA) er trænet til at afvise mange skadelige opgaver samt ulovlige eller regulerede aktiviteter.
• Blokeringsliste: Operatøren kan ikke tilgå hjemmesider, som vi har blokeret som en forebyggende foranstaltning. Det omfatter f.eks. mange spillesider, voksenunderholdning og forhandlere af stoffer eller våben.
• Moderation: Brugerinteraktioner gennemgås i realtid af automatiserede sikkerhedstjek, som er udviklet til at sikre overholdelse af retningslinjerne for brug og har evnen til at udstede advarsler eller blokeringer ved forbudte aktiviteter. 
• Offline opsporing: Vi har også udviklet automatiseret opsporing og menneskelige gennemgangsprocesser til at identificere forbudt brug inden for prioriterede områder, herunder børnesikkerhed og vildledende aktiviteter, hvilket gør det muligt for os at håndhæve vores retningslinjer for brug.

Den anden risikokategori er modelfejl, hvor Computer-Using Agent-modellen (CUA) ved en fejl udfører en handling, som brugeren ikke havde til hensigt, og som dermed kan forvolde skade på brugeren eller andre. Hypotetiske fejl kan variere i sværhedsgrad, fra en lave en slåfejl i en e-mail, til at købe den forkerte vare, til permanent at slette et vigtigt dokument. For at minimere potentielle skader har vi udviklet følgende foranstaltninger:

• Brugerbekræftelser: Computer-Using Agent-modellen (CUA) er trænet til at bede om brugerens bekræftelse, før den afslutter opgaver med eksterne bivirkninger, som f.eks. før en ordre eller e-mail afsendes, så brugeren kan dobbelttjekke modellens arbejde, før det bliver permanent.
• Begrænsninger på opgaver: Indtil videre vil Computer-Using Agent-modellen (CUA) sige nej til at hjælpe med visse højrisiko-opgaver, som f.eks. banktransaktioner eller opgaver, der kræver følsomme beslutninger.
• Bevågenhedsfunktion: På særligt følsomme websteder, såsom e-mail, kræver Operator aktivt bruger­tilsyn, så brugerne direkte kan opdage og rette eventuelle fejl, modellen eventuelt måtte lave.

En særligt vigtig kategori af modelfejl er konfliktfyldte angreb på hjemmesider, som får Computer-Using Agent-modellen (CUA) til at udføre utilsigtede handlinger gennem indskudte forespørgsler, jailbreaks eller phishingforsøg. Ud over de førnævnte foranstaltninger for at mindske modelfejl har vi udviklet yderligere lag for at beskytte mod disse risici:

• Varsom navigation: Computer-Using Agent-modellen (CUA) er udviklet til at identificere og ignorere indskudte forespørgsler fra websteder og genkender alle på nær ét tilfælde fra en tidlig intern red teaming-session.
• Monitorering: I Operator har vi implementeret en ekstra model til at monitorere og sætte udførslen på pause, hvis den opdager mistænkeligt indhold på skærmen.
• Opsporings-pipeline: Vi anvender både automatiseret opsporing og menneskelig gennemgang til at identificere mistænkelige adgangsmønstre, som kan markeres og hurtigt føjes til monitoren (i løbet af få timer).

Endelig evaluerede vi Computer-Using Agent-modellen (CUA) i forhold til frontier-risici, som er beskrevet i vores Beredskabsramme⁠(åbner i et nyt vindue), herunder scenarier med autonom replikation og værktøjer til biorisici. Disse vurderinger viste ingen øget risiko ud over GPT‑4o.

For dem, der er interesserede i at undersøge vurderingerne og sikkerhedsforanstaltningerne mere i detaljer, opfordrer vi til at læse Systemkortet for Operator, et dokument i udvikling, som giver løbende indsigt i vores sikkerhedstilgang og gradvise forbedringer.

Operators mange muligheder er nye, og det samme er de medfølgende risici og de afhjælpende tiltag, vi implementerer.  Selvom vi har tilstræbt avancerede, forskelligartede og komplementære afværgeforanstaltninger, forventer vi, at disse risici og vores tilgang vil udvikle sig, efterhånden som vi lærer mere. Vi ser frem til at bruge den kommende forskningsperiode på at indsamle brugerfeedback, finjustere vores sikkerhedsforanstaltninger og forbedre sikkerheden.

Brugen af en Computer-Using Agent (CUA) bygger på mange års forskningsfremskridt inden for multimodalitet, ræsonnering og sikkerhed. Vi har gjort markante fremskridt inden for grundig ræsonnering gennem o-modelserien, synsevner gennem GPT‑4o og nye teknikker til at forbedre robustheden gennem forstærkningslæring og hierarkisk instruktion. Den næste udfordring, vi planlægger at udforske, er at udvide agenternes handlingsrum. Den fleksibilitet, en universel brugerflade gør mulig, løser denne udfordring og gør det muligt for en agent at navigere i ethvert softwareværktøj, der er designet til mennesker. Ved at bevæge sig ud over specialiserede agentvenlige API'er kan en Computer-Using Agent (CUA) tilpasse sig ethvert tilgængeligt computermiljø – og virkelig adressere “den lange hale” af digitale use cases, der fortsat er uden for rækkevidde for de fleste AI-modeller.

Vi arbejder også på at gøre Computer-Using Agent (CUA) tilgængelig i API'en⁠(åbner i et nyt vindue), så udviklere kan bruge den til at bygge deres egne Computer-Using Agent (CUA). Mens vi fortsætter udviklingsarbejdet, ser vi frem til at opleve de forskellige use cases, som fællesskabet vil afdække. Vi planlægger at bruge den praktiske feedback, vi indsamler fra forskningsversionen, til løbende at finjustere Computer-Using Agents (CUA) funktioner og sikkerhedsforanstaltninger, så vi sikkert kan fremme vores mission om at gøre fordelene ved AI tilgængelige for alle.