Databrukende agent

I dag lanserer vi en utprøvingsversjon av Operator⁠(åpnes i et nytt vindu), en agent som kan gå på nettet for å utføre oppgaver for deg. Operator drives av databrukende agent (CUA (DBA)), en modell som kombinerer synsfunksjonaliteten til GPT‑4o med avansert resonnement via forsterkende læring. CUA (DBA) er opplært til å samhandle med grafiske brukergrensesnitt (GUI-er) – knappene, menyene og tekstfeltene folk ser på en skjerm – akkurat som mennesker. Dette gir fleksibiliteten til å utføre digitale oppgaver uten å bruke API-er spesifikke for operativsystem eller nettet. 

CUA (DBA) bygger på mange års grunnleggende forskning ved skjæringspunktet til multimodal forståelse og resonnement. Ved å kombinere avansert GUI-persepsjon med strukturert problemløsning kan den dele oppgaver inn i planer på flere trinn og selvkorrigere når utfordringer oppstår. Denne funksjonaliteten utgjør det neste trinnet innen AI-utvikling, noe som lar modeller bruke de samme verktøyene som mennesker bruker hver dag, og åpner døren til en rekke nye bruksområder.

Selv om CUA (DBA) fremdeles er tidlig og har begrensninger, oppnår den resultater på nye toppmoderne referansemålinger, og har 38,1 % suksessrate på OSWorld for oppgaver med full datamaskinbruk, og 58,1 % på WebArena og 87 % på WebVoyager for nettbaserte oppgaver. Disse resultatene fremhever evnen CUA (DBA) har til å navigere og operere mellom forskjellige miljøer med et enkelt generelt handlingsområde. 

Vi har utviklet CUA (DBA) med sikkerhet som høyeste prioritet for å håndtere utfordringene fra en agent som har tilgang til den digitale verdenen, som forklart i Operator-systemkortet. I tråd med strategien vår for iterativ utrulling lanserer vi CUA (DBA) gjennom en utprøvingsversjon av Operator på operator.chatgpt.com⁠(åpnes i et nytt vindu) for brukere på Pro⁠(åpnes i et nytt vindu)-nivå i USA som en start. Ved å samle inn tilbakemelding fra den virkelige verdenen kan vi fininnstille sikkerhetstiltak og kontinuerlig forbedre oss når vi forbereder oss for en fremtid med økende bruk av digitale agenter.

CUA (DBA) behandler rå pikseldata for å forstå hva som skjer på skjermen, og bruker en virtuell mus og et virtuelt tastatur for å fullføre handlinger. Den kan navigere oppgaver med flere trinn, håndtere feil og tilpasse seg etter uventede endringer. Dette lar CUA (DBA) handle i et bredt spekter av digitale miljøer, utføre oppgaver som å fylle ut skjemaer og navigere på nettsteder uten behov for spesialiserte API-er.

Basert på veiledning fra en bruker opererer CUA (DBA) gjennom en iterativ sløyfe som integrerer persepsjon, resonnement og handling:

• Persepsjon: Skjermbilder fra datamaskinen legges til i modellkonteksten, noe som gir et visuelt øyeblikksbilde av den nåværende tilstanden til datamaskinen. 
• Resonnement: CUA (DBA) resonnerer seg gjennom de neste trinnene ved bruk av tankerekke, og tar hensyn til gjeldende og tidligere skjermbilder og handlinger. Denne indre monologen forbedrer oppgaveytelse ved å la modellen evaluere observasjonene sine, spore mellomtrinn og tilpasse seg dynamisk.
• Handling: Den utfører handlingene – klikke, rulle eller skrive – til den fastslår at oppgaven er fullført eller brukerinndata kreves. Selv om den håndterer de fleste trinnene automatisk, ber CUA (DBA) om brukerbekreftelse for sensitive handlinger som innskriving av påloggingsinformasjon eller svar på CAPTCHA-skjemaer.

CUA (DBA) etablerer et nytt toppnivå innen referansemålinger for både datamaskin- og nettleserbruk ved å bruke samme universelle grensesnitt til skjerm, mus og tastatur.

De følgende visualiseringene viser eksempler på CUA (DBA) som navigerer i en rekke standardiserte OSWorld-oppgaver.

Siden CUA (DBA) er et av de første agentiske produktene våre med evnen til å utføre handlinger direkte i en nettleser, medfører den nye risikoer og utfordringer vi må takle. Som vi forberedte for utrullingen av Operator, utførte vi omfattende sikkerhetstesting og implementerte tiltak i tre store klasser med sikkerhetsrisikoer: feilaktig bruk, modellfeil og ukjente risikolandskap. Vi mener at det er viktig å ha en lagvis tilnærmelse til sikkerhet, så vi implementerte tiltak over hele utrullingskonteksten: selve CUA (DBA)-modellen, Operator-systemet og prosessene etter utrulling. Målet er å ha tiltak som stables, der hvert lag i økende grad reduserer risikoprofilen.

Den første risikokategorien er feilaktig bruk. I tillegg til å kreve at brukerne våre overholder våre retningslinjer for bruk, har vi utformet de følgende tiltakene for å redusere Operators risiko for skade på grunn av uriktig bruk, basert på vårt sikkerhetsarbeid for GPT‑4o:

• Nektelser: CUA (DBA)-modellen er opplært til å nekte mange skadelige oppgaver og ulovlige eller regulerte aktiviteter.
• Blokkeringsliste: Operator har ikke tilgang til nettsteder vi har blokkert på forhånd, for eksempel mange gamblingnettsteder, underholdning for voksne og forhandlere av legemidler eller våpen.
• Moderering: Brukersamhandlinger blir gjennomgått i sanntid av automatiserte sikkerhetskontrollere, som er utformet for å sikre overholdelse av retningslinjene for bruk og har evnen til å utstede advarsler eller blokkere for forbudt aktivitet. 
• Registrering uten nett: Vi har også utviklet automatisert registrering og prosesser for menneskelig gjennomgang for å identifisere forbudt bruk i prioriterte områder av retningslinjene, inkludert barnesikkerhet og villedende aktiviteter, noe som lar oss håndheve retningslinjene for bruk.

Den andre risikokategorien er modellfeil, der CUA (DBA)-modellen utilsiktet gjør en handling brukeren ikke hadde til hensikt, som deretter forårsaker skade for brukerne eller andre. Hypotetiske feil kan ha forskjellig alvorlighetsgrad, fra en skrivefeil i en e-post, til å kjøpe feil vare eller å slette et viktig dokument permanent. For å minimere potensiell skade har vi utviklet de følgende tiltakene:

• Brukerbekreftelser: CUA (DBA)-modellen er opplært til å be om brukerbekreftelse før fullførelse av oppgaver med eksterne bivirkninger, for eksempel før innsending av en bestilling, sending av en e-post osv., slik at brukeren kan dobbelsjekke arbeidet til modellen før det blir permanent.
• Begrensninger av oppgaver: Inntil videre kommer CUA (DBA)-modellen til å nekte å hjelpe med visse oppgaver med høyere risiko, for eksempel banktransaksjoner og oppgaver som krever sensitive beslutninger.
• Observasjonsmodus: På spesielt sensitive nettsteder, for eksempel e-post, krever Operator aktivt brukertilsyn, noe som sikrer at brukere kan fange opp og håndtere eventuelle potensielle feil modellen kan gjøre.

En spesielt viktig kategori av modellfeil er fiendtlige angrep på nettsteder som fører til at CUA (DBA)-modellen utfører utilsiktede handlinger, via innsetting av meldinger, jailbreaking og forsøk på nettfisking. I tillegg til de førnevnte tiltakene mot modellfeil har vi utviklet flere ekstra lag med forsvar for å beskytte mot disse risikoene:

• Varsom navigering: CUA (DBA)-modellen er utformet til å identifisere og ignorere innsetting av meldinger på nettsteder, og gjenkjente alle bortsett fra ett tilfelle fra en tidlig intern red team-økt.
• Overvåking: I Operator har vi implementert en ytterligere modell for å overvåke og sette utførelse på pause hvis den oppdager mistenkelig innhold på skjermen.
• Registreringsprosess: Vi benytter både automatisert registrering og prosesser for menneskelig gjennomgang, for å identifisere mistenkelige tilgangsmønstre som kan flagges og raskt legges til i overvåkningen (i løpet av noen få timer).

Til slutt evaluerte vi CUA (DBA)-modellen mot ukjente risikolandskap som forklares i beredskapsrammeverket⁠(åpnes i et nytt vindu), inkludert scenarioer som involverer autonom replisering og verktøy med biologisk risiko. Disse vurderingene viste ingen inkrementell risiko i tillegg til GPT‑4o.

For de som er interessert i å utforske evalueringene og beskyttelsesmekanismene i mer detalj, oppmuntrer vi til å gjennomgå Operator-systemkortet, et levende dokument som gir åpenhet om sikkerhetstilnærmelsen vår og løpende forbedringer.

Siden mange av Operator-funksjonalitetene er nye, gjelder det samme for risikoene og tiltakstilnærmelsene vi har implementert.  Selv om vi har hatt mål om toppmoderne, allsidige og utfyllende tiltak, forventer vi at disse risikoene og tilnærmelsen vår blir utviklet når vi lærer mer. Vi ser frem til å bruke perioden med utprøvingsversjonen til å samle inn brukertilbakemeldinger, finjustere beskyttelsene og forbedre agentisk sikkerhet.

CUA (DBA) er basert på flere års forskningsfremskritt innen multimodalitet, resonnement og sikkerhet. Vi har hatt betydelig fremdrift innen dypt resonnement via o-modellserien, synsfunksjonalitet via GPT‑4o og nye teknikker for å forbedre robusthet via forsterkende læring og instruksjonshierarki. Det neste utfordringsområdet vi planlegger å utforske, er utvidelse av handlingsområdet for agenter. Fleksibiliteten vi får fra et universelt grensesnitt, takler denne utfordringen og muliggjør en agent som kan navigere hvilke som helst programvareverktøy som er designet for mennesker. Ved å gå utover spesialiserte agentvennlige API-er kan CUA (DBA) tilpasse seg etter hvilket som helst datamaskinmiljø som er tilgjengelig, og virkelig håndtere den «lange halen» til digitale bruksområder som fremdeles er utilgjengelig for de fleste AI-modeller.

Vi jobber også med å gjøre CUA (DBA) tilgjengelig i API-et⁠(åpnes i et nytt vindu), slik at utviklere kan bruke den til å bygge sine egne databrukende agenter. Når vi fortsetter å iterere på CUA (DBA), ser vi frem til å se de forskjellige bruksområdene fellesskapet kommer til å oppdage. Vi planlegger å bruke innsamlede tilbakemeldinger fra den virkelige verdenen fra denne tidlige forhåndsvisningen, til å kontinuerlig fininnstille funksjonaliteten og sikkerhetstiltakene til CUA (DBA) for å trygt utvikle målet vårt om å distribuere fordelene med AI til alle.