Computer-Using Agent

Vandaag hebben we een onderzoeksversie van Operator⁠(opent in een nieuw venster) geïntroduceerd, een agent die het internet op kan gaan om taken voor je uit te voeren. Operator wordt aangestuurd door Computer-Using Agent (CUA), een model dat de visuele capaciteiten van GPT‑4o combineert met geavanceerd redeneren door middel van versterkend leren. CUA is getraind om te communiceren met grafische gebruikersinterfaces (GUI's): de knoppen, menu's en tekstvelden die mensen op een scherm zien, net zoals mensen dat doen. Dit geeft het de flexibiliteit om digitale taken uit te voeren zonder gebruik te maken van OS- of webspecifieke API's. 

CUA bouwt voort op jarenlang fundamenteel onderzoek op het snijvlak van multimodaal begrijpen en redeneren. Door geavanceerde GUI-perceptie te combineren met gestructureerde probleemoplossing kan het taken opsplitsen in meerstappenplannen en zichzelf aanpassen en corrigeren wanneer er zich uitdagingen voordoen. Dit vermogen markeert de volgende stap in de ontwikkeling van AI: modellen die gebruik kunnen maken van dezelfde gereedschappen als waar mensen dagelijks op vertrouwen, waarmee de deur wordt opengezet voor een enorm scala aan nieuwe toepassingen.

Hoewel CUA nog in de kinderschoenen staat en beperkingen heeft, zet het nieuwe toonaangevende benchmarkresultaten neer, met een succespercentage van 38,1% op OSWorld voor volledige computertaken, en 58,1% op WebArena en 87% op WebVoyager voor webgebaseerde taken. Deze resultaten geven een duidelijke indruk van het vermogen van CUA om te navigeren en te werken in verschillende omgevingen met behulp van een enkele algemene actieruimte. 

We hebben CUA ontwikkeld met veiligheid als topprioriteit om de uitdagingen van een agent die toegang heeft tot de digitale wereld aan te pakken, zoals beschreven in onze Operator-systeemkaart. In lijn met onze iteratieve implementatiestrategie, brengen we CUA uit via een onderzoeksversie van Operator op operator.chatgpt.com, om te beginnen⁠(opent in een nieuw venster) voor Pro⁠(opent in een nieuw venster) Tier-gebruikers in de VS. Door feedback uit de praktijk te verzamelen, kunnen we veiligheidsmaatregelen verfijnen en continu verbeteren bij de voorbereiding op een toekomst met een toenemend gebruik van digitale agenten.

CUA verwerkt ruwe pixelgegevens om inzicht te krijgen in wat er op het scherm gebeurt en gebruikt een virtuele muis en toetsenbord om acties uit te voeren. Het kan door taken met meerdere stappen navigeren, fouten afhandelen en zich aanpassen aan onverwachte veranderingen. Hierdoor kan CUA in een groot aantal digitale omgevingen werken en taken uitvoeren zoals het invullen van formulieren en het navigeren door websites zonder dat daar gespecialiseerde API's voor nodig zijn.

Volgens de instructies van een gebruiker werkt CUA via een terugkoppelingslus die percipiëren, redeneren en handelen integreert:

• Percipiëren: Schermafbeeldingen van de computer worden toegevoegd aan de context van het model en geven een visuele momentopname van de huidige toestand van de computer. 
• Redeneren: CUA redeneert door de volgende stappen met behulp van Chain-of-Thought, rekening houdend met huidige en eerdere schermafbeeldingen en acties. Deze innerlijke monoloog verbetert de taakprestaties doordat het model de eigen waarnemingen kan evalueren, tussenstappen kan volgen en zich dynamisch kan aanpassen.
• Handelen: Het voert de handelingen uit (klikken, scrollen of typen), totdat het besluit dat de taak is voltooid of invoer van de gebruiker nodig is. Hoewel de meeste stappen automatisch worden uitgevoerd, vraagt CUA om bevestiging van de gebruiker voor gevoelige handelingen, zoals het invoeren van inloggegevens of het reageren op CAPTCHA-formulieren.

CUA creëert een nieuwe state-of-the-art in zowel benchmarks voor computergebruik als browsergebruik door gebruik te maken van dezelfde universele interface van scherm, muis en toetsenbord.

De volgende visualisaties tonen voorbeelden van CUA bij het navigeren door een verscheidenheid aan gestandaardiseerde OSWorld-taken.

Omdat CUA een van onze eerste agent-producten is dat rechtstreeks in een browser kan werken, brengt het nieuwe risico's en uitdagingen met zich mee. Bij de voorbereiding op het inzetten van Operator hebben we uitgebreide veiligheidstests uitgevoerd en risicobeperkende maatregelen geïmplementeerd voor drie grote groepen veiligheidsrisico's: misbruik, modelfouten en grensrisico's. We geloven dat het belangrijk is om een gelaagde benadering van veiligheid te hanteren, dus we hebben veiligheidsmaatregelen aangebracht in de hele implementatiecontext: het CUA-model zelf, het Operator-systeem en de processen na de implementatie. Het doel is om risicobeperkende maatregelen toe te passen die bij elkaar opgeteld kunnen worden, waarbij elke laag het risicoprofiel stapsgewijs vermindert.

De eerste risicocategorie is misbruik. Naast de eis dat gebruikers zich houden aan ons Gebruiksbeleid, hebben we de volgende risicobeperkende maatregelen genomen om het risico op schade door misbruik bij Operator te verminderen,waarbij we voort hebben gebouwd op ons veiligheidswerk voor GPT‑4o:

• Weigeringen: Het CUA-model wordt getraind om veel schadelijke taken en illegale of gereguleerde activiteiten te weigeren.
• Blokkeerlijst: Operator heeft geen toegang tot websites die we preventief hebben geblokkeerd, zoals veel goksites, erotische sites en drugs- of wapenwinkels.
• Moderatie: Gebruikersinteracties worden in realtime door geautomatiseerde veiligheidscontroles gecontroleerd op naleving van het Gebruiksbeleid. Deze kunnen waarschuwingen of blokkades opwerpen voor verboden activiteiten. 
• Offline-detectie: We hebben ook geautomatiseerde detectie- en menselijke controlepijplijnen ontwikkeld om verboden gebruik op te sporen in gebieden met hoge prioriteit, zoals de veiligheid van kinderen en misleidende activiteiten. Daarmee kunnen we ons Gebruiksbeleid uitvoeren.

De tweede risicocategorie bestaat uit modelfouten, waarbij het CUA-model per ongeluk een handeling uitvoert die niet de bedoeling was van de gebruiker, wat vervolgens schade toebrengt aan de gebruiker of anderen. Hypothetische fouten kunnen variëren in ernst, van een typefout in een e-mail tot het kopen van het verkeerde artikel tot het permanent verwijderen van een belangrijk document. Om mogelijke schade te beperken, hebben we de volgende maatregelen genomen:

• Bevestigingen van gebruikers: Het CUA-model wordt getraind om bevestiging van de gebruiker te vragen voordat taken met externe neveneffecten worden afgerond, bijvoorbeeld voordat een bestelling wordt geplaatst, een e-mail wordt verstuurd. Zo kan de gebruiker het werk van het model controleren voordat het niet meer ongedaan kan worden gemaakt.
• Beperkingen van taken: Voorlopig zal het CUA-model weigeren om te helpen bij bepaalde taken met een hoog risico, zoals banktransacties en taken waarvoor gevoelige beslissingen nodig zijn.
• Kijkmodus: Op bijzonder gevoelige websites, zoals e-mail, vereist Operator actief toezicht van de gebruiker, zodat gebruikers eventuele fouten van het model direct kunnen opmerken en aanpakken.

Een bijzonder belangrijke categorie van modelfouten zijn vijandige aanvallen op websites die er door middel van promptinjecties, jailbreaks en phishingpogingen voor zorgen dat het CUA-model onbedoelde acties onderneemt. Naast de eerder genoemde maatregelen tegen modelfouten, hebben we verschillende extra verdedigingslagen ontwikkeld om ons tegen deze risico's te beschermen:

• Voorzichtige navigatie: Het CUA-model is ontworpen om promptinjecties op websites op te merken en te negeren en herkende op één na alle gevallen van een vroege interne red-teaming sessie.
• Bewaking: In Operator hebben we een extra model geïmplementeerd om de uitvoering te controleren en te pauzeren als het verdachte inhoud op het scherm detecteert.
• Detectiepijplijn: We passen zowel geautomatiseerde detectie als menselijke controlepijplijnen toe om verdachte toegangspatronen op te sporen die kunnen worden gemarkeerd en snel aan de monitor kunnen worden toegevoegd (binnen enkele uren).

Tot slot hebben we het CUA-model geëvalueerd op basis van grensrisico's die in ons Preparedness Framework⁠(opent in een nieuw venster) zijn beschreven, waaronder scenario's met autonome replicatie en biorisicotooling. Deze beoordelingen toonden geen bijkomend risico bovenop GPT‑4o.

Aan degenen die de evaluaties en veiligheidsmaatregelen nader willen verkennen, raden we aan de Systeemkaart Operator te bekijken, een levend document dat een helder inzicht geeft in onze veiligheidsaanpak en voortdurende verbeteringen.

Omdat veel van de mogelijkheden van Operator nieuw zijn, zijn ook de risico's en risicobeperkende benaderingen die we hebben geïmplementeerd nieuw.  Hoewel we hebben gestreefd naar geavanceerde, diverse en complementaire risicobeperkende maatregelen, verwachten we dat deze risico's en onze aanpak zullen evolueren hoe meer we te weten komen. We kijken ernaar uit om de onderzoeksversie te gebruiken als een kans om feedback van gebruikers te verzamelen, onze beveiligingen te verfijnen en de veiligheid van agenten te verbeteren.

CUA bouwt voort op jaren van onderzoek naar multimodaliteit, redeneren en veiligheid. We hebben aanzienlijke vooruitgang geboekt op het gebied van diep redeneren door middel van de o-modelreeks, visuele capaciteiten via GPT‑4o en nieuwe technieken om robuustheid te verbeteren door middel van versterkend leren en instructiehiërarchie. De volgende uitdaging die we willen verkennen is de uitbreiding van de handelingsruimte van agenten. De flexibiliteit die een universele interface biedt, gaat deze uitdaging aan en maakt een agent mogelijk die kan navigeren door elk softwareprogramma dat voor mensen is ontworpen. Door verder te kijken dan gespecialiseerde agent-vriendelijke API's kan CUA zich aanpassen aan elke computeromgeving die beschikbaar is, echt een oplossing voor de 'lange staart' van digitale gebruikssituaties die buiten bereik blijven van de meeste AI-modellen.

We werken er ook aan om CUA beschikbaar te maken in de API⁠(opent in een nieuw venster), zodat ontwikkelaars het kunnen gebruiken om hun eigen computergebruikende agenten te bouwen. Bij de verdere ontwikkeling van CUA, kijken we uit naar de verschillende gebruiksmogelijkheden die de community zal ontdekken. We zijn van plan om de feedback uit de praktijk die we verzamelen uit deze eerste versie te gebruiken om de mogelijkheden en veiligheidsmaatregelen van CUA voortdurend te verfijnen om onze missie, het verspreiden van de voordelen van AI onder iedereen, op een veilige manier waar te maken.