Maak kennis met Operator

Vandaag introduceren we Operator⁠(opent in een nieuw venster), een agent die voor jou taken op internet kan uitvoeren. Met zijn eigen browser kan hij een webpagina bekijken en ermee communiceren door te typen, klikken en scrollen. Het is momenteel een onderzoeksvoorbeeld. Dit betekent dat het beperkingen heeft en zal evolueren op basis van feedback door gebruikers. Operator is een van onze eerste agents. Dat zijn AI's die zelfstandig werk voor je kunnen doen. Je geeft ze een taak en ze voeren die uit.

Operator kan gevraagd worden om een groot aantal repetitieve browsertaken uit te voeren, zoals formulieren invullen, boodschappen bestellen en zelfs memes maken. De mogelijkheid om dezelfde interfaces en tools te gebruiken als waar mensen dagelijks mee werken, verbreedt het nut van AI en helpt mensen tijd te besparen bij alledaagse taken, terwijl er nieuwe mogelijkheden voor ondernemingen ontstaan.

Om een veilige en geleidelijke implementatie te garanderen, beginnen we klein. Vanaf vandaag is Operator beschikbaar voor Pro⁠(opent in een nieuw venster)-gebruikers in the VS op operator.chatgpt.com⁠(opent in een nieuw venster). Dit onderzoeksvoorbeeld stelt ons in staat om te leren van onze gebruikers en het bredere ecosysteem en om gaandeweg te verfijnen en te verbeteren. Ons plan is om uit te breiden naar Plus-, Team- en Enterprise-gebruikers en deze mogelijkheden in de toekomst te integreren in ChatGPT.

Operator wordt aangedreven door een nieuw model genaamd Computer-Using Agent (CUA). Door de combinatie van GPT‑4o's vision-capaciteiten met geavanceerd redeneren door versterkend leren, wordt CUA getraind om te interageren met grafische gebruikersinterfaces (GUI's) - de knoppen, menu's en tekstvelden die mensen op een scherm zien.

Operator kan 'zien' (via schermafbeeldingen) en 'interageren' (met alle acties die een muis en toetsenbord mogelijk maken) met een browser, waardoor het kan handelen op internet zonder dat daarvoor aangepaste API-integraties nodig zijn.

Als het uitdagingen tegenkomt of fouten maakt, kan Operator zijn redeneervermogen gebruiken om zichzelf te corrigeren. Als hij vastloopt en hulp nodig heeft, geeft hij de controle gewoon weer terug aan de gebruiker, wat zorgt voor een soepele en coöperatieve ervaring.

Hoewel CUA zich nog in een vroeg stadium bevindt en beperkingen heeft, zet het nieuwe toonaangevende benchmarkresultaten neer in WebArena en WebVoyager, twee belangrijke benchmarks voor browsergebruik. Lees meer over evaluaties en het onderzoek achter Operator in onze onderzoeksblogpost.

Om te beginnen beschrijf je gewoon de taak die je wilt laten uitvoeren en Operator doet de rest. Gebruikers kunnen er op elk moment voor kiezen om de controle over de browser op afstand over te nemen en Operator is getraind om de gebruiker proactief te vragen om de controle over te nemen bij taken waarbij inloggen, betalingsgegevens of het oplossen van CAPTCHA's vereist zijn.

Gebruikers kunnen hun workflows in Operator personaliseren door aangepaste instructies toe te voegen, voor alle sites of voor specifieke sites, zoals het instellen van voorkeuren voor luchtvaartmaatschappijen op Booking.com. Met Operator kunnen gebruikers aanwijzingen opslaan voor snelle toegang op de startpagina, ideaal voor herhaalde taken zoals het bijvullen van boodschappen op Instacart. Net zoals bij het gebruik van meerdere tabbladen in een browser, kunnen gebruikers Operator meerdere taken tegelijk laten uitvoeren door nieuwe conversaties aan te maken, zoals het bestellen van een gepersonaliseerde geëmailleerde mok op Etsy terwijl ze een camping boeken op Hipcamp.

Operator⁠(opent in een nieuw venster) wijzigt AI van een passief hulpmiddel in een actieve deelnemer aan het digitale ecosysteem. Het zal taken voor gebruikers stroomlijnen en de voordelen van agents bieden aan ondernemingen die innovatieve klantervaringen en een hogere conversie willen. We werken samen met ondernemingen als DoorDash, Instacart, OpenTable, Priceline, StubHub, Thumbtack, Uber en andere om ervoor te zorgen dat Operator zich richt op echte behoeften met respect voor gevestigde normen. Naast deze samenwerkingen zien we veel potentieel om de toegankelijkheid en efficiëntie van bepaalde workflows te verbeteren, met name in toepassingen voor de publieke sector. Om deze gebruikssituaties verder te onderzoeken, werken we samen met organisaties zoals de City of Stockton⁠(opent in een nieuw venster) om het eenvoudiger te maken om in te schrijven voor diensten en programma's van de stad.

Ervoor te zorgen dat Operator veilig in gebruik is, vormt een topprioriteit, met drie lagen van beveiliging om misbruik te voorkomen en ervoor te zorgen dat gebruikers de touwtjes stevig in handen hebben. 

Ten eerste wordt Operator getraind om ervoor te zorgen dat de persoon die het gebruikt altijd de controle heeft en op kritieke punten om invoert vraagt.

• Overnamemodus: Operator vraagt de gebruiker om het over te nemen bij het invoeren van gevoelige informatie in de browser, zoals inloggegevens of betalingsinformatie. In de overnamemodus verzamelt of maakt Operator geen schermopnames van informatie die door de gebruiker is ingevoerd. 
• Bevestigingen van gebruikers: Voordat een belangrijke actie wordt afgerond, zoals het indienen van een order of het versturen van een e-mail, moet Operator om goedkeuring vragen.
• Taakbeperkingen: De operator wordt getraind om bepaalde gevoelige taken te weigeren, zoals banktransacties of taken waarbij veel op het spel staat, zoals het nemen van een beslissing over een sollicitatie.
• Kijkmodus: Op bijzonder gevoelige sites, zoals voor e-mail of financiële diensten, vereist Operator nauwlettend toezicht op handelingen, zodat gebruikers eventuele fouten direct kunnen opmerken.

Vervolgens hebben we het eenvoudig gemaakt om gegevensprivacy in Operator te beheren. 

• Training opt-out: Als je 'Verbeter het model voor iedereen' uitschakelt in de instellingen van ChatGPT, worden gegevens in Operator tevens niet gebruikt om onze modellen te trainen. 
• Transparant gegevensbeheer: Gebruikers kunnen alle browsergegevens wissen en zich afmelden bij alle sites met één klik onder het Privacy-gedeelte van Operator-instellingen. Eerdere gesprekken in Operator kunnen ook met één klik worden verwijderd.

Tot slot hebben we verdedigingen gebouwd tegen vijandige websites die Operator kunnen proberen te misleiden via verborgen aanwijzingen, kwaadaardige code of phishing-pogingen:

• Voorzichtige navigatie: Operator is ontworpen om promptinjecties te detecteren en te negeren.
• Bewaking: Een speciaal 'bewakingsmodel' let op verdacht gedrag en kan de taak pauzeren als er iets mis lijkt te zijn.
• Detectiepijplijn: Geautomatiseerde en menselijke controleprocessen identificeren voortdurend nieuwe bedreigingen en werken beveiligingen snel bij.

We weten dat kwaadwillenden deze technologie mogelijk zullen proberen te misbruiken. Daarom hebben we Operator ontworpen om schadelijke verzoeken te weigeren en niet-toegestane inhoud te blokkeren. Onze moderatiesystemen kunnen waarschuwingen geven of zelfs de toegang intrekken bij herhaalde overtredingen en we hebben extra controleprocessen geïntegreerd om misbruik op te sporen en aan te pakken. We bieden ook richtlijnen over hoe om te gaan met Operator in overeenstemming met ons Gebruiksbeleid.

Hoewel Operator met deze beveiligingen is ontworpen, is geen enkel systeem foutloos en dit is nog steeds een voorbeeld van onderzoek; we streven naar voortdurende verbetering door middel van feedback uit de praktijk en rigoureuze tests. Ga voor meer informatie over onze aanpak naar het veiligheidsgedeelte van de Operator-onderzoeksblog.

Operator bevindt zich momenteel in een vroeg onderzoeksstadium en hoewel het al in staat is om een breed scala aan taken uit te voeren, is het nog steeds aan het leren en evolueren en kan het fouten maken. Op dit moment ondervindt het bijvoorbeeld uitdagingen met complexe interfaces zoals het maken van diavoorstellingen of het beheren van kalenders. Vroege feedback van gebruikers zal een cruciale rol spelen bij het verbeteren van de nauwkeurigheid, betrouwbaarheid en veiligheid en ons helpen Operator beter te maken voor iedereen.

CUA in de API: We zijn van plan om het model dat Operator aandrijft, CUA , binnenkort te publiceren in de API, zodat ontwikkelaars het kunnen gebruiken om hun eigen computer-using agents te bouwen. 

Verbeterde mogelijkheden: We blijven het vermogen van Operator om langere en complexere workflows te verwerken verbeteren.

Bredere toegang: We zijn van plan om Operator⁠(opent in een nieuw venster) in de toekomst uit te breiden naar Plus-, Team- en Enterprise-gebruikers en de mogelijkheden ervan rechtstreeks in ChatGPT te integreren zodra we vertrouwen hebben in de veiligheid en bruikbaarheid ervan op schaal, zodat we naadloze en asynchrone taakuitvoering in realtime kunnen ontsluiten.