Datoranvändande agent

Idag lanserade vi en förhandsgranskning av Operator⁠(öppnas i ett nytt fönster), en agent som kan ta sig ut på webben och utföra uppgifter åt dig. Operator drivs av Datoranvändande agent (CUA), en modell som kombinerar GPT‑4o:s visionskapaciteter med avancerat resonemang via förstärkningsinlärning. Datoranvändande agent har tränats i att interagera med grafiska användargränssnitt (GUI) – knapparna, menyerna och textfälten som visas på en skärm – precis som människor gör. Det ger den flexibiliteten att utföra digitala uppgifter utan API:er, som är specifika för ett visst operativsystem eller webbläsare. 

Datoranvändande agent bygger på åratal av grundläggande forskning i skärningspunkten mellan multimodal förståelse och resonemang. Genom en kombination av avancerad GUI-förnimmelse och strukturerad problemlösning kan den dela upp uppgifter i flerstegsplaner och självkorrigera när problem uppstår. Den här förmågan är nästa steg i AI-utvecklingen och innebär att modeller kan använda samma verktyg som människor förlitar sig på till vardags, något som möjliggör en hel rad nya användningsområden.

Datoranvändande agent är fortfarande i ett tidigt skede och har vissa begränsningar, men har uppnått nya, oöverträffade riktmärken med 38,1 % framgångsfrekvens på OSWorld med datorbaserade uppgifter, samt 58,1 % på WebArena och 87 % på WebVoyager för webbaserade uppgifter. Dessa resultat påvisar CUA:s förmåga att navigera och arbeta med flera olika miljöer via ett enda allmänt åtgärdsutrymme. 

Vi har utvecklat en CUA med säkerhet som högsta prioritet för att ta itu med de utmaningar det innebär att ha en agent med åtkomst till den digitala världen, något som beskrivs i vårt systemkort för Operator. I linje med vår iterativa distributionsstrategi lanserar vi till att börja med CUA via en förhandsgranskning av Operator på operator.chatgpt.com⁠(öppnas i ett nytt fönster) för Pro⁠(öppnas i ett nytt fönster)-användare i USA. Genom att samla in feedback från den verkliga världen kan vi förfina säkerhetsåtgärderna och införa kontinuerliga förbättringar medan vi förbereder oss på en framtid där digitala agenter blir allt vanligare.

CUA bearbetar råa pixeldata för att tolka vad som händer på skärmen och använder en virtuell muspekare och ett virtuellt tangentbord för att slutföra åtgärder. Den kan navigera uppgifter i flera steg, hantera fel och anpassa sig till oväntade förändringar. Därigenom kan CUA arbeta i en rad olika digitala miljöer och utföra uppgifter som att fylla i formulär och navigera på webbplatser utan specialiserade API:er.

Med användarinstruktioner arbetar CUA genom en iterativ loop som omfattar förnimmelse, resonemang och handling:

• Förnimmelse: Skärmdumpar från datorn läggs till i modellens kontext, vilket ger en visuell ögonblicksbild av datorns aktuella status. 
• Resonemang: CUA resonerar sig igenom kommande steg med hjälp av tankekedjor, som tar i beaktande nuvarande och tidigare skärmdumpar och åtgärder. Denna inre monolog förbättrar uppgifternas resultat eftersom den gör det möjligt för modellen att utvärdera sina observationer, spåra mellanliggande steg och anpassa sig på ett dynamiskt sätt.
• Handling: Den utför åtgärden – klickar, bläddrar eller skriver – tills den beslutar att uppgiften är slutförd eller att användarindata krävs. CUA hanterar de flesta stegen automatiskt, men ber användaren att bekräfta känsliga åtgärder, som att ange inloggningsuppgifter eller besvara CAPTCHA-formulär.

CUA uppnår oöverträffade riktmärken både vad gäller dator- och webbläsaranvändning genom att den använder samma universella gränssnitt bestående av skärm, muspekare och tangentbord.

Följande visualisering visar exempel på hur CUA hanterar olika standardiserade OSWorld-uppgifter.

Eftersom CUA är en av våra första agentprodukter med förmågan att vidta åtgärder direkt i en webbläsare, innebär den även nya risker och problem. Under förberedelserna inför lanseringen av Operator genomförde vi omfattande säkerhetstestning och implementerade begränsningar inom tre huvudgrupper av säkerhetsrisker: missbruk, modellmisstag och risker relaterade till spjutspetsteknik. Vi anser att säkerhetsrisker måste hanteras med en metod i flera lager, och har därför etablerat skyddsmekanismer i hela distributionskontexten: själva CUA-modellen, Operator-systemet och processer efter distribution. Målet är att införa begräsningar på begränsningar, så att varje lager minskar risken ytterligare.

Den första riskkategorin är missbruk. Utöver kravet att alla användare följer våra användningspolicyer har vi även infört följande begränsningar i syfte att minska risken för att Operator ska orsaka skada på grund av missbruk. Detta arbete grundar sig på säkerhetsåtgärderna kring GPT‑4o:

• Vägran: CUA-modellen har tränats att vägra utföra många slags skadliga uppgifter och olagliga eller begränsade aktiviteter.
• Blockeringslista: Operator har inte åtkomst till webbplatser som vi har blockerat på förhand, till exempel många spelsidor, vuxenunderhållning och drog- eller vapenhandlare.
• Moderering: Användarinteraktioner granskas i realtid av automatiserade kontrollanter vars uppgift det är att säkerställa att användningspolicyerna följs, och som kan utfärda varningar om, eller blockera, förbjudna aktiviteter. 
• Upptäckt offline: Vi har även automatiserade upptäcktsmekanismer och flöden för mänsklig granskning där förbjudna användningsfall inom prioriterade områden kan identifieras, till exempel hot mot barns säkerhet och bedrägliga aktiviteter. Detta hjälper oss att verkställa våra användningspolicyer.

Den andra riskkategorin är modellmisstag, där CUA-modellen av misstag vidtar åtgärder som användaren inte haft för avsikt att vidta, vilket i sin tur skadar användaren eller andra. Hypotetiska misstag kan vara av olika allvarlighetsgrad, allt från ett stavfel i ett e-postmeddelande till köp av fel produkt eller permanent borttagning av ett viktigt dokument. För att minimera den potentiella skada detta kan medföra har vi tagit fram följande begränsningar:

• Användarbekräftelser: CUA-modellen har tränats att be om bekräftelse från användaren innan den slutför uppgifter med externa bieffekter, till exempel om en beställning eller ett e-postmeddelande eller liknande skickas. Användaren kan då granska modellens arbete innan någon permanent åtgärd vidtas.
• Begränsningar av uppgifter: I nuläget vägrar CUA-modellen att hjälpa till med mer riskabla uppgifter, som banköverföringar och uppgifter som kräver att känsliga beslut fattas.
• Övervakningsläge: På särskilt känsliga webbplatser, till exempel i e-postprogram, måste Operator aktivt övervakas av användaren, så att användaren snabbt kan identifiera och ta itu med potentiella misstag som modellen begått.

En särskilt viktig kategori av modellmisstag är fientliga angrepp på webbplatser, som gör att CUA-modellen vidtar oförutsedda åtgärder som svar på försök att ange prompter, behörighetsintrång och nätfiske. Utöver ovanstående begränsningar av modellmisstag har vi även tagit fram ytterligare skyddslager i relation till dessa risker:

• Försiktig navigering: CUA-modellen identifierar och ignorerar försök att ange prompter på webbplatser, något den lyckades med i alla fall utom ett under tidig red-teams-session
• Övervakning: I Operator har vi implementerat ytterligare en modell som övervakar och pausar åtgärder om den hittar misstänkt innehåll på skärmen.
• Detekteringskedja: Vi använder både automatiserad upptäckt och mänskliga granskningsflöden för att identifiera misstänkta åtkomstmönster som kan markeras med en varningsflagga och snabbt sättas under övervakning (inom några timmar).

Slutligen har vi utvärderat CUA-modellen i förhållande till risker relaterade till spjutspetsteknik, vilket beskrivs i vårt beredskapsramverk⁠(öppnas i ett nytt fönster). Detta omfattar bland annat scenarier med automatisk replikering och verktyg för att hantera risker med biologiska ämnen. Dessa utvärderingar påvisade inte någon förhöjd risk jämfört med GPT‑4o.

Om du vill granska utvärderingarna och skydden närmare kan du läsa systemkortet för Operator, ett aktivt dokument som ger insyn i vårt säkerhetsarbete och våra pågående förbättringar.

Många av förmågorna i Operator är nya, och nya är även de risker och begränsningar som vi handskas med.  Vårt mål är att skapa toppmoderna, diversifierade och kompletterande begränsningar, men vi räknar också med att både riskerna och våra metoder kommer att förändras med tiden. Vi hoppas att perioden med en förhandsgranskningsversion ska ge oss en möjlighet att samla in feedback från användare, förfina våra skyddsåtgärder och göra agenten säkrare.

CUA bygger på åratal av forskningsframsteg inom områdena multimodalitet, resonemang och säkerhet. Vi har gjort stora framsteg inom djup research med o-modellerna, inom synförmåga med GPT‑4o och funnit nya tekniker för att skapa stabilare modeller med hjälp av förstärkningsinlärning och instruktionshierarkier. Nästa utmaning handlar om att utöka agenternas handlingsutrymme. Det är ett problem som det flexibla, universella gränssnittet syftar till att lösa, så att agenten kan använda alla mjukvaruverktyg som skapats för människor. Genom att gå bortom specialiserade API:er för agenter har CUA möjlighet att anpassa sig till alla slags datormiljöer – något som möjliggör många fler digitala användningsfall än de flesta AI-modeller kan hantera.

Vi arbetar dessutom med att göra CUA tillgängligt i API:et⁠(öppnas i ett nytt fönster), så att utvecklare kan använda den för att bygga egna datoranvändande agenter. Vi fortsätter att förbättra CUA och ser fram emot de olika användningsfall som vår community kommer att hitta. Vår plan är att använda insamlad feedback från verkliga användare av den här tidiga förhandsgranskningen för att kontinuerligt förfina CUA:s förmågor och säkerhetsmekanismer, så att vi på ett säkert sätt kan fortsätta med vårt uppdrag att ge alla tillgång till fördelarna med AI.