Operatore che utilizza il computer

Oggi abbiamo presentato un'anteprima sperimentale di Operator⁠(si apre in una nuova finestra), un agente in grado di navigare sul web per svolgere attività al tuo posto. Il cuore di Operator è operatore che utilizza il computer (OUC), un modello che unisce le capacità visive di GPT‑4o a un ragionamento avanzato tramite l'apprendimento per rinforzo. OUC è addestrato per interagire con le interfacce grafiche utente (GUI), ovvero pulsanti, menu e campi di testo che le persone vedono sullo schermo, proprio come farebbe un essere umano. Ciò gli permette di eseguire attività digitali senza bisogno di API specifiche per sistemi operativi o web. 

OUC nasce da anni di ricerca di base all'intersezione tra comprensione multimodale e ragionamento. Combinando una percezione avanzata delle GUI con capacità strutturate di risoluzione dei problemi, è in grado di suddividere le attività in piani a più passaggi e di auto-correggersi in modo adattivo in caso di difficoltà. Questa capacità rappresenta un passo avanti nello sviluppo dell'IA in quanto permette ai modelli di usare gli stessi strumenti impiegati quotidianamente dagli esseri umani e apre la strada a una vasta gamma di nuove applicazioni.

Sebbene OUC sia ancora in fase iniziale e presenti delle limitazioni, stabilisce nuovi record di riferimento, con un tasso di successo del 38,1% in OSWorld per attività complete di uso del computer, e del 58,1% in WebArena e dell'87% in WebVoyager per attività basate sul web. Questi risultati evidenziano la capacità di OUC di navigare e operare in vari ambienti utilizzando un unico spazio d'azione generale. 

Abbiamo sviluppato OUC ponendo la sicurezza come priorità assoluta per affrontare le sfide legate all'accesso al mondo digitale da parte di un agente, come descritto nella nostra Scheda di sistema di Operator. In linea con la nostra strategia di implementazione iterativa, stiamo rilasciando OUC tramite un'anteprima sperimentale di Operator disponibile all'indirizzo operator.chatgpt.com⁠(si apre in una nuova finestra) inizialmente per gli utenti Pro⁠(si apre in una nuova finestra) negli Stati Uniti. Raccogliendo feedback reali, potremo perfezionare le misure di sicurezza e apportare continui miglioramenti in vista di un utilizzo sempre più diffuso degli agenti digitali.

OUC elabora dati pixel grezzi per comprendere cosa accade sullo schermo e utilizza un mouse e una tastiera virtuali per eseguire azioni. È in grado di gestire attività in più passaggi, correggere errori e adattarsi a cambiamenti imprevisti. Questo permette a OUC di operare in una vasta gamma di ambienti digitali e svolgere attività come compilare moduli e navigare su siti web senza necessità di API specializzate.

Una volta ricevute le istruzioni dell'utente, OUC opera con un ciclo iterativo che combina percezione, ragionamento e azione:

• Percezione: gli screenshot del computer vengono aggiunti al contesto del modello e forniscono un'istantanea visiva dello stato attuale del computer. 
• Ragionamento: OUC ragiona sui passaggi successivi attraverso una catena di pensiero che tiene in considerazione screenshot e azioni passate e presenti. Questo monologo interiore migliora le prestazioni permettendo al modello di valutare le sue stesse osservazioni, tenere traccia dei passaggi intermedi e adattarsi dinamicamente.
• Azione: esegue le operazioni, come fare clic, scorrere o digitare, fino a decidere che l'attività è completata o che è necessario l'input dell'utente. Sebbene gestisca automaticamente la maggior parte dei passaggi, OUC richiede conferma per azioni sensibili, come l'inserimento di credenziali o la risposta a moduli CAPTCHA.

OUC stabilisce un nuovo standard di eccellenza sia in benchmark per l'uso del computer sia in quelli per la navigazione su web utilizzando la stessa interfaccia universale composta da schermo, mouse e tastiera.

Le visualizzazioni seguenti mostrano esempi di navigazione di OUC in varie attività standardizzate di OSWorld.

Poiché OUC è uno dei nostri primi prodotti agentici in grado di agire direttamente all'interno di un browser, comporta nuovi rischi e sfide da affrontare. In vista del lancio di Operator, abbiamo condotto ampi test di sicurezza e implementato misure di mitigazione per tre principali categorie di rischi: uso improprio, errori del modello e rischi di frontiera. Riteniamo fondamentale adottare un approccio stratificato alla sicurezza, pertanto abbiamo introdotto contromisure nell'intero contesto di implementazione: nel modello OUC stesso, nel sistema Operator e nei processi post-implementazione. L'obiettivo è creare un sistema di mitigazioni sovrapposte in cui ciascun livello riduce progressivamente il profilo di rischio.

La prima categoria di rischio è l'uso improprio. Oltre a richiedere agli utenti il rispetto delle nostre Politiche di utilizzo, abbiamo progettato le seguenti mitigazioni per ridurre il rischio di danni da parte di Operator dovuti a usi impropri, basandoci sul nostro lavoro di sicurezza con GPT‑4o:

• Rifiuti: il modello OUC è addestrato a rifiutare numerosi compiti dannosi e attività illegali o regolamentate.
• Blocklist: Operator non può accedere a siti web che abbiamo bloccato preventivamente, come numerosi siti di gioco d'azzardo, intrattenimento per adulti e rivenditori di droghe o armi.
• Moderazione: le interazioni con gli utenti vengono monitorate in tempo reale da sistemi di sicurezza automatizzati progettati per garantire il rispetto delle Politiche di utilizzo di utilizzo e in grado di emettere avvisi o blocchi per attività vietate. 
• Rilevamento offline: abbiamo inoltre sviluppato processi di rilevamento automatizzato e revisione umana per identificare usi proibiti in aree di priorità delle politiche, inclusa la sicurezza dei minori e le attività ingannevoli, al fine di far rispettare le nostre Politiche di utilizzo.

La seconda categoria di rischio riguarda gli errori del modello, ovvero quando OUC compie involontariamente un'azione non desiderata dall'utente che può causare danni all'utente stesso o ad altri. Gli errori ipotetici possono variare per gravità, da un semplice errore di battitura in un'e-mail all'acquisto di un prodotto sbagliato, fino all'eliminazione definitiva di un documento importante. Per ridurre al minimo i danni potenziali, abbiamo sviluppato le seguenti mitigazioni:

• Conferme da parte dell'utente: OUC è addestrato a richiedere una conferma da parte dell'utente prima di finalizzare attività con effetti collaterali esterni, come l'invio di un ordine o di un'e-mail, in modo da permettere all'utente di verificare il lavoro del modello prima che diventi definitivo.
• Limitazioni delle attività: per il momento OUC rifiuta di assistere in attività ad alto rischio, come transazioni bancarie o attività che richiedono decisioni sensibili.
• Modalità supervisione: su siti particolarmente delicati, come quelli di posta elettronica, Operator richiede una supervisione attiva da parte dell'utente, il che garantisce che eventuali errori del modello possano essere individuati e corretti direttamente dall'utente.

Una categoria di errori del modello particolarmente importante riguarda gli attacchi avversari sui siti web che inducono OUC a compiere azioni non previste, tramite iniezioni di prompt, jailbreak e tentativi di phishing. Oltre alle mitigazioni già descritte per gli errori del modello, abbiamo sviluppato ulteriori livelli di difesa contro questi rischi:

• Navigazione prudente: OUC è progettato per identificare e ignorare le iniezioni di prompt sui siti web e durante una prima sessione interna di red teaming ha riconosciuto tutti i casi tranne uno.
• Monitoraggio: abbiamo implementato un modello aggiuntivo in Operator che monitora e interrompe l'esecuzione se rileva contenuti sospetti sullo schermo.
• Processo di rilevamento: applichiamo processi di rilevamento automatico e revisione umana per individuare pattern di accesso sospetti, che possono essere segnalati e rapidamente inseriti nel sistema di monitoraggio (in poche ore).

Infine, abbiamo valutato il modello OUC rispetto ai rischi di frontiera descritti nel nostro Framework di preparazione⁠(si apre in una nuova finestra), inclusi scenari che coinvolgono la replicazione autonoma e strumenti legati al rischio biologico. Queste valutazioni non hanno evidenziato rischi aggiuntivi rispetto a GPT‑4o.

Se desideri approfondire le valutazioni e le misure di sicurezza, ti invitiamo a consultare la Scheda di sistema di Operator, un documento dinamico che offre trasparenza sul nostro approccio alla sicurezza e sui miglioramenti in corso.

Poiché molte delle funzionalità di Operator sono nuove, lo sono anche i rischi e le strategie di mitigazione implementate.  Pur avendo puntato a soluzioni all'avanguardia, diversificate e complementari, prevediamo che rischi e strategie evolveranno con l'esperienza. Consideriamo il periodo di anteprima sperimentale una preziosa opportunità per raccogliere feedback dagli utenti, perfezionare le misure di sicurezza e migliorare la sicurezza agentica.

OUC si basa su anni di progressi nella ricerca su multimodalità, ragionamento e sicurezza. Abbiamo ottenuto risultati importanti nel ragionamento approfondito grazie alla serie di modelli o, le capacità visive con GPT‑4o e nuove tecniche per migliorare la robustezza tramite apprendimento per rinforzo e gerarchia delle istruzioni. La prossima sfida che intendiamo affrontare è l'espansione dello spazio di azione degli agenti. La flessibilità offerta da un'interfaccia universale risponde a questa esigenza, permettendo a un agente di utilizzare qualsiasi strumento software pensato per gli esseri umani. Andando oltre le API specializzate per agenti, OUC si adatta a qualsiasi ambiente informatico disponibile, affrontando anche i casi d'uso digitali ancora irraggiungibili per la maggior parte dei modelli di IA.

Stiamo inoltre lavorando per rendere OUC disponibile tramite l'API⁠(si apre in una nuova finestra) in modo che gli sviluppatori possano creare i propri operatori che utilizzano il computer. Mentre continuiamo a migliorare OUC, non vediamo l'ora di scoprire i diversi casi d'uso che la community individuerà. Intendiamo utilizzare il feedback reale raccolto da questa anteprima iniziale per perfezionare continuamente le funzionalità di OUC e le mitigazioni e rendere accessibili a tutti i benefici dell'IA in piena sicurezza.