Computer-Using Agent

Heute haben wir eine Research-Preview von Operator⁠(wird in einem neuen Fenster geöffnet) eingeführt – einen Agenten, der eigenständig im Web agiert, um Aufgaben für dich zu übernehmen. Powering Operator ist ein Computer-Using Agent (CUA), ein Modell, das die Sichtfähigkeiten von GPT‑4o mit fortgeschrittenem Reasoning durch Reinforcement Learning kombiniert. CUA ist darauf trainiert, mit grafischen Benutzeroberflächen (GUIs) – den Schaltflächen, Menüs und Textfeldern, die Menschen auf einem Bildschirm sehen – so zu interagieren, wie Menschen es tun. So kann er flexibel digitale Aufgaben ausführen, ohne betriebssystem- oder webspezifische APIs zu verwenden. 

CUA baut auf jahrelanger Grundlagenforschung an der Schnittstelle zwischen multimodalem Verständnis und Denken auf. Durch Kombinieren einer erweiterten GUI-Wahrnehmung mit strukturierter Problemlösung werden Aufgaben in mehrstufige Pläne aufgeteilt und bei auftretenden Herausforderungen erfolgt eine adaptive Eigenkorrektur. Diese Fähigkeit stellt den nächsten Schritt in der KI-Entwicklung dar. Sie ermöglicht es Modellen, dieselben Tools zu verwenden, auf die sich Menschen täglich verlassen, und öffnet die Tür zu einer Vielzahl neuer Anwendungen.

Auch wenn CUA noch in den Kinderschuhen steckt und Einschränkungen aufweist, setzt er neue, hochmoderne Benchmark-Ergebnisse und erreicht eine Erfolgsquote von 38,1 % bei OSWorld für Aufgaben, die den gesamten Computer nutzen, und 58,1 % bei WebArena und 87 % bei WebVoyager für webbasierte Aufgaben. Diese Ergebnisse heben die Fähigkeit von CUA hervor, mithilfe eines einzigen allgemeinen Aktionsraums in unterschiedlichen Umgebungen zu navigieren und zu agieren. 

Bei der Entwicklung von CUA stand die Sicherheit an erster Stelle, um den Herausforderungen zu begegnen, die sich aus dem Zugriff eines Agenten auf die digitale Welt ergeben. Dies wird detailliert in unserer Operator System Card beschrieben. In Übereinstimmung mit unserer iterativen Bereitstellungsstrategie veröffentlichen wir CUA zunächst über eine Research-Vorschau von Operator unter operator.chatgpt.com⁠(wird in einem neuen Fenster geöffnet) für Pro⁠(wird in einem neuen Fenster geöffnet)-Benutzer in den USA. Durch Einholen von Feedback aus der Praxis können wir die Sicherheitsmaßnahmen präzisieren und kontinuierlich verbessern, während wir uns auf eine Zukunft mit zunehmender Nutzung digitaler Agenten vorbereiten.

CUA verarbeitet Pixelrohdaten, um zu verstehen, was auf dem Bildschirm passiert, und verwendet eine virtuelle Maus und Tastatur, um Aktionen auszuführen. Er kann mehrstufige Aufgaben bearbeiten, Fehler verarbeiten und sich an unerwartete Änderungen anpassen. So kann CUA innerhalb einer Vielzahl digitaler Umgebungen agieren und Aufgaben wie das Ausfüllen von Formularen und die Navigation auf Websites ausführen, ohne dass dafür spezielle APIs erforderlich sind.

Auf Grundlage von Benutzeranweisungen arbeitet CUA in einer iterativen Schleife, die Wahrnehmung, Reasoning und Aktion integriert:

• Wahrnehmung: Screenshots vom Computer werden zum Kontext des Modells hinzugefügt und bieten eine visuelle Momentaufnahme des aktuellen Status des Computers. 
• Reasoning: CUA denkt mithilfe einer Gedankenreihe über die nächsten Schritte nach und berücksichtigt dabei aktuelle und vergangene Screenshots und Aktionen. Dieser innere Monolog verbessert die Aufgaben-Performance, indem er es dem Modell ermöglicht, seine Beobachtungen auszuwerten, Zwischenschritte zu verfolgen und sich dynamisch anzupassen.
• Aktion: Es führt die Aktionen (Klicken, Scrollen oder Tippen) aus, bis es entscheidet, dass die Aufgabe abgeschlossen oder eine Benutzereingabe erforderlich ist. Während die meisten Schritte automatisch ausgeführt werden, verlangt CUA für vertrauliche Aktionen, wie etwa die Eingabe von Anmeldedaten oder das Beantworten von CAPTCHA-Formularen, eine Benutzerbestätigung.

CUA setzt sowohl bei der Computer- als auch bei der Browsernutzung neue Maßstäbe, indem es die gleiche universelle Oberfläche für Bildschirm, Maus und Tastatur verwendet.

Die folgenden Visualisierungen zeigen Beispiele für die Navigation von CUA durch eine Vielzahl standardisierter OSWorld-Aufgaben.

Da CUA eines unserer ersten Agentenprodukte ist, das Aktionen direkt in einem Browser ausführen kann, birgt er neue Risiken und Herausforderungen, die es zu bewältigen gilt. Während unserer Vorbereitungen für die Bereitstellung von Operator haben wir umfassende Sicherheitstests durchgeführt und Maßnahmen zur Risikominderung für drei Hauptkategorien von Sicherheitsrisiken implementiert: Missbrauch, Modellfehler und Grenzrisiken. Wir glauben, dass ein mehrstufiger Sicherheitsansatz wichtig ist. Daher haben wir Sicherheitsvorkehrungen im gesamten Bereitstellungskontext implementiert: im CUA-Modell selbst, im Operatorsystem und in den Verfahren nach der Bereitstellung. Das Ziel besteht darin, über stapelbare Schutzmaßnahmen zu verfügen, wobei jede Ebene das Risikoprofil schrittweise reduziert.

Die erste Risikokategorie ist Missbrauch. Zusätzlich zur Verpflichtung der Benutzer, unsere Nutzungsrichtlinien einzuhalten, haben wir aufbauend auf unseren Sicherheitsbemühungen für GPT‑4o die folgenden Schutzmaßnahmen entwickelt, um das Schadensrisiko für Operator durch Missbrauch zu verringern:

• Ablehnungen: Das CUA-Modell ist darauf trainiert, viele schädliche Aufgaben und illegale oder regulierte Aktivitäten abzulehnen.
• Blockliste: Operator hat keinen Zugriff auf Websites, die wir vorsorglich blockiert haben, wie beispielsweise viele Glücksspielseiten, Websites für Erwachsenenunterhaltung sowie Drogen- oder Waffenverkauf.
• Moderation: Benutzerinteraktionen werden in Echtzeit von automatisierten Sicherheitsprüfern überwacht, die die Einhaltung der Nutzungsrichtlinien sicherstellen und bei verbotenen Aktivitäten Warnungen ausgeben oder Sperren verhängen können. 
• Offline-Erkennung: Darüber hinaus haben wir automatisierte Erkennungs- und menschliche Überprüfungspipelines entwickelt, um verbotene Nutzung in wichtigen Richtlinienbereichen, einschließlich Kindersicherheit und betrügerischen Aktivitäten, zu identifizieren und so unsere Nutzungsrichtlinien durchzusetzen.

Die zweite Risikokategorie sind Modellfehler, bei denen das CUA-Modell versehentlich eine vom Benutzer nicht beabsichtigte Aktion ausführt, wodurch wiederum dem Benutzer oder anderen Schaden entsteht. Hypothetische Fehler können unterschiedlich schwerwiegend sein und Tippfehler in einer E-Mail, den Kauf eines falschen Artikels oder die dauerhafte Löschung eines wichtigen Dokuments umfassen. Um den potenziellen Schaden zu reduzieren, haben wir folgende Abhilfemaßnahmen entwickelt:

• Bestätigungen durch Benutzer*innen: Das CUA-Modell ist darauf trainiert, vor der Fertigstellung von Aufgaben mit externen Nebeneffekten (z. B. vor dem Absenden einer Bestellung, dem Senden einer E-Mail usw.) eine Benutzerbestätigung anzufordern, damit der Benutzer die Arbeit des Modells überprüfen kann, bevor sie endgültig wird.
• Einschränkungen bei Aufgaben: Bei bestimmten Aufgaben mit höherem Risiko, wie etwa Bankgeschäften und Aufgaben, die sensible Entscheidungen erfordern, wird das CUA-Modell Hilfeanfragen vorerst ablehnen.
• Beobachtungsmodus: Auf besonders sensiblen Websites, wie z. B. E-Mail, erfordert Operator eine aktive Benutzerüberwachung, um sicherzustellen, dass Benutzer mögliche Fehler des Modells direkt erkennen und beheben können.

Eine besonders wichtige Kategorie von Modellfehlern sind Angriffe auf Websites, die durch Prompt Injections, Jailbreaks und Phishing-Versuche dazu führen, dass das CUA-Modell unbeabsichtigte Aktionen ausführt. Zusätzlich zu den bereits erwähnten Schutzmaßnahmen bei Modellfehlern haben wir mehrere zusätzliche Verteidigungsschichten zum Schutz vor diesen Risiken entwickelt:

• Vorsichtige Navigation: Das CUA-Modell ist darauf ausgelegt, Prompt Injections auf Websites zu erkennen und zu ignorieren und alle Fälle bis auf einen aus einer frühen internen Red Team-Sitzung zu erkennen.
• Überwachung: Wir haben ein zusätzliches Modell in Operator implementiert, um die Ausführung zu überwachen und anzuhalten, wenn verdächtige Inhalte auf dem Bildschirm erkannt werden.
• Erkennungssystem: Wir wenden sowohl automatisierte Erkennungs- als auch menschliche Überprüfungspipelines an, um verdächtige Zugriffsmuster zu identifizieren, die markiert und schnell (innerhalb von Stunden) zum Bildschirm hinzugefügt werden können.

Abschließend haben wir das CUA-Modell in Hinsicht auf die in unserem Preparedness Framework⁠(wird in einem neuen Fenster geöffnet) beschriebenen Grenzrisiken bewertet, darunter Szenarien mit autonomer Replikation und Biorisiko-Tools. Diese Bewertungen zeigten, dass neben GPT‑4o kein Zusatzrisiko besteht.

Bei Interesse an den Bewertungen und Sicherheitsvorkehrungen im Detail empfehlen wir eine Lektüre der Operator System Card. Dies ist ein lebendiges Dokument, das Transparenz in Bezug auf unseren Sicherheitsansatz und unsere laufenden Verbesserungen bietet.

Angesichts der zahlreichen neuen Funktionen von Operator haben wir zudem neue Ansätze zur Risikominderung implementiert.  Auch wenn wir uns um hochmoderne, vielschichtige und einander ergänzende Risikominderungsmaßnahmen bemühen, gehen wir davon aus, dass sich diese Risiken und unser Ansatz mit zunehmender Kenntnis unserer Erkenntnisse weiterentwickeln werden. Wir planen, die Research-Preview als Gelegenheit zu nutzen, um Benutzerfeedback zu sammeln, unsere Sicherheitsvorkehrungen zu präzisieren und die Sicherheit der Agenten zu verbessern.

CUA basiert auf jahrelangen Recherchefortschritten in den Bereichen Multimodalität, Reasoning und Sicherheit. Wir konnten bedeutende Fortschritte beim Deep Reasoning durch die O-Modellreihe, bei den Sichtbarkeitsfunktionen durch GPT‑4o und bei neuen Techniken zur Verbesserung der Robustheit durch Reinforcement Learning und Anweisungshierarchie erzielen. Die nächsten Herausforderungen erwarten uns im Bereich der Erweiterung des Aktionsraums von Agenten. Die Flexibilität einer universellen Oberfläche begegnet dieser Herausforderung und ermöglicht einem Agenten, jedes für Menschen entwickelte Softwaretool zu navigieren. CUA geht über spezialisierte agentenfreundliche APIs hinaus und kann sich so an jede verfügbare Computerumgebung anpassen und so wirklich den „Long Tail“ digitaler Anwendungsfälle angehen, der für die meisten KI-Modelle unerreichbar bleibt.

Wir arbeiten außerdem daran, CUA in der API⁠(wird in einem neuen Fenster geöffnet) bereitzustellen, sodass Entwickler damit ihre eigenen Computer-Agenten erstellen können. Während wir CUA weiter entwickeln, freuen wir uns auf die verschiedenen Anwendungsfälle der Community. Anhand des praktischen Feedbacks aus dieser frühen Preview werden wir die Fähigkeiten und Sicherheitsmaßnahmen von CUA kontinuierlich weiterentwickeln und so unsere Mission, die Vorteile der KI für alle zugänglich zu machen, sicher voranbringen.