Agen Berbasis Komputer

Hari ini, kami memperkenalkan pratinjau riset Operator⁠(terbuka di jendela baru), agen yang dapat membuka web untuk melakukan tugas bagi Anda. Operator ini ditenagai oleh Agen Berbasis Komputer (Computer-Using Agent, CUA), model yang menggabungkan kemampuan visual GPT‑4o dengan penalaran lanjutan melalui pembelajaran penguatan. CUA dilatih untuk berinteraksi dengan antarmuka pengguna grafis (GUI)—tombol, menu, dan kolom teks yang dilihat orang pada layar—sama seperti yang dilakukan manusia. Ini memberikan fleksibilitas untuk melakukan tugas digital tanpa menggunakan API khusus OS atau web. 

CUA dibangun dari riset mendasar selama beberapa tahun di persimpangan pemahaman dan penalaran multimodal. Dengan menggabungkan persepsi GUI lanjutan dengan pemecahan masalah terstruktur, CUA dapat membagi tugas menjadi rencana multi-langkah dan secara adaptif mengoreksi diri sendiri saat tantangan muncul. Kemampuan ini menandai langkah selanjutnya dalam pengembangan AI, sehingga mengizinkan model untuk menggunakan alat bantu yang sama dan diandalkan manusia setiap hari serta membuka pintu bagi berbagai aplikasi baru.

Meskipun masih tahap awal dan memiliki keterbatasan, CUA menetapkan hasil tolok ukur canggih terkini, mencapai tingkat keberhasilan 38,1% di OSWorld untuk tugas penggunaan komputer penuh, dan 58,1% di WebArena serta 87% di WebVoyager untuk tugas berbasis web. Hasil ini menyoroti kemampuan CUA untuk menavigasi dan mengoperasikan di berbagai lingkungan menggunakan satu ruang tindakan umum. 

Kami mengembangkan CUA dengan mengutamakan keselamatan sebagai prioritas utama untuk mengatasi tantangan yang dihadapi agen yang memiliki akses ke dunia digital, sebagaimana dijelaskan terperinci dalam Kartu Sistem Operator kami. Sejalan dengan strategi penerapan iteratif kami, kami sedang meluncurkan CUA melalui pratinjau riset Operator di operator.chatgpt.com⁠(terbuka di jendela baru) untuk pengguna Tingkat Pro⁠(terbuka di jendela baru) di A.S. untuk memulai. Dengan mengumpulkan masukan dunia nyata, kami dapat menyempurnakan langkah-langkah keselamatan dan terus meningkatkannya sekaligus mempersiapkan masa depan dengan meningkatnya penggunaan agen digital.

CUA memproses data piksel mentah untuk memahami hal yang terjadi di layar dan menggunakan mouse dan keyboard virtual untuk menyelesaikan tindakan. CUA dapat menavigasi tugas multi-langkah, menangani kesalahan, dan menyesuaikan diri terhadap perubahan yang tidak terduga. Ini memungkinkan CUA untuk bertindak dalam berbagai lingkungan digital, melakukan tugas seperti mengisi formulir dan menavigasi situs web tanpa membutuhkan API khusus.

Berdasarkan instruksi pengguna, CUA beroperasi melalui loop berulang yang mengintegrasikan persepsi, penalaran, dan tindakan:

• Persepsi: Tangkapan layar dari komputer ditambahkan ke konteks model, sehingga memberikan snapshot visual tentang status komputer saat ini. 
• Penalaran: CUA menalar langkah selanjutnya menggunakan rantai pemikiran, dengan mempertimbangkan tangkapan layar dan tindakan saat ini dan di masa lalu. Monolog internal ini meningkatkan kinerja tugas dengan memungkinkan model untuk mengevaluasi pengamatannya, menelusuri langkah-langkah antara, dan menyesuaikan diri secara dinamis.
• Tindakan: CUA melakukan tindakan—mengeklik, menggulir, atau mengetik—hingga memutuskan bahwa tugas telah selesai atau masukan pengguna dibutuhkan. Meskipun CUA menangani sebagian besar langkah secara otomatis, CUA meminta konfirmasi pengguna untuk tindakan sensitif, seperti memasukkan detail masuk atau merespons formulir CAPTCHA.

CUA menetapkan tolok ukur canggih baru dalam penggunaan komputer dan browser dengan menggunakan antarmuka universal yang sama berupa layar, mouse, dan keyboard.

Visualisasi berikut memperlihatkan contoh CUA yang menavigasi berbagai tugas OSWorld yang terstandarisasi.

Karena merupakan salah satu produk agen pertama kami dengan kemampuan untuk mengambil tindakan secara langsung di browser, CUA menimbulkan risiko dan tantangan baru yang harus diatasi. Saat kami mempersiapkan penerapan Operator, kami melakukan pengujian keselamatan secara ekstensif dan menerapkan mitigasi pada tiga kelas utama risiko keselamatan: penyalahgunaan, kesalahan model, dan risiko yang belum ada sebelumnya. Kami percaya pentingnya mengambil pendekatan berlapis terhadap keselamatan, sehingga kami menerapkan perlindungan di seluruh konteks penerapan: model CUA itu sendiri, sistem Operator, dan proses pasca-penerapan. Tujuannya adalah untuk memiliki mitigasi yang teratur, dengan setiap lapisan secara bertahap mengurangi profil risiko.

Kategori risiko pertama adalah penyalahgunaan. Selain mewajibkan pengguna untuk mematuhi Kebijakan Penggunaan kami, kami telah merancang mitigasi berikut untuk mengurangi risiko bahaya Operator karena penyalahgunaan, berdasarkan pekerjaan keselamatan untuk GPT‑4o:

• Penolakan: Model CUA dilatih untuk menolak banyak tugas berbahaya dan aktivitas ilegal atau diatur.
• Daftar blokir: Operator tidak dapat mengakses situs web yang telah kami blokir terlebih dahulu, seperti banyak situs perjudian, hiburan dewasa, dan pengedar narkoba atau senjata.
• Moderasi: Interaksi pengguna ditinjau secara real-time oleh pemeriksa keselamatan otomatis yang dirancang untuk memastikan kepatuhan terhadap Kebijakan Penggunaan dan memiliki kemampuan untuk mengeluarkan peringatan atau pemblokiran untuk aktivitas terlarang. 
• Deteksi offline: Kami juga telah mengembangkan deteksi otomatis dan jalur peninjauan manusia untuk mengidentifikasi penggunaan terlarang di bidang kebijakan prioritas, termasuk keselamatan anak dan aktivitas penipuan, sehingga mengizinkan kami untuk memberlakukan Kebijakan Penggunaan kami.

Kategori risiko kedua adalah kesalahan model, yakni model CUA tidak sengaja melakukan tindakan yang tidak diinginkan pengguna, sehingga pada gilirannya menyebabkan kerugian bagi pengguna atau orang lain. Kesalahan hipotetis dapat bervariasi tingkat keparahannya, mulai dari kesalahan ketik dalam email, membeli item yang salah, hingga menghapus dokumen penting secara permanen. Untuk meminimalkan potensi bahaya, kami telah mengembangkan mitigasi berikut:

• Konfirmasi pengguna: Model CUA dilatih untuk meminta konfirmasi pengguna sebelum menyelesaikan tugas dengan efek samping eksternal, misalnya sebelum menyerahkan pesanan, mengirim email, dll., sehingga pengguna dapat memeriksa ulang pekerjaan model sebelum menjadi permanen.
• Keterbatasan tugas: Untuk saat ini, model CUA akan menolak untuk membantu tugas-berisiko tinggi tertentu, seperti transaksi perbankan dan tugas yang memerlukan pengambilan keputusan sensitif.
• Mode tonton: Pada situs web yang sangat sensitif, seperti email, Operator memerlukan pengawasan pengguna aktif, memastikan pengguna dapat langsung menemukan dan mengatasi potensi kesalahan yang dapat dibuat model.

Salah satu kategori kesalahan model yang sangat penting adalah serangan dengan niat jahat pada situs web sehingga menyebabkan model CUA melakukan tindakan yang tidak diinginkan, melalui injeksi prompt, jailbreak, dan upaya phishing. Selain mitigasi terhadap kesalahan model yang disebutkan di atas, kami mengembangkan beberapa lapisan pertahanan tambahan untuk melindungi terhadap risiko-risiko ini:

• Navigasi dengan waspada: Model CUA dirancang untuk mengidentifikasi dan mengabaikan injeksi prompt pada situs web, mengenali semua kecuali satu kasus dari sesi red-teaming internal awal.
• Pemantauan: Di Operator, kami telah menerapkan model tambahan untuk memantau dan menjeda pelaksanaan jika mendeteksi konten mencurigakan di layar.
• Alur deteksi: Kami menerapkan deteksi otomatis dan jalur peninjauan manusia untuk mengidentifikasi pola akses mencurigakan yang dapat ditandai dan ditambahkan secara cepat ke monitor (dalam hitungan jam).

Akhirnya, kami mengevaluasi model CUA terhadap risiko yang belum ada sebelumnya yang diuraikan dalam Kerangka Kerja Kesiapan⁠(terbuka di jendela baru) kami, termasuk skenario yang melibatkan replikasi otonom dan perkakas biorisiko. Penilaian ini tidak menunjukkan peningkatan risiko selain GPT‑4o.

Bagi mereka yang tertarik menjelajahi evaluasi dan perlindungan secara lebih detail, kami mendorong Anda untuk meninjau Kartu Sistem Operator, dokumen yang terus diperbarui yang memberikan transparansi mengenai pendekatan keselamatan dan perbaikan berkelanjutan kami.

Karena banyak kemampuan Operator yang masih baru, demikian pula risiko dan pendekatan mitigasi yang telah kami terapkan.  Meskipun kami telah berupaya mencapai mitigasi yang canggih, beragam, dan saling melengkapi, kami memperkirakan risiko-risiko ini dan pendekatan kami akan berkembang seiring bertambahnya pengetahuan yang kami peroleh. Kami berharap untuk menggunakan periode pratinjau riset sebagai kesempatan mengumpulkan masukan pengguna, menyempurnakan perlindungan kami, dan meningkatkan keselamatan agen.

CUA dibangun berdasarkan kemajuan riset beberapa tahun dalam multimodal, penalaran, dan keselamatan. Kami telah mencapai perkembangan signifikan dalam penalaran mendalam melalui seri o-model, kemampuan visual melalui GPT‑4o, dan teknik baru untuk meningkatkan ketahanan melalui pembelajaran penguatan dan hierarki instruksi. Tantangan berikutnya yang kami rencanakan untuk dijelajahi adalah memperluas ruang tindakan agen. Fleksibilitas yang ditawarkan oleh antarmuka universal menjawab tantangan ini, sehingga memungkinkan agen dapat menavigasi alat bantu perangkat lunak yang dirancang untuk manusia. Dengan bergerak melampaui API khusus yang mudah digunakan agen, CUA dapat menyesuaikan diri dengan lingkungan komputer apa pun yang tersedia—benar-benar mengatasi “long tail” contoh penggunaan digital yang masih belum terjangkau oleh sebagian besar model AI.

Kami juga berupaya untuk menyediakan CUA di API⁠(terbuka di jendela baru), sehingga pengembang dapat menggunakannya untuk membangun agen berbasis komputer mereka sendiri. Saat kami terus melakukan iterasi pada CUA, kami berharap untuk melihat berbagai contoh penggunaan yang akan ditemukan komunitas. Kami berencana menggunakan masukan dunia nyata yang kami kumpulkan dari pratinjau awal ini untuk terus menyempurnakan kemampuan dan mitigasi keselamatan CUA guna memajukan misi kami dalam mendistribusikan manfaat AI kepada setiap orang dengan aman.