Memajukan penggunaan komputer bersama Ironclad

Saat memperkenalkan GPT‑6 Astra, kami menunjukkan sejauh mana model kami telah berkembang dalam menggunakan komputer untuk pekerjaan profesional, mulai dari menyiapkan dokumen hingga menguji situs web. Tujuan kami berikutnya adalah meningkatkan kemampuan dan efisiensi agen dalam menggunakan perangkat lunak khusus untuk memecahkan masalah bisnis yang kompleks. Kami sedang mengeksplorasi cara melatih model agar dapat memahami aturan bisnis perusahaan, menjalankan alur kerja bertahap, dan memverifikasi bahwa hasil kerjanya memenuhi persyaratan awal.

Untuk mempercepat riset ini, kami bermitra langsung dengan sejumlah kecil perusahaan perangkat lunak yang paling memahami alur kerja tersebut. Bersama-sama, kami mengidentifikasi tugas yang menantang dan bernilai tinggi, lalu menjadikannya permasalahan riset untuk melatih dan mengevaluasi model kami. Pada akhirnya, upaya ini meningkatkan kemampuan dan manfaat model kami dalam penerapan bisnis di dunia nyata.

Mitra pertama kami adalah Ironclad, salah satu pemimpin dalam pengelolaan kontrak berbasis AI. Melalui kerja sama erat dengan tim Ironclad, kami telah mengembangkan tugas yang mengharuskan agen mengonfigurasi perjanjian, persetujuan, dan ketentuan hukum yang dapat digunakan kembali, serta menunjukkan kemajuan dalam menjalankan alur kerja kompleks ini. Keahlian Ironclad berperan penting dalam menetapkan tolok ukur keberhasilan dan membawa kebutuhan nyata pelanggan langsung ke dalam pengembangan model terdepan. Kami berterima kasih atas kemitraan ini dan antusias untuk berbagi pencapaian kami bersama.

GPT‑6 Astra adalah model terdepan pertama kami yang dilatih menggunakan tugas Ironclad. Dalam evaluasi riset kami, skor rata-ratanya 32% lebih tinggi dibandingkan GPT‑5.6 Sol, sementara estimasi waktu per percobaannya 48% lebih singkat.¹

Bayangkan sebuah tim operasional hukum yang sedang menyiapkan proses pembelian perangkat lunak. Tim Keuangan mungkin perlu menyetujui pembelian di atas nilai tertentu, tim Keamanan mungkin perlu meninjau permintaan tertentu, dan tim Hukum mungkin perlu meninjau ketentuan yang tidak standar. Orang yang menyiapkan proses tersebut harus menerjemahkan daftar singkat itu menjadi formulir pengajuan, templat dokumen, aturan persetujuan, dan catatan perjanjian final.

Agen AI yang mengerjakan tugas yang sama harus terus memperhatikan persyaratan tersebut saat mengoperasikan perangkat lunak. Misalnya, agen harus mengatur agar pengeluaran di atas ambang batas memerlukan persetujuan tim Keuangan, serta memastikan bahwa permintaan di atas dan di bawah batas tersebut mengikuti jalur yang tepat. Menjalankan tiap langkah dengan benar saja tidak cukup: proses yang telah disiapkan harus berfungsi dalam berbagai situasi yang memang dirancang untuk ditanganinya.

Karyawan Ironclad dan pengguna Ironclad di OpenAI membantu peneliti kami mengidentifikasi 11 tugas di bidang hukum, komersial, dan pengadaan. Tugas-tugas ini mencakup penyiapan perjanjian kerahasiaan, pembuatan proses persetujuan pengadaan, serta pembaruan klausul hukum yang dapat digunakan kembali agar sesuai dengan yurisdiksi yang dipilih pemohon. Kami memperkirakan pengguna berpengalaman memerlukan waktu rata-rata sekitar 30 hingga 40 menit per tugas untuk menyelesaikan pekerjaan ini.

Kami mengevaluasi setiap tugas berdasarkan 8 hingga 50 kriteria, tergantung pada tingkat kerumitannya. Dengan begitu, kami dapat melihat bagian mana yang dikerjakan model dengan benar dan bagian mana yang masih kurang. Ironclad juga menyediakan lingkungan perangkat lunak yang dihosting untuk produknya, tempat model dapat berlatih mengerjakan tugas-tugas ini. Peneliti kami mengembangkan tugas pelatihan sintetis² berdasarkan alur kerja yang representatif dan menggunakan reinforcement learning untuk membantu model meningkatkan kemampuannya melalui latihan dan umpan balik. Kombinasi tugas yang dipilih bersama orang yang memahami pekerjaan tersebut, kriteria yang terperinci, dan tempat bagi model untuk berlatih memastikan bahwa kami meningkatkan kemampuan model pada tugas nyata yang paling penting bagi pelanggan kami.

Kami membandingkan Astra dan GPT‑5.6 Sol dengan tingkat penalaran Max untuk Astra dan Tinggi untuk Sol, yaitu pengaturan yang menghasilkan skor tertinggi bagi masing-masing model. Pada 11 tugas riset tersebut, skor rata-rata Astra mencapai 55,0%, dibandingkan dengan 41,6% untuk GPT‑5.6 Sol. Sementara itu, estimasi waktu rata-rata per percobaan turun dari 37,0 menit untuk Sol menjadi 19,2 menit untuk Astra.³ Model internal yang digunakan dalam pengembangan Astra meraih skor lebih tinggi lagi, yaitu 63,7% pada tugas-tugas ini, dan kami menargetkan peningkatan lebih lanjut ini hadir pada model mendatang.

Astra memenuhi lebih banyak persyaratan tugas dengan waktu simulasi yang lebih singkat per percobaan. Dua klip di bawah ini menunjukkan bagaimana kedua model menangani tugas riset yang sama. Astra (pertama) memenuhi sekitar 94% kriteria tugas dalam estimasi waktu 20 menit; GPT‑5.6 Sol (kedua) memenuhi sekitar 85% dalam estimasi waktu 32 menit.

Peran Ironclad dalam upaya ini mencerminkan tantangan yang sangat dipahami pelanggannya: proses pengelolaan kontrak harus mampu menangani pengecualian sambil tetap menjaga aturan yang menjadi landasan bisnis. Jika agen mengabaikan salah satu aturan tersebut di tengah pengerjaan tugas, perusahaan perangkat lunak akan lebih terbatas dalam menentukan tugas yang dapat dipercayakan kepadanya. Hal ini menegaskan mengapa pengawasan manusia tetap penting seiring meningkatnya kemampuan agen dalam menangani tugas pengelolaan kontrak yang kompleks, dan mengapa platform pengelolaan kontrak yang lengkap tetap diperlukan. Bekerja sama dengan peneliti kami memungkinkan Ironclad membawa permasalahan ini ke dalam pengembangan model yang mendasarinya, sehingga kami dapat mengkajinya bersama.

Seiring meningkatnya kemampuan model, Ironclad berpeluang memanfaatkannya di lebih banyak produknya sendiri. Bagi tim hukum dan bisnis, ini bisa berarti AI mengambil alih lebih banyak pekerjaan dalam pengelolaan kontrak yang kompleks sambil tetap mempertahankan mekanisme kontrol yang mereka andalkan.

Kami mengundang sejumlah kecil perusahaan perangkat lunak untuk bekerja langsung dengan tim riset dan rekayasa kami dalam menangani tugas profesional penting yang belum dapat diselesaikan secara andal oleh agen saat ini. Jika tim Anda memiliki tugas semacam itu, kami ingin melihat contoh konkretnya: apa yang Anda minta agen lakukan, bukti kegagalannya, dan bagaimana Anda menilai keberhasilan hasilnya. Mitra juga harus dapat melibatkan orang yang benar-benar memahami pekerjaan tersebut, menyediakan lingkungan pengujian yang aman, serta data yang dapat digunakan dengan aman untuk riset. Hal ini memberi kami titik awal untuk menyelidiki kegagalan tersebut dan mengukur apakah kemampuan model meningkat.

Jika tim Anda memenuhi kriteria tersebut, daftarkan diri untuk menjajaki kolaborasi riset.