Memajukan penggunaan komputer bersama Ironclad

Apabila kami memperkenalkan GPT‑6 Astra, kami menunjukkan sejauh mana model kami telah maju dalam penggunaan komputer untuk kerja profesional, daripada menyediakan dokumen hingga menguji laman web. Matlamat kami seterusnya adalah untuk menjadikan ejen lebih berkeupayaan dan cekap menggunakan perisian khusus bagi menyelesaikan masalah perniagaan yang kompleks. Kami sedang meneroka cara melatih model untuk memahami peraturan perniagaan sesebuah syarikat, melaksanakan aliran kerja berbilang langkah, dan mengesahkan bahawa hasil kerjanya memenuhi keperluan asal.

Untuk mempercepat penyelidikan ini, kami bekerjasama secara langsung dengan sebilangan kecil syarikat perisian yang paling memahami aliran kerja ini. Bersama-sama, kami mengenal pasti tugasan yang mencabar dan bernilai tinggi, lalu menjadikannya masalah penyelidikan untuk melatih dan menilai model kami. Matlamat akhirnya adalah untuk menjadikan model kami lebih berkeupayaan dan berguna dalam aplikasi perniagaan dunia sebenar.

Rakan kerjasama pertama kami ialah Ironclad, peneraju pengurusan kontrak berasaskan AI. Melalui kerjasama erat dengan pasukan Ironclad, kami telah membangunkan tugasan yang memerlukan ejen mengkonfigurasi perjanjian, kelulusan, dan terma undang-undang yang boleh digunakan semula, serta menunjukkan kemajuan dalam aliran kerja yang kompleks ini. Kepakaran Ironclad memainkan peranan penting dalam menentukan ukuran kejayaan dan membawa keperluan sebenar pelanggan secara langsung ke dalam pembangunan model perbatasan. Kami menghargai kerjasama mereka dan teruja untuk berkongsi pencapaian kami bersama.

GPT‑6 Astra ialah model perbatasan pertama kami yang dilatih menggunakan tugasan Ironclad. Dalam penilaian penyelidikan kami, skor puratanya 32% lebih tinggi berbanding GPT‑5.6 Sol, manakala anggaran masa bagi setiap percubaan 48% lebih rendah.¹

Bayangkan sebuah pasukan operasi undang-undang yang sedang menyediakan proses pembelian perisian. Pasukan Kewangan mungkin perlu meluluskan pembelian yang melebihi jumlah tertentu, pasukan Keselamatan mungkin perlu menyemak permintaan tertentu, dan pasukan Undang-undang mungkin perlu menyemak terma yang tidak standard. Orang yang menyediakan proses itu perlu menterjemahkan senarai ringkas tersebut kepada borang permohonan, templat dokumen, peraturan kelulusan, dan rekod perjanjian akhir.

Ejen AI yang melakukan kerja yang sama perlu sentiasa mengambil kira keperluan tersebut sepanjang penggunaan perisian itu. Contohnya, ejen mesti mengkonfigurasi kelulusan Kewangan bagi perbelanjaan yang melebihi nilai ambang dan memastikan permintaan di atas dan di bawah nilai itu mengikut laluan yang betul. Melaksanakan setiap langkah dengan betul sahaja tidak mencukupi: proses yang lengkap mesti berfungsi dalam semua situasi yang sepatutnya dapat ditanganinya.

Kakitangan Ironclad dan pengguna Ironclad di OpenAI membantu penyelidik kami mengenal pasti 11 tugasan merangkumi kerja undang-undang, komersial, dan perolehan. Antaranya termasuk menyediakan perjanjian kerahsiaan, mewujudkan proses kelulusan perolehan, dan mengemas kini klausa undang-undang yang boleh digunakan semula agar selaras dengan bidang kuasa yang dipilih oleh pemohon. Kami menganggarkan bahawa pengguna berpengalaman memerlukan purata kira-kira 30 hingga 40 minit untuk menyelesaikan setiap tugasan ini.

Kami menilai setiap tugasan berdasarkan 8 hingga 50 kriteria, bergantung pada kerumitannya. Ini membolehkan kami melihat bahagian yang dilakukan dengan betul oleh model dan bahagian yang masih kurang memuaskan. Ironclad turut menyediakan persekitaran perisian produknya yang dihoskan, tempat model boleh berlatih melakukan tugasan ini. Penyelidik kami membangunkan tugasan latihan sintetik² berdasarkan aliran kerja yang mewakili penggunaan sebenar, serta menggunakan pembelajaran pengukuhan untuk membantu model meningkatkan prestasi melalui latihan dan maklum balas. Gabungan ini—tugasan yang dipilih bersama orang yang memahami kerja tersebut, kriteria terperinci, dan tempat untuk model berlatih—memastikan kami meningkatkan prestasi dalam tugasan dunia sebenar yang paling penting kepada pelanggan kami.

Kami membandingkan Astra dengan GPT‑5.6 Sol menggunakan penaakulan Max untuk Astra dan penaakulan Tinggi untuk Sol, iaitu tetapan yang memberikan skor tertinggi bagi setiap model. Merentas 11 tugasan penyelidikan, skor purata Astra ialah 55.0%, berbanding 41.6% untuk GPT‑5.6 Sol, manakala anggaran purata masa bagi setiap percubaan menurun daripada 37.0 minit untuk Sol kepada 19.2 minit untuk Astra.³ Model dalaman yang digunakan dalam pembangunan Astra mencapai skor yang lebih tinggi, iaitu 63.7%, dalam tugasan ini, dan kami menyasarkan untuk membawa peningkatan tambahan ini kepada model akan datang.

Astra memenuhi lebih banyak keperluan tugasan dengan masa simulasi yang lebih singkat bagi setiap percubaan. Dua klip di bawah menunjukkan cara kedua-dua model menangani tugasan penyelidikan yang sama. Astra (pertama) memenuhi kira-kira 94% kriteria tugasan dalam anggaran masa 20 minit; GPT‑5.6 Sol (kedua) memenuhi kira-kira 85% dalam anggaran masa 32 minit.

Peranan Ironclad dalam usaha ini mencerminkan cabaran yang sangat dikenali pelanggannya: proses pengurusan kontrak mesti menangani pengecualian sambil mengekalkan peraturan yang menjadi sandaran sesebuah perniagaan. Jika ejen terlepas pandang salah satu peraturan itu ketika sedang menjalankan tugasan, hal ini mengehadkan kerja yang boleh diserahkan kepadanya dengan yakin oleh syarikat perisian. Hal ini menegaskan sebab pengawasan manusia masih penting walaupun ejen semakin mahir dalam tugasan pengurusan kontrak yang kompleks, dan sebab platform pengurusan kontrak yang lengkap tetap diperlukan. Kerjasama dengan penyelidik kami membolehkan Ironclad membawa masalah ini ke dalam proses pembangunan model asas, supaya kami dapat mengkajinya bersama.

Apabila model semakin berkeupayaan, Ironclad berpeluang menggunakannya dalam lebih banyak produknya sendiri. Bagi pasukan undang-undang dan perniagaan, ini boleh bermakna AI mengambil alih lebih banyak kerja pengurusan kontrak yang kompleks sambil mengekalkan kawalan yang diandalkan oleh pasukan tersebut.

Kami mengundang sebilangan kecil syarikat perisian untuk bekerjasama secara langsung dengan pasukan penyelidikan dan kejuruteraan kami dalam tugasan profesional penting yang masih belum dapat diselesaikan dengan andal oleh ejen masa kini. Jika pasukan anda mempunyai tugasan sedemikian, kami ingin melihat contoh nyata: perkara yang anda minta ejen lakukan, bukti kegagalannya, dan cara anda menilai sama ada hasilnya berjaya. Rakan kerjasama juga perlu dapat menyediakan orang yang benar-benar memahami kerja tersebut, persekitaran yang selamat untuk pengujian, dan data yang boleh digunakan dengan selamat untuk penyelidikan. Ini memberi kami titik permulaan untuk menyiasat kegagalan tersebut dan mengukur sama ada model menunjukkan peningkatan.

Jika pasukan anda memenuhi ciri-ciri ini, mohon untuk meneroka kerjasama penyelidikan.