Memperkenalkan Aardvark: Peneliti keamanan berbasis agen dari OpenAI

Hari ini, kami mengumumkan Aardvark, sebuah peneliti keamanan berbasis agen yang didukung oleh GPT‑5.

Keamanan perangkat lunak merupakan salah satu bidang paling penting—dan paling menantang—dalam teknologi. Setiap tahun, puluhan ribu kerentanan baru ditemukan di seluruh basis kode perusahaan dan sumber terbuka. Para pelindung sistem menghadapi tugas berat untuk mencari dan menambal kerentanan sebelum para penyerang menemukannya. Di OpenAI, kami berupaya untuk mengubah keseimbangan ini agar lebih menguntungkan pihak pembela.

Aardvark merupakan terobosan di bidang AI dan penelitian keamanan: sebuah agen otonom yang dapat membantu pengembang dan tim keamanan menemukan serta memperbaiki kerentanan keamanan dalam skala besar. Aardvark kini tersedia dalam versi private beta untuk memvalidasi dan menyempurnakan kemampuannya di lapangan.

Aardvark secara berkelanjutan menganalisis repositori kode sumber untuk mengidentifikasi kerentanan, menilai tingkat eksploitabilitas, menentukan prioritas berdasarkan tingkat keparahan, dan mengusulkan tambalan yang terarah.

Aardvark bekerja dengan memantau commit dan perubahan pada basis kode, mengidentifikasi kerentanan, bagaimana kerentanan tersebut dapat dieksploitasi, serta mengusulkan perbaikan. Aardvark tidak bergantung pada teknik analisis program tradisional seperti fuzzing atau analisis komposisi perangkat lunak. Melainkan, Aardvark menggunakan penalaran berbasis LLM dan penggunaan alat untuk memahami perilaku kode dan mengidentifikasi kerentanan. Aardvark mencari bug sebagaimana seorang peneliti keamanan manusia melakukannya: dengan membaca kode, menganalisisnya, menulis dan menjalankan pengujian, menggunakan alat, dan sebagainya.

Aardvark bergantung pada proses multi-tahap untuk mengidentifikasi, menjelaskan, dan memperbaiki kerentanan:

• Analisis: Proses dimulai dengan menganalisis seluruh repositori untuk menghasilkan model ancaman yang mencerminkan pemahaman Aardvark terhadap tujuan dan rancangan keamanan proyek tersebut.
• Pemindaian Commit: Aardvark memindai kerentanan dengan memeriksa perubahan pada tingkat commit terhadap seluruh repositori dan model ancaman saat kode baru di-commit. Ketika sebuah repositori pertama kali terhubung, Aardvark akan memindai riwayatnya untuk mengidentifikasi masalah yang sudah ada. Aardvark menjelaskan kerentanan yang ditemukannya langkah demi langkah, menambahkan anotasi pada kode untuk ditinjau oleh manusia.
• Validasi: Setelah Aardvark mengidentifikasi potensi kerentanan, sistem akan mencoba memicunya dalam lingkungan sandbox terisolasi untuk memastikan apakah kerentanan tersebut dapat dieksploitasi. Aardvark menjelaskan langkah-langkah yang diambil untuk membantu memastikan bahwa wawasan yang disampaikan kepada pengguna akurat, berkualitas tinggi, dan memiliki tingkat positif palsu yang rendah.
• Penambalan: Aardvark berintegrasi dengan OpenAI Codex untuk membantu memperbaiki kerentanan yang ditemukannya. Sistem melampirkan tambalan yang dihasilkan oleh Codex dan dipindai oleh Aardvark pada setiap temuan untuk ditinjau oleh manusia serta memungkinkan penambalan yang efisien dengan satu klik.

Aardvark bekerja berdampingan dengan para engineer, berintegrasi dengan GitHub, Codex, dan alur kerja yang sudah ada untuk memberikan wawasan yang jelas dan dapat ditindaklanjuti tanpa memperlambat pengembangan. Meskipun Aardvark dibuat untuk tujuan keamanan, dalam pengujian kami ditemukan bahwa sistem ini juga dapat mengungkap bug seperti kesalahan logika, perbaikan yang tidak lengkap, dan masalah privasi.

Aardvark telah beroperasi selama beberapa bulan, berjalan terus-menerus di seluruh basis kode internal OpenAI dan milik mitra alfa eksternal. Di dalam OpenAI, sistem ini telah mengungkap kerentanan yang signifikan dan berkontribusi terhadap postur pertahanan OpenAI. Para mitra menyoroti kedalaman analisisnya, di mana Aardvark mampu menemukan masalah yang hanya muncul dalam kondisi kompleks.

Dalam pengujian tolok ukur terhadap repositori “emas”, Aardvark mengidentifikasi 92% dari kerentanan yang diketahui maupun yang dibuat secara sintetis, menunjukkan tingkat penemuan yang tinggi dan efektivitas di dunia nyata.

Aardvark juga telah diterapkan pada proyek sumber terbuka, di mana sistem ini menemukan berbagai kerentanan dan kami secara bertanggung jawab melaporkan hal tersebut—sepuluh di antaranya telah menerima pengenal Common Vulnerabilities and Exposures (CVE).

Sebagai pihak yang telah mendapatkan manfaat dari puluhan tahun penelitian terbuka dan pengungkapan yang bertanggung jawab, kami berkomitmen untuk membalas dengan sumbangsih—menyediakan alat dan temuan yang membantu menjadikan ekosistem digital lebih aman bagi semua orang. Kami berencana untuk menawarkan pemindaian pro bono terhadap repositori sumber terbuka non-komersial tertentu guna berkontribusi terhadap keamanan ekosistem dan rantai pasokan perangkat lunak sumber terbuka.

Kami baru-baru ini memperbarui⁠ kebijakan pengungkapan terkoordinasi eksternal⁠ kami, yang mengambil sikap ramah bagi pengembang, berfokus pada kolaborasi dan dampak yang dapat ditingkatkan, bukan pada jadwal pengungkapan yang kaku yang dapat memberikan tekanan pada para pengembang. Kami memperkirakan bahwa alat seperti Aardvark akan menghasilkan penemuan jumlah bug yang makin banyak, dan kami ingin berkolaborasi secara berkelanjutan untuk mencapai ketahanan jangka panjang.

Perangkat lunak kini menjadi tulang punggung setiap industri—yang berarti kerentanan perangkat lunak merupakan risiko sistemik bagi dunia bisnis, infrastruktur, dan masyarakat. Pada tahun 2024 saja, lebih dari 40.000 CVE telah dilaporkan. Pengujian kami menunjukkan bahwa sekitar 1,2% commit menimbulkan bug—perubahan kecil yang dapat menimbulkan konsekuensi besar.

Aardvark mewakili model baru yang mengutamakan pelindung: sebuah peneliti keamanan berbasis agen yang bekerja sama dengan tim dengan menyediakan perlindungan berkelanjutan seiring perkembangan kode. Dengan mendeteksi kerentanan lebih awal, memvalidasi kemungkinan eksploitasi di dunia nyata, dan menawarkan perbaikan yang jelas, Aardvark dapat memperkuat keamanan tanpa memperlambat inovasi. Kami percaya bahwa perluasan akses terhadap keahlian keamanan akan membawa kebaikan. Kami memulai dengan versi private beta dan akan memperluas ketersediaannya seiring kami memperoleh lebih banyak pembelajaran.

Kami mengundang mitra terpilih untuk bergabung dalam private beta Aardvark. Peserta akan mendapatkan akses awal dan bekerja langsung dengan tim kami untuk menyempurnakan akurasi deteksi, alur kerja validasi, dan pengalaman pelaporan.

Kami berupaya memvalidasi kinerja di berbagai lingkungan. Jika organisasi atau proyek sumber terbuka Anda tertarik untuk bergabung, Anda dapat mendaftar di sini⁠.