CodeRabbit: pengembangan berbasis agen, rilis 20x lebih banyak

Bagi Harjot Gill, salah satu pendiri dan CEO CodeRabbit⁠(terbuka di jendela baru), proses memvalidasi dan memastikan keandalan kode buatan agen menjadi titik penting bagi tim untuk menerapkan pertimbangan mereka terhadap hasil kerja AI yang terus bertambah. “Hambatan pertama yang dihadapi setiap perusahaan begitu mengadopsi agen pemrograman adalah peninjauan kode,” kata Harjot.

CodeRabbit membangun platform tata kelola dan kontrol berbasis AI yang dirancang untuk memvalidasi dan memastikan keandalan kode buatan AI. Digunakan oleh lebih dari 20.000 organisasi dan lebih dari 150.000 proyek sumber terbuka, CodeRabbit membantu tim memahami, meninjau, dan mengamankan kode yang dihasilkan agen AI serta menentukan kode mana yang siap dirilis.

Menurut CodeRabbit, rasio harga terhadap kinerja yang lebih baik dari OpenAI membantunya menambahkan lebih banyak agen AI ke proses peninjauan dan meneruskan manfaatnya kepada pelanggan, sementara Codex⁠ membantunya merilis 20 kali lebih banyak perangkat lunak dengan tim pengembang yang sama. Perusahaan ini juga menggunakan Daybreak⁠ untuk mengamankan rangkaian teknologinya sendiri sekaligus kode pelanggannya. Produk terbarunya, CodeRabbit Secure, menggunakan Daybreak dengan model Codex untuk menemukan dan memperbaiki kerentanan melalui agen-agennya yang berfokus pada keamanan.

CodeRabbit membangun produk pertamanya dengan GPT‑3.5 Turbo. Menurut Harjot, kehadiran GPT‑4 membuat produk tersebut efektif dalam meninjau kode. Perusahaan ini kemudian mengadopsi OpenAI o1 dan OpenAI o3 sejak awal ketersediaannya. Karena peninjauan kode berjalan secara asinkron di cloud, CodeRabbit dapat menggunakan model yang membutuhkan waktu lebih lama untuk menalar suatu masalah demi mendapatkan analisis yang lebih andal.

Tim mengevaluasi model baru menggunakan tolok ukur buatannya sendiri yang berisi masalah-masalah yang telah diketahui. Saat wawancara berlangsung, Harjot memperkirakan bahwa GPT‑6 Astra⁠ berhasil mendeteksi 50% masalah dalam kumpulan data tersebut, sehingga menempati posisi teratas dibandingkan model lain pada tolok ukur itu.

Tolok ukur ini terus berkembang seiring munculnya beragam jenis kesalahan yang dibuat agen dan terungkapnya masalah yang luput dari peninjauan sebelumnya saat perbaikan dilakukan. “Karakteristik bug terus berubah, begitu pula tolok ukur kami seiring makin baiknya model,” kata Harjot.

Rasio harga terhadap kinerja yang lebih baik dari model OpenAI telah membantu CodeRabbit menerapkan kemampuan hasil riset ke dalam produknya. Harjot menyoroti perbaikan pada harga model dan caching yang memungkinkan perusahaan menggunakan lebih banyak AI, menambahkan lebih banyak subagen, dan meneruskan manfaatnya kepada pelanggan.

Pada awalnya, CodeRabbit menggunakan satu atau dua subagen untuk menavigasi kode. Model berbiaya lebih rendah seperti GPT‑6 Luna kini mendukung lebih banyak subagen di seluruh platform, sementara model seperti GPT‑6 Astra menangani perencanaan dan orkestrasi.

“Kini kami menggunakan agen di berbagai bidang, untuk kebutuhan yang dulu bahkan tidak sanggup kami biayai,” kata Harjot. Hal ini memperluas cakupan validasi yang dapat dilakukan CodeRabbit serta penjelasan yang dapat diberikannya kepada pengembang, sehingga mereka bisa memahami dan memercayai perubahan yang tidak mereka tulis sendiri.

Menurut Harjot, dengan menggunakan Codex, perusahaan telah merilis sekitar 20 kali lebih banyak perangkat lunak selama 6 bulan terakhir tanpa menambah pengembang. Ia memperkirakan dirinya sendiri telah mengirim 2.500 hingga 3.000 pull request dalam 30 hari sebelum wawancara.

Untuk mencapai hasil itu, mengadopsi Codex saja tidak cukup. Menjalankan beberapa agen sekaligus mengungkap keterbatasan di sepanjang proses pengembangan, mulai dari memori dan daya komputasi laptop hingga pengujian, alat untuk mengompilasi dan mengemas perangkat lunak, serta dependensi.

Tim menyederhanakan proses rilis dan meninjau kembali tahap-tahap yang memerlukan persetujuan manusia, sambil menggunakan CodeRabbit untuk merilis secara otomatis perubahan berisiko rendah yang tidak membutuhkan campur tangan manusia. “Kami benar-benar harus memikirkan ulang seluruh proses penyampaian perangkat lunak,” kata Harjot.

Perusahaan ini juga membangun bot Slack berbasis Codex yang memilah dan menentukan prioritas insiden di lingkungan produksi, pesan Slack, dan tiket dukungan. Bot ini dapat menghasilkan pull request untuk ditinjau dan digabungkan oleh tim. Harjot memandang pengembangan berbasis cloud sebagai cara untuk mengurangi keterbatasan komputer lokal dan memberi tim kontrol yang lebih kuat atas akses dan audit.

CodeRabbit menggunakan Codex untuk pekerjaan di luar pengembangan perangkat lunak, termasuk mengelola tugas pemasaran dan operasional melalui kode. “Sebisa mungkin, kami menjalankan perusahaan melalui kode,” kata Harjot.

Dalam pemasaran, perusahaan ini mengelola Google Ads melalui pull request. Tim membuat dan menggabungkan pull request untuk menayangkan iklan. Perusahaan ini juga menggunakan repositori studio konten tempat Codex membuat presentasi dan dokumen untuk pelanggan. “Jika Anda bisa mengubah masalah pemasaran menjadi masalah yang dapat diatasi lewat kode, Anda akan bekerja 10 kali lebih cepat,” kata Harjot.

CodeRabbit telah menjalankan agen di lingkungan sandbox sejak 2023, dengan mengkloning repositori dan membiarkan agen menulis kode untuk membantu proses peninjauan. Belakangan ini, CodeRabbit menggunakan model Cyber dari OpenAI melalui Daybreak untuk menguji dan mengamankan platformnya sendiri.

Tim menggunakan model tersebut untuk pengujian penetrasi internal, dengan menyelidiki platformnya sendiri guna mencari celah yang bisa dimanfaatkan penyerang untuk masuk. Menurut Harjot, akses awal ini membantu CodeRabbit mengamankan rangkaian teknologi yang digunakannya sendiri. “Kami menemukan sejumlah kerentanan, cara-cara peretasan canggih yang bahkan tidak pernah kami bayangkan bisa terjadi,” kata Harjot.

Sejak itu, perusahaan ini telah menghadirkan kemampuan tersebut ke pasar, membantu mengamankan kode pelanggan melalui produk terbarunya, CodeRabbit Secure. Selama dua minggu terakhir, perusahaan ini mengadakan promosi berupa pemindaian mendalam gratis senilai US$1 juta bagi penggunanya dan menemukan lebih dari 43.000 kerentanan keamanan dalam 13.000 pemindaian mendalam, semuanya didukung model Codex. Ribuan kerentanan ini telah diperbaiki oleh pelanggan, sehingga keamanan kode mereka meningkat.

Seiring agen latar belakang mulai merespons peringatan dan insiden tanpa perlu manusia memulai setiap tugas, Harjot memperkirakan tim akan membutuhkan lebih banyak bantuan untuk menentukan perubahan mana yang perlu dituntaskan.

Ke depan, CodeRabbit memperluas cakupannya ke pengembangan perangkat lunak berbasis agen, membantu tim memvalidasi, memprioritaskan, menjelaskan, mengamankan, dan memverifikasi perubahan kode buatan agen dalam skala besar.

Peluangnya terletak pada membantu pengembang tetap memegang kendali saat agen mengambil porsi lebih besar dalam pengembangan, melalui validasi, penjelasan, dan pemeliharaan yang mengimbangi laju produksi kode.