CodeRabbit membangunan perisian agentic, menghantar 20x lebih

Bagi Harjot Gill, pengasas bersama dan CEO CodeRabbit⁠(dibuka dalam tetingkap baru), proses memastikan kod agentic boleh dipercayai dan sah kini menjadi ruang untuk pasukan menggunakan pertimbangan mereka dalam menangani jumlah hasil kerja janaan AI yang semakin meningkat. “Halangan pertama yang dihadapi setiap syarikat sebaik sahaja mula menggunakan ejen pengekodan ialah semakan kod,” kata Harjot.

CodeRabbit membina platform tadbir urus dan kawalan berkuasakan AI yang direka untuk mengesahkan kod yang dijana AI dan memastikan kod itu boleh dipercayai. Digunakan oleh lebih 20,000 organisasi dan lebih 150,000 projek sumber terbuka, CodeRabbit membantu pasukan memahami, menyemak dan melindungi kod yang dihasilkan oleh ejen AI dan menentukan kod yang sedia untuk dikeluarkan.

Menurut CodeRabbit, prestasi dengan harga yang lebih baik daripada OpenAI membantunya menambah lebih banyak ejen AI dalam proses semakan dan menyalurkan manfaat itu kepada pelanggan, manakala Codex⁠ membantunya mengeluarkan 20 kali lebih banyak perisian dengan pasukan kejuruteraan yang sama. Syarikat itu juga menggunakan Daybreak⁠ untuk melindungi tindanan teknologinya sendiri serta kod pelanggannya. Tawaran terbaharunya, CodeRabbit Secure, menggunakan Daybreak bersama model Codex untuk mencari dan membaiki kerentanan melalui ejen yang memfokuskan keselamatan.

CodeRabbit membina produk pertamanya dengan GPT‑3.5 Turbo. Menurut Harjot, kehadiran GPT‑4 menjadikan produk itu berkesan dalam menyemak kod. Syarikat itu kemudiannya menjadi antara pengguna awal OpenAI o1 dan OpenAI o3. Oleh sebab semakan kod berjalan secara tak segerak di awan, CodeRabbit boleh menggunakan model yang mengambil masa lebih lama untuk menaakul sesuatu masalah demi mendapatkan analisis yang lebih baik.

Pasukan menilai model baharu berdasarkan penanda arasnya sendiri yang merangkumi isu yang telah dikenal pasti. Ketika temu bual dijalankan, Harjot menganggarkan bahawa GPT‑6 Astra⁠ mengesan 50% isu dalam set data itu, meletakkannya di tempat teratas berbanding model lain dalam penanda aras tersebut.

Penanda aras itu terus berkembang apabila ejen menghasilkan jenis kesilapan yang berbeza dan pembaikan mendedahkan masalah yang terlepas dalam semakan terdahulu. “Sifat pepijat terus berubah, begitu juga penanda aras kami seiring dengan peningkatan keupayaan model,” kata Harjot.

Prestasi model OpenAI yang lebih baik berbanding kos telah membantu CodeRabbit menerapkan keupayaan daripada penyelidikan ke dalam produknya. Harjot merujuk kepada penambahbaikan dalam harga model dan cache yang membolehkan syarikat menggunakan lebih banyak AI, menambah subejen dan menyalurkan manfaat itu kepada pelanggan.

Ketika CodeRabbit mula beroperasi, syarikat itu menggunakan satu atau dua subejen untuk navigasi kod. Model berkos lebih rendah seperti GPT‑6 Luna kini menyokong lebih banyak subejen di seluruh platform, manakala model seperti GPT‑6 Astra mengendalikan perancangan dan pengorkestraan.

“Kini kami menggunakan ejen secara meluas untuk kegunaan yang dahulunya di luar kemampuan kewangan kami,” kata Harjot. Ini meluaskan skop pengesahan yang boleh dilakukan oleh CodeRabbit dan penerangan yang boleh diberikannya kepada pembangun, membantu mereka memahami dan mempercayai perubahan kod yang tidak mereka tulis sendiri.

Menurut Harjot, secara kasarnya penggunaan Codex telah membolehkan syarikat mengeluarkan kira-kira 20 kali lebih banyak perisian sepanjang 6 bulan lalu tanpa menambah jurutera. Beliau menganggarkan bahawa beliau sendiri telah menghantar 2,500 hingga 3,000 pull request dalam tempoh 30 hari sebelum temu bual itu.

Untuk mencapai tahap itu, penggunaan Codex sahaja tidak mencukupi. Menjalankan berbilang ejen mendedahkan kekangan di seluruh proses pembangunan, daripada memori dan kuasa pengkomputeran komputer riba kepada pengujian, alat untuk menyusun dan membungkus perisian, serta kebergantungan.

Pasukan memperkemas proses keluaran dan menilai semula peringkat yang memerlukan kelulusan manusia, sambil menggunakan CodeRabbit untuk mengeluarkan perubahan berisiko rendah yang tidak memerlukan campur tangan manusia secara automatik. “Kami benar-benar perlu memikirkan semula keseluruhan proses penyampaian perisian,” kata Harjot.

Syarikat itu juga telah membina bot Slack dikuasakan Codex yang menilai dan mengutamakan insiden dalam persekitaran pengeluaran, mesej Slack dan tiket sokongan. Bot itu boleh menghasilkan pull request untuk disemak dan digabungkan oleh pasukan. Harjot melihat pembangunan berasaskan awan sebagai cara untuk mengurangkan kekangan komputer setempat dan memberi pasukan kawalan yang lebih kukuh terhadap akses dan pengauditan.

CodeRabbit menggunakan Codex untuk kerja di luar bidang kejuruteraan, termasuk mengurus tugas pemasaran dan operasi melalui kod. “Kami mengendalikan syarikat melalui kod sebanyak yang mungkin,” kata Harjot.

Dalam pemasaran, syarikat itu mengurus Google Ads melalui pull request. Pasukan membuka dan menggabungkan permintaan untuk menyiarkan iklan. Syarikat itu juga menggunakan repositori studio kandungan, tempat Codex menghasilkan set slaid dan dokumen untuk pelanggan. “Jika anda boleh mengubah masalah pemasaran menjadi masalah yang boleh diselesaikan melalui kod, anda akan bergerak 10x lebih pantas,” kata Harjot.

CodeRabbit telah menjalankan ejen dalam persekitaran kotak pasir sejak tahun 2023, dengan mengklon repositori dan membenarkan ejen menulis kod untuk membantu menjalankan semakan. Baru-baru ini, CodeRabbit menggunakan model Cyber OpenAI melalui Daybreak untuk menguji dan melindungi platformnya sendiri.

Pasukan menggunakan model itu untuk ujian penembusan dalaman, dengan meneliti platformnya sendiri bagi mencari cara yang boleh digunakan penyerang untuk menceroboh. Menurut Harjot, akses awal itu membantu CodeRabbit melindungi tindanan teknologinya sendiri. “Kami menemui pelbagai kerentanan serta kaedah penggodaman canggih yang tidak pernah kami bayangkan boleh berlaku,” kata Harjot.

Sejak itu, syarikat telah membawa keupayaan tersebut ke pasaran, membantu melindungi kod pelanggannya melalui produk terbaharunya, CodeRabbit Secure. Sepanjang dua minggu lalu, syarikat itu menjalankan promosi dengan menanggung kos imbasan mendalam bernilai $1 juta secara percuma untuk penggunanya. Syarikat menemui lebih 43,000 kerentanan keselamatan melalui 13,000 imbasan mendalam, semuanya dikuasakan model Codex. Ribuan kerentanan ini telah pun dibaiki oleh pelanggannya, membantu meningkatkan keselamatan kod mereka.

Apabila ejen latar belakang mula bertindak terhadap amaran dan insiden tanpa manusia perlu memulakan setiap tugas, Harjot menjangkakan pasukan akan memerlukan lebih banyak bantuan untuk menentukan perubahan yang patut disiapkan.

Untuk langkah seterusnya, CodeRabbit sedang mengembangkan keupayaannya ke arah pembangunan perisian agentic, membantu pasukan menentusahkan, mengutamakan, menerangkan, melindungi dan mengesahkan perubahan kod yang dijana ejen pada skala besar.

Peluangnya ialah membantu pembangun kekal memegang kawalan apabila ejen mengambil alih lebih banyak kerja pembangunan, dengan pengesahan, penerangan dan penyelenggaraan yang seiring dengan kadar penghasilan kod.