CodeRabbit: 20x mas maraming software sa tulong ng mga agent

Para kay Harjot Gill, kapwa tagapagtatag at CEO ng CodeRabbit⁠(magbubukas sa bagong window), sa pagsusuri at pagtiyak na mapagkakatiwalaan ang code na ginawa ng mga agent lalong nagagamit ng mga team ang kanilang pagpapasya sa harap ng dumaraming gawa ng AI. “Ang unang nagpapabagal sa bawat kumpanya sa sandaling gumamit ito ng mga coding agent ay ang pag-review ng code,” sabi ni Harjot.

Bumuo ang CodeRabbit ng platform para sa pamamahala at kontrol na pinapagana ng AI at idinisenyo para suriin at tiyaking mapagkakatiwalaan ang code na ginawa ng AI. Ginagamit ng mahigit 20,000 organisasyon at mahigit 150,000 open-source na proyekto ang CodeRabbit. Tinutulungan nito ang mga team na unawain, suriin, at protektahan ang code na ginawa ng mga AI agent, at magpasya kung ano ang handa nang ilabas.

Ayon sa CodeRabbit, dahil sa mas mahusay na performance kapalit ng halaga mula sa OpenAI, nakakapagdagdag ito ng mas maraming AI agent sa mga review nito at naipapasa ang mga benepisyo sa mga customer. Tinutulungan naman ito ng Codex⁠ na maglabas ng 20 beses na mas maraming software gamit ang parehong engineering team. Ginagamit din ng kumpanya ang Daybreak⁠ para protektahan ang sarili nitong stack at ang code ng mga customer nito. Ang pinakabago nitong produkto, ang CodeRabbit Secure, ay gumagamit ng Daybreak kasama ng mga modelo ng Codex para hanapin at ayusin ang mga kahinaan sa seguridad gamit ang mga agent nitong nakatuon sa seguridad.

Binuo ng CodeRabbit ang una nitong produkto gamit ang GPT‑3.5 Turbo. Ayon kay Harjot, naging epektibo ang produkto sa pag-review ng code nang dumating ang GPT‑4. Pagkatapos nito, maagang gumamit ang kumpanya ng OpenAI o1 at OpenAI o3. Dahil hindi kailangang hintayin nang real time ang mga code review na tumatakbo sa cloud, nakagamit ang CodeRabbit ng mga modelong mas matagal mang mangatwiran tungkol sa isang problema ay mas mahusay naman ang pagsusuri.

Sinusuri ng team ang mga bagong modelo gamit ang sarili nitong benchmark ng mga kilalang problema. Noong panayam, tinantiya ni Harjot na natukoy ng GPT‑6 Astra⁠ ang 50% ng mga problema sa dataset na iyon, kaya nanguna ito sa iba pang modelo sa benchmark na iyon.

Patuloy na nagbabago ang benchmark habang nakakagawa ang mga agent ng iba't ibang uri ng pagkakamali at habang inilalantad ng mga pag-aayos ang mga problemang hindi nakita sa mga naunang review. “Patuloy na nagbabago ang uri ng mga bug, kaya nagbabago rin ang aming benchmark habang gumagaling ang mga modelo,” sabi ni Harjot.

Nakatulong ang mas mahusay na performance kapalit ng halaga ng mga modelo ng OpenAI para mailipat ng CodeRabbit sa produkto nito ang mga kakayahang dating nasa pananaliksik pa lamang. Itinuturo ni Harjot ang mga pagpapabuti sa pagpepresyo ng mga modelo at sa caching na nagbibigay-daan sa kumpanya na gumamit ng mas maraming AI, magdagdag ng mga subagent, at ipasa ang mga benepisyo sa mga customer.

Noong nagsisimula pa lang ang CodeRabbit, isa o dalawang subagent ang ginagamit nito para mag-navigate sa code. Ngayon, sinusuportahan ng mga modelong mas mura gaya ng GPT‑6 Luna ang mas maraming subagent sa buong platform, habang ang mga modelong gaya ng GPT‑6 Astra ang nangangasiwa sa pagpaplano at pag-uugnay ng mga gawain.

“Ngayon, gumagamit na kami ng mga agent sa lahat ng uri ng gawaing hindi man lang namin kayang gastusan noon,” sabi ni Harjot. Dahil dito, mas malawak na pagsusuri ang kayang gawin ng CodeRabbit at mas marami itong maibibigay na paliwanag sa mga developer, na tumutulong sa kanila na unawain at pagkatiwalaan ang mga pagbabagong hindi sila mismo ang sumulat.

Ayon kay Harjot, dahil sa paggamit ng Codex, nakapaglabas ang kumpanya ng humigit-kumulang 20 beses na mas maraming software sa nakalipas na 6 na buwan nang hindi nagdagdag ng mga engineer. Sa sarili niyang tantiya, nakapagsumite siya ng 2,500 hanggang 3,000 pull request sa loob ng 30 araw bago ang panayam.

Hindi lang paggamit ng Codex ang kinailangan para maabot iyon. Inilantad ng pagpapatakbo ng maraming agent ang mga limitasyon sa buong proseso ng pag-develop—mula sa memory at kapasidad sa pagproseso ng laptop hanggang sa testing, mga tool na nagko-compile at nagpa-package ng software, at mga dependency.

Pinasimple ng team ang proseso ng pag-release at muling pinag-isipan kung saang mga hakbang kailangan ang pag-apruba ng tao. Ginamit din nito ang CodeRabbit para awtomatikong ilabas ang mga pagbabagong mababa ang panganib at hindi nangangailangan ng interbensyon ng tao. “Kinailangan talaga naming pag-isipang muli mula sa simula ang buong proseso ng paghahatid ng software,” sabi ni Harjot.

Bumuo rin ang kumpanya ng Slack bot na pinapagana ng Codex para suriin at unahin ang mga insidente sa production, mensahe sa Slack, at support ticket. Maaari itong magbigay ng pull request na susuriin at ime-merge ng team. Para kay Harjot, ang pag-develop sa cloud ay paraan para mabawasan ang mga limitasyon ng lokal na computer at mabigyan ang mga team ng mas mahigpit na kontrol sa access at pag-audit.

Ginagamit ng CodeRabbit ang Codex sa mga gawain bukod sa engineering, kabilang ang pamamahala ng marketing at mga operasyon sa pamamagitan ng code. “Pinapatakbo namin ang kumpanya sa pamamagitan ng code hangga't maaari,” sabi ni Harjot.

Sa marketing, pinamamahalaan ng kumpanya ang Google Ads sa pamamagitan ng mga pull request. Gumagawa at nagme-merge ang team ng request para mag-deploy ng mga ad. Gumagamit din ito ng repository para sa content studio, kung saan gumagawa ang Codex ng mga slide presentation at dokumento para sa mga customer. “Kung magagawa mong gawing mga problemang malulutas sa code ang mga problema mo sa marketing, magiging 10x ang bilis ng trabaho mo,” sabi ni Harjot.

Mula pa noong 2023, nagpapatakbo na ang CodeRabbit ng mga agent sa mga sandbox environment, nagko-clone ng mga repository at hinahayaang magsulat ng code ang mga agent para tumulong sa mga review. Kamakailan, ginamit ng CodeRabbit ang modelong Cyber ng OpenAI sa pamamagitan ng Daybreak para subukan at protektahan ang sarili nitong platform.

Ginamit ng team ang modelo para sa internal na penetration testing, kung saan sinuri nito ang sariling platform para hanapin ang mga posibleng paraan ng pagpasok ng isang attacker. Ayon kay Harjot, nakatulong ang maagang access para maprotektahan ng CodeRabbit ang sarili nitong stack. “Marami kaming nakitang kahinaan sa seguridad—mga sopistikadong paraan ng pag-hack na hindi namin akalaing posible,” sabi ni Harjot.

Mula noon, iniaalok na nito sa merkado ang mga kakayahang iyon, na tumutulong protektahan ang code ng mga customer sa pamamagitan ng pinakabago nitong produkto, ang CodeRabbit Secure. Sa nakalipas na dalawang linggo, nag-alok ang kumpanya ng promo kung saan sinagot nito ang $1M na halaga ng libreng masusing pag-scan para sa mga user. Nakatukoy ito ng mahigit 43,000 kahinaan sa seguridad sa 13,000 masusing pag-scan, na lahat ay pinagana ng mga modelo ng Codex. Libo-libo sa mga kahinaang ito ang naayos na ng mga customer nito, na nakatulong mapahusay ang seguridad ng kanilang code.

Habang nagsisimulang tumugon sa mga alerto at insidente ang mga agent na tumatakbo sa background nang hindi na kailangang simulan ng tao ang bawat gawain, inaasahan ni Harjot na mangangailangan ang mga team ng higit na tulong sa pagpapasya kung aling mga pagbabago ang dapat ituloy hanggang makumpleto.

Sa mga susunod na hakbang nito, lumalawak ang CodeRabbit tungo sa pag-develop ng software gamit ang mga agent. Tinutulungan nito ang mga team na malawakang suriin, unahin, ipaliwanag, protektahan, at beripikahin ang mga pagbabago sa code na ginawa ng mga agent.

May pagkakataong tulungan ang mga developer na manatiling may kontrol habang mas maraming pagbuo ang ginagawa ng mga agent, sa pamamagitan ng pagsusuri, pagpapaliwanag, at maintenance na nakakasabay sa dami ng code na nalilikha.