CodeRabbit širi razvoj z agenti in izda 20-krat več

Harjot Gill, soustanovitelj in izvršni direktor podjetja CodeRabbit⁠(odpre se v novem oknu), meni, da preverjanje kode, ki jo ustvarijo agenti, in presojanje njene zanesljivosti postajata ključni točki, kjer ekipe uveljavljajo lastno presojo ob vse večjem obsegu dela, ki ga opravi UI. »Prvo ozko grlo, na katero naleti vsako podjetje takoj po uvedbi programerskih agentov, so pregledi kode,« pravi Harjot.

CodeRabbit je razvil platformo za upravljanje in nadzor, ki temelji na UI ter je namenjena preverjanju kode, ustvarjene z UI, in zagotavljanju njene zanesljivosti. CodeRabbit uporablja več kot 20.000 organizacij in več kot 150.000 odprtokodnih projektov. Ekipam pomaga razumeti, pregledovati in zaščititi kodo, ki jo ustvarijo agenti UI, ter presoditi, kaj je pripravljeno za izdajo.

Po navedbah podjetja CodeRabbit mu boljše razmerje med ceno in zmogljivostjo modelov OpenAI omogoča, da v preglede vključi več agentov UI in prednosti prenese na stranke, Codex⁠ pa mu pomaga z isto razvojno ekipo izdati 20-krat več programske opreme. Podjetje uporablja tudi Daybreak⁠ za zaščito lastnega tehnološkega sklada in kode svojih strank. Njegova najnovejša ponudba, CodeRabbit Secure, uporablja Daybreak z modeli Codex za odkrivanje in odpravljanje ranljivosti s pomočjo agentov, specializiranih za varnost.

CodeRabbit je svoj prvi izdelek razvil z modelom GPT‑3.5 Turbo. Harjot pravi, da je izdelek s prihodom modela GPT‑4 postal učinkovit pri pregledovanju kode. Podjetje je nato med prvimi uvedlo modela OpenAI o1 in OpenAI o3. Ker pregledi kode potekajo asinhrono v oblaku, je CodeRabbit lahko uporabljal modele, ki so za sklepanje o težavi potrebovali več časa, a so zato omogočali temeljitejšo analizo.

Ekipa nove modele ocenjuje z lastnim primerjalnim preizkusom, ki temelji na znanih težavah. Harjot je ob intervjuju ocenil, da je GPT‑6 Astra⁠ odkril 50 % težav v tem naboru podatkov, s čimer se je na tem primerjalnem preizkusu uvrstil na prvo mesto med modeli.

Primerjalni preizkus se nenehno razvija, saj agenti uvajajo različne vrste napak, popravki pa razkrivajo težave, ki so jih prejšnji pregledi spregledali. »Narava napak se nenehno spreminja, z izboljševanjem modelov pa se razvija tudi naš primerjalni preizkus,« pravi Harjot.

Boljše razmerje med ceno in zmogljivostjo modelov OpenAI je podjetju CodeRabbit pomagalo prenesti zmogljivosti iz raziskav v izdelek. Harjot izpostavlja ugodnejše cene modelov in izboljšave predpomnjenja, ki podjetju omogočajo večjo uporabo UI, dodajanje več podagentov in prenos prednosti na stranke.

CodeRabbit je na začetku za navigacijo po kodi uporabljal enega ali dva podagenta. Cenovno ugodnejši modeli, kot je GPT‑6 Luna, zdaj podpirajo več podagentov po vsej platformi, modeli, kot je GPT‑6 Astra, pa skrbijo za načrtovanje in usklajevanje.

»Zdaj agente uporabljamo povsod, tudi za naloge, pri katerih si jih prej sploh nismo mogli privoščiti,« pravi Harjot. S tem CodeRabbit razširja obseg preverjanja in pojasnil, ki jih lahko ponudi razvijalcem, ter jim pomaga razumeti spremembe, ki jih niso napisali sami, in jim zaupati.

Harjot pravi, da je podjetje z uporabo orodja Codex v zadnjih šestih mesecih izdajalo približno 20-krat več programske opreme, ne da bi zaposlilo dodatne razvijalce. Ocenjuje, da je sam v 30 dneh pred intervjujem oddal od 2.500 do 3.000 zahtev pull request.

Za ta dosežek je bilo potrebno več kot le uvedba orodja Codex. Sočasno delovanje več agentov je razkrilo omejitve v celotnem razvojnem procesu: od pomnilnika in računske zmogljivosti prenosnikov do testiranja, orodij za prevajanje in pakiranje programske opreme ter odvisnosti.

Ekipa je poenostavila postopek izdajanja in znova premislila, kje so potrebne človeške odobritve, hkrati pa je s platformo CodeRabbit samodejno izdajala spremembe z majhnim tveganjem, ki niso zahtevale človeškega posredovanja. »Pravzaprav smo morali povsem na novo premisliti celoten proces dostave programske opreme,« pravi Harjot.

Podjetje je razvilo tudi bot za Slack, ki ga poganja Codex in ki razvršča incidente v produkciji, sporočila v Slacku ter zahtevke za podporo po prednosti. Pripravi lahko zahtevo pull request, ki jo ekipa pregleda in združi s kodo. Harjot v razvoju v oblaku vidi način za zmanjšanje omejitev lokalnih računalnikov ter boljši nadzor ekip nad dostopom in revizijskimi sledmi.

CodeRabbit uporablja Codex tudi zunaj razvoja programske opreme, med drugim za upravljanje trženjskih in operativnih nalog prek kode. »Podjetje v čim večji meri vodimo prek kode,« pravi Harjot.

Na področju trženja podjetje upravlja Google Ads prek zahtev pull request. Ekipa za objavo oglasov odpre zahtevo in jo združi s kodo. Uporablja tudi repozitorij za ustvarjanje vsebin, v katerem Codex pripravlja predstavitve in dokumente za stranke. »Če lahko trženjske izzive pretvorite v programske, boste delali 10-krat hitreje,« pravi Harjot.

CodeRabbit že od leta 2023 uporablja agente v izoliranih okoljih, kjer klonira repozitorije in agentom omogoča pisanje kode za pomoč pri pregledih. Pred kratkim je CodeRabbit prek rešitve Daybreak uporabil model Cyber podjetja OpenAI za preizkušanje in zaščito lastne platforme.

Ekipa je model uporabila za interno penetracijsko testiranje in na lastni platformi iskala poti, po katerih bi lahko napadalec vdrl vanjo. Harjot pravi, da je zgodnji dostop podjetju CodeRabbit pomagal zaščititi lasten tehnološki sklad. »Našli smo več ranljivosti in napredne načine vdora, za katere si sploh nismo predstavljali, da so mogoči,« pravi Harjot.

Podjetje je te zmogljivosti od takrat ponudilo tudi na trgu in z najnovejšim izdelkom CodeRabbit Secure pomaga zaščititi kodo svojih strank. V zadnjih dveh tednih je podjetje v okviru promocijske ponudbe uporabnikom krilo milijon dolarjev stroškov brezplačnih poglobljenih pregledov. V 13.000 poglobljenih pregledih, ki so jih v celoti poganjali modeli Codex, je odkrilo več kot 43.000 varnostnih ranljivosti. Stranke so odpravile že več tisoč teh ranljivosti in tako izboljšale varnost svoje kode.

Agenti v ozadju se začenjajo odzivati na opozorila in incidente, ne da bi moral človek sprožiti vsako nalogo. Harjot zato pričakuje, da bodo ekipe potrebovale več pomoči pri odločanju, katere spremembe izpeljati do konca.

CodeRabbit se v prihodnje širi na področje razvoja programske opreme z agenti. Ekipam pomaga v velikem obsegu potrjevati, prednostno razvrščati, pojasnjevati, varovati in preverjati spremembe kode, ki jih ustvarijo agenti.

Priložnost je v tem, da razvijalcem pomaga ohraniti nadzor, medtem ko agenti prevzemajo vse več razvoja – s preverjanjem, pojasnili in vzdrževanjem, ki sledijo tempu nastajanja kode.