CodeRabbit kehittää agenteilla ja julkaisee 20 kertaa enemmän

CodeRabbitin⁠(avautuu uudessa ikkunassa) toisen perustajan ja toimitusjohtajan Harjot Gillin mukaan agenttien tuottaman koodin validoinnissa ja luotettavuuden arvioinnissa korostuu tiimien harkinta, kun tekoälyn tuottaman työn määrä kasvaa. ”Koodikatselmoinnit ovat ensimmäinen pullonkaula, johon jokainen yritys törmää heti otettuaan ohjelmointiagentit käyttöön”, Harjot sanoo.

CodeRabbit rakensi tekoälypohjaisen hallinta- ja valvonta-alustan, jonka tarkoituksena on validoida tekoälyn tuottamaa koodia ja varmistaa sen luotettavuus. Yli 20 000 organisaation ja yli 150 000 avoimen lähdekoodin projektin käyttämä CodeRabbit auttaa tiimejä ymmärtämään, katselmoimaan ja suojaamaan tekoälyagenttien tuottamaa koodia sekä päättämään, mikä on valmis julkaistavaksi.

CodeRabbitin mukaan OpenAI:n parempi hinta-suorituskykysuhde auttaa sitä lisäämään tekoälyagentteja katselmointeihin ja välittämään hyödyt asiakkaille. Codex⁠ puolestaan auttaa sitä julkaisemaan 20 kertaa enemmän ohjelmistoja samalla kehittäjätiimillä. Yritys käyttää myös Daybreakia⁠ sekä oman teknologiapinonsa että asiakkaidensa koodin suojaamiseen. Sen uusin tuote CodeRabbit Secure hyödyntää Daybreakia ja Codex-malleja löytääkseen ja korjatakseen haavoittuvuuksia tietoturvaan keskittyvillä agenteillaan.

CodeRabbit rakensi ensimmäisen tuotteensa GPT‑3.5 Turbon avulla. Harjotin mukaan GPT‑4:n tulo teki tuotteesta tehokkaan koodin katselmoijan. Sittemmin yritys otti varhain käyttöön OpenAI o1- ja OpenAI o3 -mallit. Koska koodikatselmoinnit suoritetaan asynkronisesti pilvessä, CodeRabbit pystyi käyttämään malleja, joiden päättely vie enemmän aikaa mutta tuottaa laadukkaampaa analyysia.

Tiimi arvioi uusia malleja omalla vertailutestillään, joka koostuu tunnetuista ongelmista. Haastatteluhetkellä Harjot arvioi, että GPT‑6 Astra⁠ löysi 50 % kyseisen aineiston ongelmista ja sijoittui siten vertailutestin mallien kärkeen.

Vertailutesti kehittyy jatkuvasti, kun agentit tekevät uudenlaisia virheitä ja korjaukset paljastavat ongelmia, jotka jäivät aiemmissa katselmoinneissa huomaamatta. ”Virheiden luonne muuttuu jatkuvasti, ja mallien parantuessa myös vertailutestimme kehittyy”, Harjot sanoo.

OpenAI:n mallien parempi hinta-suorituskykysuhde on auttanut CodeRabbitia siirtämään kyvykkyyksiä tutkimuksesta tuotteeseensa. Harjot nostaa esiin mallien edullisemman hinnoittelun ja välimuistin käytön parannukset. Niiden ansiosta yritys voi hyödyntää enemmän tekoälyä, lisätä aliagentteja ja välittää hyödyt asiakkaille.

Alkuaikoinaan CodeRabbit käytti yhtä tai kahta aliagenttia koodissa navigointiin. Edullisemmat mallit, kuten GPT‑6 Luna, mahdollistavat nyt useampien aliagenttien käytön koko alustalla, kun taas GPT‑6 Astran kaltaiset mallit hoitavat suunnittelun ja orkestroinnin.

”Nyt käytämme agentteja kaikkialla sellaisiin tehtäviin, joihin meillä ei aiemmin ollut edes varaa”, Harjot sanoo. Näin CodeRabbit voi validoida koodia entistä kattavammin ja antaa kehittäjille enemmän selityksiä. Se auttaa heitä ymmärtämään muutoksia, joita he eivät ole itse kirjoittaneet, ja luottamaan niihin.

Harjotin mukaan yritys on Codexin avulla julkaissut viimeisten kuuden kuukauden aikana noin 20 kertaa enemmän ohjelmistoja palkkaamatta lisää kehittäjiä. Hän arvioi itse lähettäneensä 2 500–3 000 pull request -pyyntöä haastattelua edeltäneiden 30 päivän aikana.

Tähän pääseminen vaati muutakin kuin Codexin käyttöönoton. Useiden agenttien käyttö paljasti rajoitteita koko kehitysprosessissa: kannettavien tietokoneiden muistissa ja laskentatehossa, testauksessa, ohjelmistojen käännös- ja paketointityökaluissa sekä riippuvuuksissa.

Tiimi sujuvoitti julkaisuprosessiaan ja arvioi uudelleen, missä vaiheissa tarvittiin ihmisen hyväksyntä. Samalla se käytti CodeRabbitia julkaisemaan automaattisesti vähäriskiset muutokset, jotka eivät edellyttäneet ihmisen osallistumista. ”Meidän oli todella mietittävä koko ohjelmistojen toimitusprosessi täysin uudelleen”, Harjot sanoo.

Yritys on myös rakentanut Codexia hyödyntävän Slack-botin, joka luokittelee ja priorisoi tuotantohäiriöitä, Slack-viestejä ja tukipyyntöjä. Se voi tuottaa pull request -pyynnön, jonka tiimi voi tarkistaa ja yhdistää koodipohjaan. Harjot näkee pilvipohjaisen kehittämisen keinona vähentää paikallisten koneiden asettamia rajoitteita ja antaa tiimeille paremmat mahdollisuudet käyttöoikeuksien hallintaan ja auditointiin.

CodeRabbit käyttää Codexia myös ohjelmistokehityksen ulkopuolella, esimerkiksi markkinoinnin ja operatiivisten tehtävien hallintaan koodin avulla. ”Hoidamme yrityksen toimintaa koodilla niin paljon kuin mahdollista”, Harjot sanoo.

Markkinoinnissa yritys hallinnoi Google Ads -mainontaa pull request -pyyntöjen avulla. Tiimi luo pyynnön ja yhdistää sen muutokset koodipohjaan julkaistakseen mainokset. Se käyttää myös sisällöntuotantoon tarkoitettua repositoriota, jossa Codex luo diaesityksiä ja asiakasdokumentteja. ”Jos pystyt muuttamaan markkinoinnin ongelmat ohjelmointiongelmiksi, etenet kymmenen kertaa nopeammin”, Harjot sanoo.

CodeRabbit on käyttänyt agentteja hiekkalaatikkoympäristöissä vuodesta 2023 lähtien: se kloonaa repositorioita ja antaa agenttien kirjoittaa koodia katselmointien tueksi. Hiljattain CodeRabbit käytti OpenAI:n Cyber-mallia Daybreakin kautta oman alustansa testaamiseen ja suojaamiseen.

Tiimi käytti mallia sisäiseen penetraatiotestaukseen ja etsi alustastaan reittejä, joiden kautta hyökkääjä voisi murtautua sisään. Harjotin mukaan ennakkokäyttö auttoi CodeRabbitia suojaamaan oman teknologiapinonsa. ”Löysimme useita haavoittuvuuksia ja kehittyneitä hyökkäystapoja, joita emme osanneet edes kuvitella mahdollisiksi”, Harjot sanoo.

Sittemmin yritys on tuonut nämä kyvykkyydet markkinoille uusimmassa tuotteessaan CodeRabbit Securessa, joka auttaa suojaamaan asiakkaiden koodia. Viimeisten kahden viikon aikana yritys tarjosi käyttäjilleen kampanjassa maksuttomia syvätarkistuksia miljoonan dollarin arvosta. Kaikkiaan 13 000 syvätarkistuksessa löytyi yli 43 000 tietoturvahaavoittuvuutta. Kaikki tarkistukset tehtiin Codex-malleilla. Asiakkaat ovat jo korjanneet tuhansia näistä haavoittuvuuksista ja siten parantaneet koodinsa tietoturvaa.

Kun taustalla toimivat agentit alkavat reagoida hälytyksiin ja häiriöihin ilman, että ihminen käynnistää jokaisen tehtävän, Harjot uskoo tiimien tarvitsevan enemmän apua sen päättämiseen, mitkä muutokset viedään loppuun.

CodeRabbit laajentaa toimintaansa kohti agenttipohjaista ohjelmistokehitystä. Se auttaa tiimejä arvioimaan, priorisoimaan, selittämään, suojaamaan ja varmentamaan agenttien tuottamia koodimuutoksia laajassa mittakaavassa.

Mahdollisuutena on auttaa kehittäjiä säilyttämään hallinta, kun agentit tekevät yhä suuremman osan kehitystyöstä. Tämä edellyttää, että validointi, selitykset ja ylläpito pysyvät koodintuotannon tahdissa.