CodeRabbit uz agente razvija softver i isporučuje 20 puta više

Za Harjota Gilla, suosnivača i izvršnog direktora tvrtke CodeRabbit⁠(otvara se u novom prozoru), provjera valjanosti i pouzdanosti koda koji stvaraju agenti postaje područje u kojem timovi primjenjuju vlastitu prosudbu na sve veću količinu rada koji obavlja AI. „Prvo usko grlo na koje svaka tvrtka naiđe čim uvede agente za programiranje jest pregled koda”, kaže Harjot.

CodeRabbit je izradio platformu za upravljanje i nadzor koja se temelji na AI-ju, namijenjenu provjeri valjanosti i pouzdanosti koda koji generira AI. CodeRabbit upotrebljava više od 20.000 organizacija i više od 150.000 projekata otvorenog koda. Pomaže timovima razumjeti, pregledati i zaštititi kod koji stvaraju AI agenti te odlučiti što je spremno za isporuku.

Prema navodima tvrtke CodeRabbit, bolji omjer cijene i performansi modela tvrtke OpenAI omogućuje joj da u preglede uključi više AI agenata i te prednosti prenese klijentima, a Codex⁠ joj pomaže isporučivati 20 puta više softvera s istim razvojnim timom. Tvrtka upotrebljava i Daybreak⁠ za zaštitu vlastite tehnološke infrastrukture i koda svojih klijenata. Njezin najnoviji proizvod, CodeRabbit Secure, upotrebljava Daybreak s modelima Codex kako bi s pomoću agenata usmjerenih na sigurnost pronalazio i otklanjao ranjivosti.

CodeRabbit je svoj prvi proizvod izradio uz GPT‑3.5 Turbo. Harjot kaže da je dolazak modela GPT‑4 učinio proizvod učinkovitim u pregledavanju koda. Tvrtka je zatim među prvima uvela OpenAI o1 i OpenAI o3. Budući da se pregledi koda izvode asinkrono u oblaku, CodeRabbit je mogao upotrebljavati modele kojima je trebalo više vremena za rasuđivanje o problemu, ali su zato pružali kvalitetniju analizu.

Tim procjenjuje nove modele na vlastitom referentnom skupu poznatih problema. U vrijeme intervjua Harjot je procijenio da je GPT‑6 Astra⁠ otkrio 50 % problema u tom skupu podataka, čime je zauzeo prvo mjesto među modelima u tom referentnom testu.

Referentni skup nastavlja se razvijati jer agenti uvode različite vrste pogrešaka, a ispravci otkrivaju probleme koji su promaknuli u ranijim pregledima. „Priroda programskih pogrešaka stalno se mijenja, a kako modeli postaju bolji, mijenja se i naš referentni skup”, kaže Harjot.

Bolji omjer cijene i performansi modela tvrtke OpenAI pomogao je tvrtki CodeRabbit da mogućnosti razvijene u istraživanju ugradi u svoj proizvod. Harjot ističe povoljnije cijene modela i poboljšanja predmemoriranja koja tvrtki omogućuju da više upotrebljava AI, doda više podagenata i te prednosti prenese klijentima.

U počecima je CodeRabbit upotrebljavao jednog ili dva podagenta za snalaženje u kodu. Jeftiniji modeli poput GPT‑6 Luna sada omogućuju rad većeg broja podagenata na cijeloj platformi, dok modeli poput GPT‑6 Astra obavljaju planiranje i orkestraciju.

„Sada agente upotrebljavamo posvuda, za namjene koje si prije nismo mogli ni priuštiti”, kaže Harjot. Time se proširuje opseg provjera koje CodeRabbit može provoditi i objašnjenja koja može pružiti razvojnim timovima, što im pomaže razumjeti izmjene koje nisu sami napisali i steći povjerenje u njih.

Harjot kaže da je zahvaljujući upotrebi modela Codex tvrtka tijekom posljednjih šest mjeseci isporučivala otprilike 20 puta više softvera bez zapošljavanja dodatnih razvojnih inženjera. Procjenjuje da je osobno poslao između 2500 i 3000 pull request zahtjeva u 30 dana prije intervjua.

Za taj je rezultat bilo potrebno više od samog uvođenja modela Codex. Pokretanje više agenata razotkrilo je ograničenja u cijelom razvojnom procesu, od memorije i računalne snage prijenosnih računala do testiranja, alata za kompiliranje i pakiranje softvera te programskih ovisnosti.

Tim je pojednostavnio postupak objavljivanja i preispitao u kojim su koracima potrebna ljudska odobrenja, a CodeRabbit je upotrebljavao za automatsku isporuku niskorizičnih izmjena koje nisu zahtijevale ljudsku intervenciju. „Zapravo smo morali potpuno iznova osmisliti cijeli proces isporuke softvera”, kaže Harjot.

Tvrtka je izradila i bota za Slack koji se temelji na modelu Codex te razvrstava incidente u produkciji, poruke na Slacku i zahtjeve za podršku prema prioritetu. Može izraditi pull request zahtjev koji tim zatim pregledava i spaja s postojećim kodom. Harjot u razvoju u oblaku vidi način da se smanje ograničenja lokalnih računala i timovima omogući bolja kontrola pristupa i revizije.

CodeRabbit upotrebljava Codex i izvan razvoja softvera, primjerice za upravljanje marketinškim i operativnim zadacima putem koda. „Tvrtkom upravljamo putem koda koliko god je to moguće”, kaže Harjot.

U marketingu tvrtka upravlja oglasima na platformi Google Ads putem pull request zahtjeva. Tim otvara zahtjev i spaja izmjene kako bi objavio oglase. Upotrebljava i repozitorij za izradu sadržaja u kojem Codex izrađuje prezentacije i dokumente namijenjene klijentima. „Ako svoje marketinške probleme možete pretvoriti u programske zadatke, radit ćete 10 puta brže”, kaže Harjot.

CodeRabbit od 2023. pokreće agente u izoliranim okruženjima, klonira repozitorije i omogućuje agentima da pišu kod kako bi pomogli pri pregledima. Nedavno je CodeRabbit putem sustava Daybreak upotrijebio model Cyber tvrtke OpenAI za testiranje i zaštitu vlastite platforme.

Tim je model upotrijebio za interno penetracijsko testiranje, ispitujući vlastitu platformu kako bi otkrio načine na koje bi napadač mogao prodrijeti u nju. Harjot kaže da je rani pristup pomogao tvrtki CodeRabbit da zaštiti vlastitu tehnološku infrastrukturu. „Pronašli smo više ranjivosti, napredne načine napada za koje nismo mogli ni zamisliti da su mogući”, kaže Harjot.

Tvrtka je otad te mogućnosti ponudila i tržištu te svojim najnovijim proizvodom, CodeRabbit Secure, pomaže zaštititi kod svojih klijenata. Tijekom protekla dva tjedna tvrtka je u sklopu promotivne ponude svojim korisnicima pokrila troškove besplatnih dubinskih skeniranja u vrijednosti od milijun dolara. U 13.000 dubinskih skeniranja otkrila je više od 43.000 sigurnosnih ranjivosti, a sva su skeniranja provedena uz modele Codex. Klijenti su već otklonili tisuće tih ranjivosti i time poboljšali sigurnost svojeg koda.

Kako pozadinski agenti počinju reagirati na upozorenja i incidente bez potrebe da osoba pokrene svaki zadatak, Harjot očekuje da će timovima trebati više pomoći pri odlučivanju koje izmjene provesti do kraja.

CodeRabbit se ubuduće širi na razvoj softvera s pomoću agenata te pomaže timovima da u velikom opsegu potvrđuju valjanost, određuju prioritete, objašnjavaju, osiguravaju i provjeravaju izmjene koda koje generiraju agenti.

Prilika je u tome da se razvojnim timovima pomogne zadržati kontrolu dok agenti preuzimaju sve veći dio razvoja, uz provjere valjanosti, objašnjenja i održavanje koji prate tempo stvaranja koda.