CodeRabbit uz agente razvija i isporučuje 20x više softvera

Za Harjota Gilla, suosnivača i izvršnog direktora kompanije CodeRabbit⁠(otvara se u novom prozoru), provjera ispravnosti i pouzdanosti koda koji stvaraju agenti postaje područje u kojem timovi primjenjuju vlastitu prosudbu na sve veći obim rada koji obavlja AI. „Prvo usko grlo na koje svaka kompanija naiđe čim uvede agente za programiranje jeste pregled koda“, kaže Harjot.

CodeRabbit je razvio platformu za upravljanje i kontrolu zasnovanu na AI tehnologiji, namijenjenu provjeri ispravnosti i pouzdanosti koda koji generira AI. CodeRabbit koristi više od 20.000 organizacija i preko 150.000 projekata otvorenog koda. Pomaže timovima da razumiju, pregledaju i zaštite kod koji stvaraju AI agenti te odluče šta je spremno za isporuku.

Prema navodima kompanije CodeRabbit, bolji omjer cijene i performansi modela kompanije OpenAI omogućava joj da uključi više AI agenata u pregled koda i prenese te prednosti na klijente, dok joj Codex⁠ pomaže da s istim inženjerskim timom isporučuje 20 puta više softvera. Kompanija također koristi Daybreak⁠ za zaštitu vlastitog tehnološkog sklopa i koda svojih klijenata. Njen najnoviji proizvod, CodeRabbit Secure, koristi Daybreak s modelima Codex kako bi putem agenata usmjerenih na sigurnost pronalazio i otklanjao ranjivosti.

CodeRabbit je svoj prvi proizvod razvio uz GPT‑3.5 Turbo. Harjot kaže da je dolazak modela GPT‑4 učinio proizvod efikasnim u pregledu koda. Kompanija je potom među prvima uvela OpenAI o1 i OpenAI o3. Budući da se pregled koda odvija asinhrono u oblaku, CodeRabbit je mogao koristiti modele kojima je trebalo više vremena za rezonovanje o problemu, ali koji su zauzvrat pružali kvalitetniju analizu.

Tim procjenjuje nove modele pomoću vlastitog referentnog testa s poznatim problemima. U vrijeme intervjua Harjot je procijenio da je GPT‑6 Astra⁠ otkrio 50% problema u tom skupu podataka, što ga je stavilo na prvo mjesto u odnosu na ostale modele u tom referentnom testu.

Referentni test nastavlja se razvijati jer agenti prave nove vrste grešaka, a ispravke otkrivaju probleme koje raniji pregledi nisu uočili. „Priroda grešaka stalno se mijenja, pa se i naš referentni test razvija kako modeli postaju bolji“, kaže Harjot.

Bolji omjer cijene i performansi modela kompanije OpenAI pomogao je kompaniji CodeRabbit da mogućnosti razvijene u istraživanju uvede u svoj proizvod. Harjot ističe povoljnije cijene modela i poboljšanja u keširanju, zahvaljujući kojima kompanija može više koristiti AI, dodavati više podagenata i prenijeti te prednosti na klijente.

U početku je CodeRabbit koristio jednog ili dva podagenta za snalaženje u kodu. Jeftiniji modeli, kao što je GPT‑6 Luna, sada omogućavaju rad većeg broja podagenata širom platforme, dok modeli poput GPT‑6 Astra preuzimaju planiranje i orkestraciju.

„Sada koristimo agente svuda, za zadatke za koje ih ranije nismo mogli ni priuštiti“, kaže Harjot. Time se proširuje obim provjera koje CodeRabbit može obaviti i objašnjenja koja može dati programerima, pomažući im da razumiju izmjene koje nisu sami napisali i steknu povjerenje u njih.

Harjot kaže da je kompanija zahvaljujući korištenju alata Codex u posljednjih šest mjeseci isporučivala približno 20 puta više softvera bez zapošljavanja dodatnih inženjera. Procjenjuje da je lično poslao između 2.500 i 3.000 zahtjeva tipa pull request u 30 dana prije intervjua.

Za taj rezultat nije bilo dovoljno samo uvesti Codex. Pokretanje više agenata otkrilo je ograničenja u cijelom razvojnom procesu, od memorije i procesorske snage laptopa do testiranja, alata za kompajliranje i pakovanje softvera te programskih zavisnosti.

Tim je pojednostavio proces objavljivanja i preispitao u kojim je koracima potrebno ljudsko odobrenje, a CodeRabbit je koristio za automatsku isporuku niskorizičnih izmjena koje nisu zahtijevale ljudsku intervenciju. „Morali smo iz temelja preispitati cijeli proces isporuke softvera“, kaže Harjot.

Kompanija je razvila i bota za Slack kojeg pokreće Codex i koji razvrstava incidente u produkciji, poruke na Slacku i zahtjeve za podršku prema prioritetu. Bot može pripremiti pull request koji tim zatim pregleda i spaja s glavnim kodom. Harjot vidi razvoj u oblaku kao način da se smanje ograničenja lokalnih računara i timovima pruži veća kontrola nad pristupom i revizijom aktivnosti.

CodeRabbit koristi Codex i izvan razvoja softvera, između ostalog za upravljanje marketinškim i operativnim zadacima kroz kod. „Kompanijom upravljamo kroz kod koliko god je to moguće“, kaže Harjot.

U marketingu kompanija upravlja oglasima na platformi Google Ads putem zahtjeva tipa pull request. Tim otvara zahtjev i spaja predložene izmjene kako bi objavio oglase. Koristi i repozitorij za izradu sadržaja u kojem Codex kreira prezentacije i dokumente namijenjene klijentima. „Ako svoje marketinške probleme možete pretvoriti u programske zadatke, radit ćete 10 puta brže“, kaže Harjot.

CodeRabbit od 2023. pokreće agente u izoliranim okruženjima, klonira repozitorije i omogućava agentima da pišu kod koji pomaže pri pregledu. Nedavno je CodeRabbit putem platforme Daybreak koristio model Cyber kompanije OpenAI za testiranje i zaštitu vlastite platforme.

Tim je koristio model za interno penetracijsko testiranje, ispitujući načine na koje bi napadač mogao prodrijeti u njihovu platformu. Harjot kaže da je rani pristup pomogao kompaniji CodeRabbit da zaštiti vlastiti tehnološki sklop. „Pronašli smo više ranjivosti, sofisticirane načine upada za koje nismo mogli ni zamisliti da su mogući“, kaže Harjot.

Kompanija je od tada te mogućnosti ponudila tržištu kroz svoj najnoviji proizvod, CodeRabbit Secure, koji pomaže u zaštiti koda njenih klijenata. Tokom protekle dvije sedmice kompanija je u okviru promotivne ponude svojim korisnicima pokrila troškove dubinskih skeniranja u vrijednosti od milion dolara. U 13.000 dubinskih skeniranja otkrila je više od 43.000 sigurnosnih ranjivosti, a sva skeniranja pokretali su modeli Codex. Klijenti su već otklonili hiljade tih ranjivosti, čime su poboljšali sigurnost svog koda.

Kako agenti u pozadini počinju reagirati na upozorenja i incidente bez potrebe da osoba pokrene svaki zadatak, Harjot očekuje da će timovima trebati više pomoći pri odlučivanju koje izmjene treba provesti do kraja.

CodeRabbit se ubuduće sve više usmjerava na razvoj softvera uz agente, pomažući timovima da u velikom obimu potvrđuju ispravnost, određuju prioritete, objašnjavaju, štite i provjeravaju izmjene koda koje generiraju agenti.

Prilika je u tome da se programerima pomogne da zadrže kontrolu dok agenti preuzimaju sve veći dio razvoja, uz provjere, objašnjenja i održavanje koji prate tempo nastajanja koda.