CodeRabbit rozširuje vývoj s agentmi a dodáva 20× viac softvéru

Podľa Harjota Gilla, spoluzakladateľa a generálneho riaditeľa CodeRabbit⁠(otvorí sa v novom okne), sa overovanie kódu vytvoreného agentmi a posudzovanie jeho dôveryhodnosti stáva oblasťou, v ktorej tímy uplatňujú svoj úsudok pri rastúcom objeme práce vytvorenej AI. „Prvým úzkym miestom, na ktoré každá spoločnosť narazí hneď po zavedení programovacích agentov, sú kontroly kódu,“ hovorí Harjot.

CodeRabbit vytvoril platformu na správu a kontrolu využívajúcu AI, ktorá overuje kód vytvorený AI a pomáha budovať dôveru v jeho spoľahlivosť. CodeRabbit používa vyše 20 000 organizácií a viac ako 150 000 projektov s otvoreným zdrojovým kódom. Pomáha tímom porozumieť kódu vytvorenému AI agentmi, kontrolovať ho, zabezpečovať a rozhodovať, čo je pripravené na vydanie.

Podľa CodeRabbit umožňuje lepší pomer ceny a výkonu modelov OpenAI zapájať do kontrol viac AI agentov a prenášať tieto výhody na zákazníkov. Codex⁠ zase spoločnosti pomáha dodávať 20-krát viac softvéru s rovnakým vývojovým tímom. Spoločnosť využíva aj Daybreak⁠ na zabezpečenie vlastného technologického prostredia aj kódu svojich zákazníkov. Jej najnovší produkt CodeRabbit Secure využíva Daybreak s modelmi Codex na vyhľadávanie a opravu zraniteľností pomocou agentov zameraných na bezpečnosť.

CodeRabbit vytvoril svoj prvý produkt s GPT‑3.5 Turbo. Podľa Harjota začal produkt účinne kontrolovať kód po príchode GPT‑4. Spoločnosť následne patrila medzi prvých používateľov OpenAI o1 a OpenAI o3. Keďže kontroly kódu prebiehajú asynchrónne v cloude, CodeRabbit mohol používať modely, ktoré potrebovali viac času na uvažovanie o probléme, no ponúkali kvalitnejšiu analýzu.

Tím vyhodnocuje nové modely pomocou vlastného porovnávacieho testu so známymi problémami. V čase rozhovoru Harjot odhadoval, že GPT‑6 Astra⁠ odhalil 50 % problémov v tejto množine údajov, čím sa v danom teste zaradil na prvé miesto medzi modelmi.

Porovnávací test sa priebežne vyvíja, pretože agenti robia nové druhy chýb a opravy odhaľujú problémy, ktoré predchádzajúce kontroly prehliadli. „Povaha chýb sa neustále mení, a ako sa modely zlepšujú, vyvíja sa aj náš porovnávací test,“ hovorí Harjot.

Lepší pomer ceny a výkonu modelov OpenAI pomohol CodeRabbit preniesť nové schopnosti z výskumu do produktu. Harjot poukazuje na priaznivejšie ceny modelov a lepšie využívanie vyrovnávacej pamäte, vďaka ktorým môže spoločnosť viac využívať AI, pridávať ďalších podagentov a prenášať výhody na zákazníkov.

V začiatkoch CodeRabbit používal na orientáciu v kóde jedného alebo dvoch podagentov. Lacnejšie modely, napríklad GPT‑6 Luna, dnes umožňujú využívať viac podagentov naprieč celou platformou, zatiaľ čo modely ako GPT‑6 Astra zabezpečujú plánovanie a orchestráciu.

„Teraz používame agentov všade, aj na úlohy, pri ktorých sme si to v minulosti nemohli dovoliť,“ hovorí Harjot. CodeRabbit tak môže overovať kód vo väčšom rozsahu a poskytovať vývojárom podrobnejšie vysvetlenia. Pomáha im tým porozumieť zmenám, ktoré sami nenapísali, a dôverovať im.

Podľa Harjota spoločnosť vďaka Codex za posledných 6 mesiacov dodávala približne 20-krát viac softvéru bez toho, aby rozšírila vývojový tím. Odhaduje, že on sám za 30 dní pred rozhovorom odoslal 2 500 až 3 000 návrhov typu pull request.

Dosiahnutie tohto výsledku si vyžadovalo viac než len zavedenie Codex. Spúšťanie viacerých agentov odhalilo obmedzenia v celom procese vývoja – od pamäte a výpočtového výkonu notebookov cez testovanie a nástroje na kompiláciu a balenie softvéru až po závislosti.

Tím zefektívnil proces vydávania softvéru a prehodnotil, kde je potrebné schválenie človekom. Zároveň využíval CodeRabbit na automatické nasadzovanie zmien s nízkym rizikom, ktoré nevyžadovali ľudský zásah. „Museli sme od základov prehodnotiť celý spôsob dodávania softvéru,“ hovorí Harjot.

Spoločnosť vytvorila aj bota pre Slack využívajúceho Codex, ktorý triedi incidenty v produkčnom prostredí, správy v Slacku a požiadavky na podporu podľa priority. Dokáže vytvoriť pull request, ktorý tím skontroluje a zlúči. Harjot vníma vývoj v cloude ako spôsob, ako zmierniť obmedzenia lokálnych počítačov a poskytnúť tímom lepšie možnosti riadenia prístupu a auditu.

CodeRabbit využíva Codex aj mimo vývoja softvéru vrátane riadenia marketingových a prevádzkových úloh prostredníctvom kódu. „Firmu riadime pomocou kódu všade, kde sa to dá,“ hovorí Harjot.

V marketingu spoločnosť spravuje Google Ads prostredníctvom návrhov typu pull request. Na spustenie reklám tím vytvorí a zlúči návrh. Používa aj repozitár na tvorbu obsahu, v ktorom Codex vytvára prezentácie a dokumenty určené zákazníkom. „Ak dokážete svoje marketingové problémy premeniť na programátorské úlohy, budete pracovať 10× rýchlejšie,“ hovorí Harjot.

CodeRabbit od roku 2023 spúšťa agentov v izolovaných prostrediach, klonuje repozitáre a necháva agentov písať kód, ktorý pomáha pri kontrolách. Nedávno CodeRabbit využil model Cyber od OpenAI prostredníctvom Daybreak na testovanie a zabezpečenie vlastnej platformy.

Tím model použil na interné penetračné testovanie, pri ktorom na vlastnej platforme hľadal spôsoby, ako by do nej mohol preniknúť útočník. Podľa Harjota pomohol prednostný prístup spoločnosti CodeRabbit zabezpečiť vlastné technologické prostredie. „Našli sme viacero zraniteľností a sofistikované spôsoby útoku, ktoré sme si dovtedy ani nevedeli predstaviť,“ hovorí Harjot.

Odvtedy spoločnosť tieto možnosti uviedla na trh a svojím najnovším produktom CodeRabbit Secure pomáha zabezpečovať kód zákazníkov. Počas uplynulých dvoch týždňov spoločnosť v rámci akciovej ponuky uhradila používateľom hĺbkové skenovania v hodnote 1 milióna dolárov. Pri 13 000 hĺbkových skenovaniach odhalila vyše 43 000 bezpečnostných zraniteľností, a to všetko pomocou modelov Codex. Zákazníci už tisíce týchto zraniteľností opravili, čím zvýšili bezpečnosť svojho kódu.

Agenti na pozadí začínajú reagovať na upozornenia a incidenty bez toho, aby každú úlohu musel spustiť človek. Harjot preto očakáva, že tímy budú potrebovať viac pomoci pri rozhodovaní, ktoré zmeny dotiahnuť do konca.

CodeRabbit sa do budúcnosti rozširuje smerom k vývoju softvéru pomocou agentov. Pomáha tímom vo veľkom rozsahu posudzovať, prioritizovať, vysvetľovať, zabezpečovať a overovať zmeny kódu vytvorené agentmi.

Príležitosťou je pomôcť vývojárom udržať si kontrolu aj vtedy, keď agenti preberajú čoraz väčšiu časť vývoja – vďaka overovaniu, vysvetleniam a údržbe, ktoré držia krok s tvorbou kódu.