CodeRabbit škáluje agentní vývoj softwaru a vydává 20× více

Podle Harjota Gilla, spoluzakladatele a generálního ředitele firmy CodeRabbit⁠(otevře se v novém okně), se ověřování kódu vytvořeného agenty a posuzování jeho důvěryhodnosti stává oblastí, kde týmy uplatňují vlastní úsudek nad rostoucím objemem práce vytvořené AI. „První úzké hrdlo, na které každá firma narazí, jakmile nasadí programovací agenty, je kontrola kódu,“ říká Harjot.

CodeRabbit vytvořil platformu pro správu a kontrolu využívající AI, která má ověřovat kód generovaný AI a zajistit jeho důvěryhodnost. Platformu CodeRabbit využívá přes 20 000 organizací a více než 150 000 open-source projektů. Pomáhá týmům porozumět kódu vytvořenému AI agenty, kontrolovat ho, zabezpečovat a rozhodovat, co je připravené k vydání.

Podle firmy CodeRabbit umožňuje lepší poměr ceny a výkonu modelů OpenAI zapojit do kontrol více AI agentů a přenést tyto výhody na zákazníky. Codex⁠ pak společnosti pomáhá vydávat 20krát více softwaru se stejným vývojářským týmem. Společnost také využívá Daybreak⁠ k zabezpečení vlastního technologického prostředí i kódu svých zákazníků. Její nejnovější produkt CodeRabbit Secure využívá Daybreak s modely Codexu k vyhledávání a opravám zranitelností prostřednictvím agentů zaměřených na bezpečnost.

CodeRabbit vytvořil svůj první produkt s modelem GPT‑3.5 Turbo. Podle Harjota začal produkt účinně kontrolovat kód s příchodem GPT‑4. Společnost pak patřila mezi první uživatele modelů OpenAI o1 a OpenAI o3. Protože kontroly kódu probíhají asynchronně v cloudu, mohl CodeRabbit využívat modely, které nad problémem uvažovaly déle, ale nabízely důkladnější analýzu.

Tým hodnotí nové modely pomocí vlastního srovnávacího testu se známými problémy. V době rozhovoru Harjot odhadoval, že GPT‑6 Astra⁠ odhalil 50 % problémů v této datové sadě, což ho v daném srovnávacím testu řadilo na první místo mezi modely.

Srovnávací test se průběžně vyvíjí, protože agenti vytvářejí nové druhy chyb a opravy odhalují problémy, které dřívější kontroly přehlédly. „Povaha chyb se neustále mění, a s tím, jak se modely zlepšují, se vyvíjí i náš srovnávací test,“ říká Harjot.

Lepší poměr ceny a výkonu modelů OpenAI pomohl společnosti CodeRabbit přenést nové schopnosti z výzkumu do produktu. Harjot poukazuje na příznivější ceny modelů a lepší využívání mezipaměti, díky nimž může společnost více využívat AI, přidávat další subagenty a přenášet výhody na zákazníky.

V začátcích CodeRabbit využíval k orientaci v kódu jednoho nebo dva subagenty. Levnější modely, jako je GPT‑6 Luna, nyní umožňují provozovat více dílčích agentů napříč platformou, zatímco modely jako GPT‑6 Astra zajišťují plánování a orchestraci.

„Dnes používáme agenty všude, i pro úkoly, u kterých jsme si to dříve nemohli dovolit,“ říká Harjot. CodeRabbit tak může provádět rozsáhlejší ověřování a poskytovat vývojářům podrobnější vysvětlení. Pomáhá jim tím porozumět změnám, které sami nenapsali, a důvěřovat jim.

Podle Harjota společnost díky Codexu za posledních šest měsíců dodává zhruba 20krát více softwaru, aniž by rozšířila vývojářský tým. Odhaduje, že on sám během 30 dní před rozhovorem odeslal 2 500 až 3 000 pull requestů.

K dosažení tohoto výsledku ale nestačilo jen zavést Codex. Souběžný provoz více agentů odhalil omezení napříč celým vývojovým procesem – od paměti a výpočetního výkonu notebooků přes testování a nástroje pro kompilaci a balení softwaru až po závislosti.

Tým zefektivnil proces vydávání a přehodnotil, ve kterých krocích je potřeba schválení člověkem. Zároveň pomocí platformy CodeRabbit automaticky nasazuje málo rizikové změny, které lidský zásah nevyžadují. „Museli jsme úplně přehodnotit celý způsob vydávání softwaru,“ říká Harjot.

Společnost také vytvořila bota pro Slack využívajícího Codex, který třídí produkční incidenty, zprávy ve Slacku a požadavky na podporu podle naléhavosti. Dokáže vytvořit pull request, který tým zkontroluje a sloučí. Harjot vnímá vývoj v cloudu jako způsob, jak omezit závislost na možnostech lokálních počítačů a dát týmům lepší kontrolu nad přístupem a auditem.

CodeRabbit využívá Codex i mimo vývoj softwaru, například k řízení marketingových a provozních úkolů pomocí kódu. „Snažíme se řídit firmu pomocí kódu všude, kde to jde,“ říká Harjot.

V marketingu společnost spravuje Google Ads prostřednictvím požadavků typu pull request. Pro nasazení reklam tým vytvoří a sloučí požadavek. Využívá také úložiště pro tvorbu obsahu, kde Codex vytváří prezentace a dokumenty pro zákazníky. „Pokud dokážete marketingové problémy převést na problémy řešitelné kódem, budete pracovat 10× rychleji,“ říká Harjot.

CodeRabbit od roku 2023 spouští agenty v izolovaných prostředích, kde klonuje úložiště a nechává agenty psát kód, který pomáhá s kontrolami. V poslední době CodeRabbit využil model Cyber od OpenAI prostřednictvím Daybreaku k testování a zabezpečení vlastní platformy.

Tým model použil k interním penetračním testům a hledal způsoby, jakými by útočník mohl do platformy proniknout. Podle Harjota pomohl předběžný přístup společnosti CodeRabbit zabezpečit její vlastní technologické prostředí. „Našli jsme řadu zranitelností a sofistikovaných způsobů napadení, o kterých nás ani nenapadlo, že by mohly být možné,“ říká Harjot.

Od té doby společnost tyto možnosti nabídla i na trhu: její nejnovější produkt CodeRabbit Secure pomáhá zabezpečovat kód zákazníků. Během posledních dvou týdnů společnost v rámci propagační akce poskytla uživatelům zdarma hloubkové kontroly v hodnotě 1 milionu dolarů. Při 13 000 kontrolách, které všechny využívaly modely Codexu, odhalila přes 43 000 bezpečnostních zranitelností. Tisíce těchto zranitelností už zákazníci opravili, a zvýšili tak bezpečnost svého kódu.

Agenti běžící na pozadí začínají reagovat na upozornění a incidenty, aniž by každý úkol musel spouštět člověk. Harjot proto očekává, že týmy budou potřebovat větší pomoc při rozhodování, které změny dotáhnout do konce.

CodeRabbit se do budoucna zaměřuje na vývoj softwaru pomocí agentů. Pomáhá týmům ve velkém měřítku posuzovat změny kódu vytvořené agenty, určovat jejich priority, vysvětlovat je, zabezpečovat a ověřovat.

S tím, jak agenti přebírají větší část vývoje, se nabízí příležitost pomoci vývojářům udržet si kontrolu – díky ověřování, vysvětlování a údržbě, které drží krok s tempem tvorby kódu.