CodeRabbit: ügynökökkel 20-szor több szoftver
A CodeRabbit OpenAI-modellekkel felügyeli az MI-generált kódot és biztosítja annak megbízhatóságát, a Codexszel pedig ugyanazzal a fejlesztőcsapattal 20-szor több szoftvert ad ki.
Harjot Gill, a CodeRabbit(új ablakban nyílik meg) társalapítója és vezérigazgatója szerint az ügynökök által írt kód ellenőrzése és megbízhatóságának megítélése válik azzá a területté, ahol a csapatok szakmai mérlegelése érvényesül az MI által előállított, egyre nagyobb mennyiségű munkában. „Amint egy vállalat programozó ügynököket kezd használni, az első szűk keresztmetszet mindig a kód felülvizsgálata lesz” – mondja Harjot.
A CodeRabbit egy MI-alapú irányítási és ellenőrzési platformot épített, amely az MI által generált kód ellenőrzésére és megbízhatóságának biztosítására szolgál. A több mint 20 000 szervezet és több mint 150 000 nyílt forráskódú projekt által használt CodeRabbit segít a csapatoknak megérteni, felülvizsgálni és biztonságossá tenni az MI-ügynökök által előállított kódot, valamint eldönteni, mi áll készen a kiadásra.
A CodeRabbit szerint az OpenAI jobb ár-teljesítmény aránya lehetővé teszi, hogy több MI-ügynököt vonjon be a felülvizsgálatokba, és az előnyöket az ügyfeleknek is továbbadja. A Codex segítségével pedig ugyanazzal a fejlesztőcsapattal 20-szor több szoftvert tud kiadni. A vállalat a Daybreak segítségével védi saját technológiai rendszerét és ügyfelei kódját is. Legújabb terméke, a CodeRabbit Secure, a Daybreaket Codex-modellekkel együtt használja, hogy biztonságra szakosodott ügynökeivel feltárja és kijavítsa a sérülékenységeket.
„Minden új OpenAI-modell megjelenésével, különösen az érvelési modellek esetében, hatalmasat fejlődött a termékünk abban, hogy nagy léptékben tárjon fel hibákat.”
A CodeRabbit a GPT‑3.5 Turbo segítségével építette meg első termékét. Harjot szerint a GPT‑4 megjelenésével vált a termék igazán hatékonnyá a kód felülvizsgálatában. A vállalat később az elsők között vezette be az OpenAI o1 és az OpenAI o3 használatát. Mivel a kódfelülvizsgálatok aszinkron módon, a felhőben futnak, a CodeRabbit olyan modelleket is használhatott, amelyek több időt fordítottak egy probléma érvelésen alapuló megoldására, cserébe viszont alaposabb elemzést nyújtottak.
A csapat az ismert hibákból összeállított saját tesztkészletével értékeli az új modelleket. Az interjú idején Harjot becslése szerint a GPT‑6 Astra az adatkészletben szereplő hibák 50%-át felismerte, amivel az első helyre került a teszten vizsgált modellek között.
A tesztkészlet folyamatosan változik, ahogy az ügynökök újfajta hibákat vétenek, és a javítások olyan problémákat is felszínre hoznak, amelyek elkerülték a korábbi felülvizsgálatok figyelmét. „A hibák jellege folyamatosan változik, és a modellek fejlődésével a tesztkészletünk is változik” – mondja Harjot.
Az OpenAI-modellek jobb ár-teljesítmény aránya segített a CodeRabbitnek abban, hogy a kutatásban már bevált képességeket a termékébe is beépítse. Harjot a modellek kedvezőbb árazását és a gyorsítótárazás fejlődését emeli ki: ezek révén a vállalat több MI-t használhat, több alügynököt vonhat be, és az előnyöket az ügyfeleknek is továbbadhatja.
Indulásakor a CodeRabbit egy-két alügynököt használt a kódban való eligazodáshoz. Az alacsonyabb költségű modellek, például a GPT‑6 Luna, ma már több alügynök működését teszik lehetővé a platform egészén, míg a GPT‑6 Astra és a hozzá hasonló modellek a tervezést és az összehangolást végzik.
„Ma már mindenütt használunk ügynököket olyan feladatokra is, amelyeknél ezt korábban meg sem engedhettük magunknak” – mondja Harjot. Így a CodeRabbit többféle ellenőrzést végezhet, és részletesebb magyarázatokat adhat a fejlesztőknek, segítve őket abban, hogy megértsék és megbízhatónak ítéljék azokat a módosításokat is, amelyeket nem ők írtak.
Harjot szerint a Codex használatával a vállalat az elmúlt 6 hónapban nagyjából 20-szor több szoftvert adott ki, anélkül, hogy bővítette volna a fejlesztőcsapatot. Saját becslése szerint ő maga 2500–3000 pull requestet küldött be az interjút megelőző 30 napban.
Ehhez azonban a Codex bevezetése önmagában nem volt elég. Több ügynök párhuzamos futtatása a fejlesztési folyamat egészében korlátokat hozott felszínre: a laptopok memóriájától és számítási kapacitásától kezdve a tesztelésen és a szoftverek fordítására, csomagolására szolgáló eszközökön át egészen a függőségekig.
A csapat egyszerűsítette a kiadási folyamatot, és újragondolta, hol van szükség emberi jóváhagyásra. Eközben a CodeRabbittel automatikusan kiadta azokat az alacsony kockázatú módosításokat, amelyek nem igényeltek emberi beavatkozást. „Valójában teljesen újra kellett gondolnunk a szoftverkiadás egész folyamatát” – mondja Harjot.
A vállalat egy Codex-alapú Slack-botot is készített, amely osztályozza és rangsorolja az éles üzemben felmerülő incidenseket, a Slack-üzeneteket és a támogatási jegyeket. A bot pull requestet is készíthet, amelyet a csapat felülvizsgálhat és beolvaszthat. Harjot szerint a felhőalapú fejlesztéssel enyhíthetők a helyi gépek korlátai, a csapatok pedig hatékonyabban szabályozhatják a hozzáférést és az auditálást.
A CodeRabbit a fejlesztésen túl is használja a Codexet, többek között marketing- és működési feladatok kódon keresztüli kezelésére. „A vállalat működéséből a lehető legtöbbet kóddal valósítjuk meg” – mondja Harjot.
A marketing területén a vállalat pull requestekkel kezeli a Google Ads-hirdetéseket. A hirdetések közzétételéhez a csapat létrehoz, majd beolvaszt egy pull requestet. Emellett egy tartalomkészítésre szolgáló adattárat is használ, amelyben a Codex prezentációkat és ügyfeleknek szánt dokumentumokat készít. „Ha a marketingproblémáidat át tudod alakítani programozási feladatokká, tízszer gyorsabban haladsz” – mondja Harjot.
A CodeRabbit 2023 óta futtat ügynököket elkülönített környezetekben: adattárakat klónoz, és lehetővé teszi az ügynököknek, hogy kódírással segítsék a felülvizsgálatokat. Újabban a CodeRabbit az OpenAI Cyber modelljét használta a Daybreaken keresztül saját platformjának tesztelésére és védelmére.
A csapat belső behatolástesztekhez használta a modellt: azt vizsgálta a saját platformján, hogy milyen módokon juthatna be egy támadó. Harjot szerint a korai hozzáférés segített a CodeRabbitnek megvédeni saját technológiai rendszerét. „Több sérülékenységet is találtunk, olyan kifinomult támadási módszereket, amelyekről el sem tudtuk képzelni, hogy lehetségesek” – mondja Harjot.
Azóta a vállalat piacra is vitte ezeket a képességeket: legújabb termékével, a CodeRabbit Secure-ral segít megvédeni ügyfelei kódját. Az elmúlt két hétben a vállalat egy promóció keretében egymillió dollár értékben biztosított ingyenes mélyvizsgálatokat a felhasználóinak. A 13 000 mélyvizsgálat során több mint 43 000 biztonsági sérülékenységet találtak, kizárólag Codex-modellek segítségével. Ezekből a sérülékenységekből az ügyfelek már több ezret kijavítottak, biztonságosabbá téve a kódjukat.
Ahogy a háttérben futó ügynökök úgy kezdenek reagálni a riasztásokra és incidensekre, hogy nem kell minden feladatot embernek elindítania, Harjot arra számít, hogy a csapatoknak több segítségre lesz szükségük annak eldöntésében, mely módosításokat vigyék végig.
A CodeRabbit az ügynökalapú szoftverfejlesztés felé bővít: segít a csapatoknak nagy léptékben validálni, rangsorolni, értelmezni, biztonságossá tenni és ellenőrizni az ügynökök által generált kódmódosításokat.
A lehetőség abban rejlik, hogy a fejlesztők akkor is kézben tarthassák az irányítást, amikor a fejlesztés egyre nagyobb részét ügynökök végzik – olyan validálással, magyarázatokkal és karbantartással, amelyek lépést tartanak a kód előállításának ütemével.
