CodeRabbit dzięki agentom dostarcza 20× więcej oprogramowania

Zdaniem Harjota Gilla, współzałożyciela i dyrektora generalnego CodeRabbit⁠(otwiera nowe okno), gdy AI wykonuje coraz więcej pracy, to na zespołach spoczywa weryfikacja kodu tworzonego przez agenty i ocena, czy można mu zaufać. „Pierwszym wąskim gardłem, na które trafia każda firma po wdrożeniu agentów programistycznych, są przeglądy kodu” — mówi Harjot.

CodeRabbit stworzył opartą na AI platformę nadzoru i kontroli, która pozwala weryfikować kod generowany przez AI i oceniać, czy można mu zaufać. Z CodeRabbit korzysta ponad 20 000 organizacji, a narzędzie jest wykorzystywane w ponad 150 000 projektach open source. Pomaga zespołom rozumieć, przeglądać i zabezpieczać kod tworzony przez agenty AI oraz decydować, które zmiany są gotowe do wdrożenia.

Według CodeRabbit lepszy stosunek możliwości do ceny rozwiązań OpenAI pozwala angażować więcej agentów AI w przeglądy kodu i przekazywać korzyści klientom, a Codex⁠ pomaga dostarczać 20 razy więcej oprogramowania bez powiększania zespołu programistów. Firma korzysta też z Daybreak⁠, aby zabezpieczać zarówno własny stos technologiczny, jak i kod klientów. Jej najnowszy produkt, CodeRabbit Secure, łączy Daybreak z modelami Codex, by wykrywać i usuwać luki za pomocą agentów wyspecjalizowanych w bezpieczeństwie.

CodeRabbit stworzył swój pierwszy produkt z użyciem GPT‑3.5 Turbo. Harjot mówi, że dopiero pojawienie się GPT‑4 sprawiło, że produkt zaczął skutecznie przeglądać kod. Następnie firma jako jedna z pierwszych wdrożyła modele OpenAI o1 i OpenAI o3. Ponieważ przeglądy kodu odbywają się asynchronicznie w chmurze, CodeRabbit mógł korzystać z modeli, które poświęcały więcej czasu na rozumowanie, ale w zamian zapewniały lepszą analizę.

Zespół ocenia nowe modele na podstawie własnego testu porównawczego obejmującego znane problemy. W czasie wywiadu Harjot szacował, że model GPT‑6 Astra⁠ wykrywał 50% problemów w tym zbiorze danych, co dawało mu pierwsze miejsce wśród modeli ocenianych w tym teście.

Test stale ewoluuje, ponieważ agenty popełniają nowe rodzaje błędów, a poprawki ujawniają problemy przeoczone podczas wcześniejszych przeglądów. „Charakter błędów ciągle się zmienia, więc wraz z doskonaleniem modeli zmienia się też nasz test porównawczy” — mówi Harjot.

Lepszy stosunek możliwości do ceny modeli OpenAI pomógł CodeRabbit przenieść rozwiązania z etapu badań do produktu. Harjot wskazuje na korzystniejsze ceny modeli i usprawnienia pamięci podręcznej, dzięki którym firma może szerzej wykorzystywać AI, dodawać więcej subagentów i przekazywać korzyści klientom.

Na początku CodeRabbit korzystał z jednego lub dwóch subagentów do poruszania się po kodzie. Tańsze modele, takie jak GPT‑6 Luna, obsługują teraz więcej subagentów w całej platformie, natomiast modele takie jak GPT‑6 Astra odpowiadają za planowanie i koordynację.

„Teraz używamy agentów wszędzie, także w zastosowaniach, na które wcześniej nie mogliśmy sobie pozwolić” — mówi Harjot. Poszerza to zakres weryfikacji i wyjaśnień, które CodeRabbit może oferować programistom, pomagając im rozumieć zmiany, których sami nie napisali, i im zaufać.

Jak mówi Harjot, dzięki Codex firma w ciągu ostatnich 6 miesięcy dostarczała około 20 razy więcej oprogramowania bez zatrudniania dodatkowych programistów. Szacuje, że sam przesłał od 2500 do 3000 zgłoszeń typu pull request w ciągu 30 dni poprzedzających wywiad.

Osiągnięcie tego wyniku wymagało jednak czegoś więcej niż wdrożenia Codex. Uruchomienie wielu agentów ujawniło ograniczenia w całym procesie tworzenia oprogramowania: od pamięci i mocy obliczeniowej laptopów, przez testy oraz narzędzia do kompilacji i pakowania oprogramowania, po zależności.

Zespół usprawnił proces wprowadzania nowych wersji oprogramowania i na nowo określił, na których etapach potrzebne jest zatwierdzenie przez człowieka. Jednocześnie korzystał z CodeRabbit do automatycznego wdrażania zmian o niskim ryzyku, które nie wymagały ludzkiej ingerencji. „Musieliśmy od podstaw przemyśleć proces dostarczania oprogramowania” — mówi Harjot.

Firma stworzyła też bota do Slacka opartego na Codex, który klasyfikuje incydenty w środowisku produkcyjnym, wiadomości na Slacku i zgłoszenia do pomocy technicznej oraz określa ich priorytet. Bot może przygotować pull request do przeglądu i scalenia przez zespół. Harjot widzi w programowaniu w chmurze sposób na ograniczenie barier związanych z lokalnym sprzętem i zapewnienie zespołom większej kontroli nad dostępem i audytem.

CodeRabbit wykorzystuje Codex nie tylko do tworzenia oprogramowania, ale też do realizacji zadań marketingowych i operacyjnych za pomocą kodu. „Staramy się, by jak najwięcej działań firmy opierało się na kodzie” — mówi Harjot.

W marketingu firma zarządza reklamami Google Ads za pomocą zgłoszeń typu pull request. Aby uruchomić reklamy, zespół otwiera zgłoszenie i scala zmiany. Korzysta też z repozytorium do tworzenia treści, w którym Codex przygotowuje prezentacje i dokumenty dla klientów. „Jeśli potrafisz przełożyć problemy marketingowe na problemy programistyczne, będziesz działać 10 razy szybciej” — mówi Harjot.

Od 2023 roku CodeRabbit uruchamia agenty w odizolowanych środowiskach, klonując repozytoria i pozwalając agentom pisać kod wspomagający przeglądy. Niedawno CodeRabbit wykorzystał model Cyber od OpenAI za pośrednictwem Daybreak do przetestowania i zabezpieczenia własnej platformy.

Zespół użył modelu do wewnętrznych testów penetracyjnych, szukając na własnej platformie możliwych dróg włamania. Jak mówi Harjot, wczesny dostęp pomógł CodeRabbit zabezpieczyć własny stos technologiczny. „Znaleźliśmy wiele luk w zabezpieczeniach i zaawansowanych sposobów włamania, których nawet nie potrafiliśmy sobie wyobrazić” — mówi Harjot.

Od tego czasu firma udostępniła te możliwości na rynku, pomagając zabezpieczać kod klientów za pomocą najnowszego produktu — CodeRabbit Secure. W ciągu ostatnich dwóch tygodni firma przeprowadziła promocję, w ramach której pokryła koszty skanów wykonywanych przez użytkowników za pomocą funkcji Deep Scan o łącznej wartości 1 mln USD. Podczas 13 000 takich skanowań wykryto ponad 43 000 luk w zabezpieczeniach — wszystko z wykorzystaniem modeli Codex. Klienci usunęli już tysiące tych luk, poprawiając bezpieczeństwo swojego kodu.

Agenty działające w tle zaczynają reagować na alerty i incydenty bez konieczności uruchamiania każdego zadania przez człowieka. Harjot przewiduje więc, że zespoły będą potrzebować więcej wsparcia w decydowaniu, które zmiany doprowadzić do końca.

CodeRabbit rozwija się w kierunku tworzenia oprogramowania z udziałem agentów, pomagając zespołom na dużą skalę oceniać, priorytetyzować, wyjaśniać, zabezpieczać i weryfikować zmiany w kodzie generowane przez agenty.

To szansa, by pomóc programistom zachować kontrolę, gdy agenty tworzą coraz więcej kodu — dzięki rozwiązaniom, które pozwalają na bieżąco weryfikować zmiany, wyjaśniać ich działanie i utrzymywać kod.