CodeRabbit: sviluppo con agenti e 20 volte più software

Per Harjot Gill, cofondatore e CEO di CodeRabbit⁠(si apre in una nuova finestra), verificare l’affidabilità del codice prodotto dagli agenti e convalidarlo sta diventando il momento in cui i team esercitano il proprio giudizio su un volume crescente di lavoro generato dall’IA. “Il primo collo di bottiglia che ogni azienda incontra non appena adotta agenti di programmazione è la revisione del codice”, afferma Harjot.

CodeRabbit ha creato una piattaforma di governance e controllo basata sull’IA, progettata per convalidare il codice generato dall’IA e verificarne l’affidabilità. Usato da oltre 20.000 organizzazioni e più di 150.000 progetti open source, CodeRabbit aiuta i team a comprendere, esaminare e mettere in sicurezza il codice prodotto dagli agenti IA e a decidere cosa è pronto per il rilascio.

Secondo CodeRabbit, il miglior rapporto prezzo-prestazioni offerto da OpenAI consente di aggiungere più agenti IA alle revisioni e di trasferire i vantaggi ai clienti, mentre Codex⁠ aiuta l’azienda a rilasciare 20 volte più software con lo stesso team di sviluppo. L’azienda usa anche Daybreak⁠ per mettere in sicurezza sia il proprio stack sia il codice dei clienti. La sua ultima soluzione, CodeRabbit Secure, usa Daybreak con i modelli Codex per individuare e correggere le vulnerabilità tramite i propri agenti specializzati nella sicurezza.

CodeRabbit ha creato il suo primo prodotto con GPT‑3.5 Turbo. Secondo Harjot, l’arrivo di GPT‑4 ha reso il prodotto efficace nella revisione del codice. L’azienda è stata poi tra le prime ad adottare OpenAI o1 e OpenAI o3. Poiché le revisioni del codice vengono eseguite in modo asincrono nel cloud, CodeRabbit ha potuto usare modelli che impiegavano più tempo a ragionare su un problema, ottenendo in cambio analisi più efficaci.

Il team valuta i nuovi modelli usando un proprio benchmark di problemi noti. Al momento dell’intervista, Harjot stimava che GPT‑6 Astra⁠ individuasse il 50% dei problemi presenti in quel dataset, collocandosi al primo posto rispetto agli altri modelli nel benchmark.

Il benchmark continua a evolversi man mano che gli agenti introducono nuovi tipi di errori e le correzioni rivelano problemi sfuggiti alle revisioni precedenti. “La natura dei bug continua a evolversi, e così anche il nostro benchmark man mano che i modelli migliorano”, afferma Harjot.

Il miglior rapporto prezzo-prestazioni dei modelli OpenAI ha aiutato CodeRabbit a trasferire nel proprio prodotto le capacità sviluppate nella ricerca. Harjot sottolinea come i miglioramenti nei prezzi dei modelli e nella gestione della cache consentano all’azienda di usare più IA, aggiungere più sottoagenti e trasferire i vantaggi ai clienti.

All’inizio, CodeRabbit usava uno o due sottoagenti per esplorare il codice. Oggi modelli meno costosi, come GPT‑6 Luna, supportano un numero maggiore di sottoagenti in tutta la piattaforma, mentre modelli come GPT‑6 Astra gestiscono la pianificazione e l’orchestrazione.

“Ora usiamo agenti ovunque, anche per casi d’uso che in passato non potevamo nemmeno permetterci”, afferma Harjot. Questo amplia le possibilità di convalida di CodeRabbit e le spiegazioni che può fornire agli sviluppatori, aiutandoli a comprendere modifiche che non hanno scritto personalmente e a fidarsi di esse.

Secondo Harjot, grazie a Codex negli ultimi 6 mesi l’azienda ha rilasciato circa 20 volte più software senza assumere altri sviluppatori. Stima di aver inviato personalmente tra 2.500 e 3.000 pull request nei 30 giorni precedenti l’intervista.

Per arrivarci, non è bastato adottare Codex. L’esecuzione di più agenti ha fatto emergere limiti lungo tutto il processo di sviluppo: dalla memoria e dalla potenza di calcolo dei portatili ai test, dagli strumenti di compilazione e creazione dei pacchetti software alle dipendenze.

Il team ha snellito il processo di rilascio e ripensato in quali fasi fosse necessaria l’approvazione umana, usando CodeRabbit per rilasciare automaticamente le modifiche a basso rischio che non richiedevano l’intervento di una persona. “Abbiamo dovuto ripensare completamente l’intero processo di distribuzione del software”, afferma Harjot.

L’azienda ha anche creato un bot per Slack basato su Codex che analizza e smista gli incidenti in produzione, i messaggi Slack e i ticket di assistenza. Il bot può produrre una pull request che il team può esaminare e integrare. Harjot vede nello sviluppo basato sul cloud un modo per ridurre i vincoli delle macchine locali e offrire ai team un maggiore controllo su accessi e audit.

CodeRabbit usa Codex anche al di fuori dello sviluppo software, ad esempio per gestire tramite codice le attività operative e di marketing. “Stiamo gestendo l’azienda tramite codice il più possibile”, afferma Harjot.

Nel marketing, l’azienda gestisce Google Ads tramite pull request. Per pubblicare gli annunci, il team apre una richiesta e ne integra le modifiche. Usa anche un repository dedicato alla produzione di contenuti, dove Codex crea presentazioni e documenti destinati ai clienti. “Se riesci a trasformare i problemi di marketing in problemi di codice, andrai 10 volte più veloce”, afferma Harjot.

Dal 2023 CodeRabbit esegue agenti in ambienti sandbox, clonando repository e lasciando che gli agenti scrivano codice per agevolare le revisioni. Più di recente, CodeRabbit ha usato il modello Cyber di OpenAI tramite Daybreak per testare e mettere in sicurezza la propria piattaforma.

Il team ha usato il modello per test di penetrazione interni, sondando la propria piattaforma alla ricerca di possibili vie d’accesso per un attaccante. Secondo Harjot, l’accesso anticipato ha aiutato CodeRabbit a mettere in sicurezza il proprio stack. “Abbiamo trovato diverse vulnerabilità e modalità di attacco avanzate che non immaginavamo nemmeno fossero possibili”, afferma Harjot.

Da allora, l’azienda ha portato queste capacità sul mercato, contribuendo a proteggere il codice dei clienti con il suo ultimo prodotto, CodeRabbit Secure. Nelle ultime due settimane, l’azienda ha offerto ai propri utenti scansioni approfondite gratuite per un valore di 1 milione di dollari nell’ambito di una promozione. Ha individuato oltre 43.000 vulnerabilità di sicurezza in 13.000 scansioni approfondite, tutte basate sui modelli Codex. I clienti hanno già corretto migliaia di queste vulnerabilità, migliorando così la sicurezza del proprio codice.

Man mano che gli agenti in background iniziano a rispondere ad avvisi e incidenti senza che una persona debba avviare ogni attività, Harjot prevede che i team avranno bisogno di più aiuto per decidere quali modifiche portare a termine.

Guardando al futuro, CodeRabbit sta ampliando la propria offerta verso lo sviluppo software basato su agenti, aiutando i team a convalidare, classificare per priorità, spiegare, mettere in sicurezza e verificare su larga scala le modifiche al codice generate dagli agenti.

L’opportunità è aiutare gli sviluppatori a mantenere il controllo mentre gli agenti si fanno carico di una parte crescente dello sviluppo, con convalide, spiegazioni e manutenzione che tengano il passo con il codice prodotto.