Η CodeRabbit παραδίδει 20× περισσότερο λογισμικό με πράκτορες

Για τον Harjot Gill, συνιδρυτή και διευθύνοντα σύμβουλο της CodeRabbit⁠(ανοίγει σε νέο παράθυρο), ο έλεγχος της εγκυρότητας και της αξιοπιστίας του κώδικα που παράγουν οι πράκτορες γίνεται το στάδιο όπου οι ομάδες ασκούν την κρίση τους απέναντι στον αυξανόμενο όγκο εργασίας που παράγει η ΤΝ. «Το πρώτο σημείο συμφόρησης που συναντά κάθε εταιρεία μόλις υιοθετήσει πράκτορες προγραμματισμού είναι οι έλεγχοι κώδικα», λέει ο Harjot.

Η CodeRabbit δημιούργησε μια πλατφόρμα διακυβέρνησης και ελέγχου με ΤΝ, σχεδιασμένη για να ελέγχει την εγκυρότητα και την αξιοπιστία του κώδικα που παράγει η ΤΝ. Με περισσότερους από 20.000 οργανισμούς και πάνω από 150.000 έργα ανοιχτού κώδικα να τη χρησιμοποιούν, η CodeRabbit βοηθά τις ομάδες να κατανοούν, να ελέγχουν και να θωρακίζουν τον κώδικα που παράγουν οι πράκτορες ΤΝ και να αποφασίζουν τι είναι έτοιμο για κυκλοφορία.

Σύμφωνα με την CodeRabbit, η καλύτερη σχέση τιμής-απόδοσης που προσφέρει η OpenAI τη βοηθά να προσθέτει περισσότερους πράκτορες ΤΝ στους ελέγχους της και να μεταφέρει τα οφέλη στους πελάτες της, ενώ το Codex⁠ τη βοηθά να παραδίδει 20 φορές περισσότερο λογισμικό με την ίδια ομάδα ανάπτυξης. Η εταιρεία χρησιμοποιεί επίσης το Daybreak⁠ για να θωρακίζει τόσο τη δική της τεχνολογική υποδομή όσο και τον κώδικα των πελατών της. Το πιο πρόσφατο προϊόν της, το CodeRabbit Secure, χρησιμοποιεί το Daybreak με μοντέλα Codex για να εντοπίζει και να διορθώνει ευπάθειες μέσω των πρακτόρων της που ειδικεύονται στην ασφάλεια.

Η CodeRabbit δημιούργησε το πρώτο της προϊόν με το GPT‑3.5 Turbo. Ο Harjot λέει ότι η άφιξη του GPT‑4 έκανε το προϊόν αποτελεσματικό στον έλεγχο κώδικα. Στη συνέχεια, η εταιρεία υιοθέτησε από νωρίς τα OpenAI o1 και OpenAI o3. Επειδή οι έλεγχοι κώδικα εκτελούνται ασύγχρονα στο cloud, η CodeRabbit μπορούσε να χρησιμοποιεί μοντέλα που αφιέρωναν περισσότερο χρόνο στη συλλογιστική επεξεργασία ενός προβλήματος, με αντάλλαγμα καλύτερη ανάλυση.

Η ομάδα αξιολογεί τα νέα μοντέλα με βάση τη δική της δοκιμασία αναφοράς, η οποία περιλαμβάνει γνωστά προβλήματα. Την περίοδο της συνέντευξης, ο Harjot εκτιμούσε ότι το GPT‑6 Astra⁠ εντόπιζε το 50% των προβλημάτων σε αυτό το σύνολο δεδομένων, κατακτώντας την πρώτη θέση έναντι των άλλων μοντέλων στη συγκεκριμένη δοκιμασία αναφοράς.

Η δοκιμασία αναφοράς συνεχίζει να εξελίσσεται, καθώς οι πράκτορες εισάγουν διαφορετικά είδη σφαλμάτων και οι διορθώσεις αποκαλύπτουν προβλήματα που είχαν διαφύγει από προηγούμενους ελέγχους. «Η φύση των σφαλμάτων αλλάζει συνεχώς, και το ίδιο συμβαίνει με τη δοκιμασία αναφοράς μας καθώς βελτιώνονται τα μοντέλα», λέει ο Harjot.

Η καλύτερη σχέση τιμής-απόδοσης των μοντέλων της OpenAI έχει βοηθήσει την CodeRabbit να μεταφέρει δυνατότητες από την έρευνα στο προϊόν της. Ο Harjot επισημαίνει τις βελτιώσεις στις τιμές των μοντέλων και στην προσωρινή αποθήκευση, που επιτρέπουν στην εταιρεία να χρησιμοποιεί περισσότερη ΤΝ, να προσθέτει περισσότερους υποπράκτορες και να μεταφέρει τα οφέλη στους πελάτες.

Στο ξεκίνημά της, η CodeRabbit χρησιμοποιούσε έναν ή δύο υποπράκτορες για πλοήγηση στον κώδικα. Μοντέλα χαμηλότερου κόστους, όπως το GPT‑6 Luna, υποστηρίζουν πλέον περισσότερους υποπράκτορες σε όλη την πλατφόρμα, ενώ μοντέλα όπως το GPT‑6 Astra αναλαμβάνουν τον σχεδιασμό και την ενορχήστρωση.

«Τώρα χρησιμοποιούμε πράκτορες παντού, σε περιπτώσεις χρήσης των οποίων το κόστος δεν μπορούσαμε καν να καλύψουμε στο παρελθόν», λέει ο Harjot. Έτσι διευρύνονται οι έλεγχοι εγκυρότητας που μπορεί να εκτελεί η CodeRabbit και οι εξηγήσεις που μπορεί να δίνει στους προγραμματιστές, βοηθώντας τους να κατανοούν και να εμπιστεύονται αλλαγές που δεν έχουν γράψει οι ίδιοι.

Ο Harjot λέει ότι, χάρη στο Codex, η εταιρεία παραδίδει περίπου 20 φορές περισσότερο λογισμικό τους τελευταίους 6 μήνες, χωρίς να αυξήσει το προσωπικό ανάπτυξης. Ο ίδιος εκτιμά ότι υπέβαλε προσωπικά 2.500 έως 3.000 pull requests τις 30 ημέρες πριν από τη συνέντευξη.

Για να φτάσει εκεί, χρειάστηκε κάτι περισσότερο από την υιοθέτηση του Codex. Η εκτέλεση πολλών πρακτόρων ανέδειξε περιορισμούς σε όλη τη διαδικασία ανάπτυξης: από τη μνήμη και την υπολογιστική ισχύ των φορητών υπολογιστών έως τις δοκιμές, τα εργαλεία μεταγλώττισης και πακεταρίσματος λογισμικού και τις εξαρτήσεις.

Η ομάδα απλοποίησε τη διαδικασία κυκλοφορίας εκδόσεων και επανεξέτασε σε ποια σημεία χρειαζόταν ανθρώπινη έγκριση, ενώ χρησιμοποίησε την CodeRabbit για να διαθέτει αυτόματα αλλαγές χαμηλού κινδύνου που δεν απαιτούσαν ανθρώπινη παρέμβαση. «Χρειάστηκε πραγματικά να επανεξετάσουμε από την αρχή ολόκληρη τη διαδικασία παράδοσης λογισμικού», λέει ο Harjot.

Η εταιρεία έχει επίσης δημιουργήσει ένα bot για το Slack που βασίζεται στο Codex και αξιολογεί και ιεραρχεί περιστατικά στο περιβάλλον παραγωγής, μηνύματα στο Slack και αιτήματα υποστήριξης. Μπορεί να επιστρέψει ένα pull request για έλεγχο και συγχώνευση από την ομάδα. Ο Harjot θεωρεί ότι η ανάπτυξη στο cloud μπορεί να μειώσει τους περιορισμούς των τοπικών υπολογιστών και να προσφέρει στις ομάδες ισχυρότερους μηχανισμούς ελέγχου πρόσβασης και καταγραφής ενεργειών.

Η CodeRabbit χρησιμοποιεί το Codex και πέρα από την ανάπτυξη λογισμικού, μεταξύ άλλων για τη διαχείριση εργασιών μάρκετινγκ και καθημερινής λειτουργίας μέσω κώδικα. «Διαχειριζόμαστε την εταιρεία μέσω κώδικα όσο περισσότερο γίνεται», λέει ο Harjot.

Στο μάρκετινγκ, η εταιρεία διαχειρίζεται το Google Ads μέσω pull requests. Η ομάδα ανοίγει και συγχωνεύει ένα αίτημα για να δημοσιεύσει διαφημίσεις. Χρησιμοποιεί επίσης ένα αποθετήριο δημιουργίας περιεχομένου, όπου το Codex δημιουργεί παρουσιάσεις και έγγραφα για πελάτες. «Αν μπορείτε να μετατρέψετε τα προβλήματα μάρκετινγκ σε προβλήματα κώδικα, θα προχωράτε 10 φορές πιο γρήγορα», λέει ο Harjot.

Από το 2023, η CodeRabbit εκτελεί πράκτορες σε απομονωμένα περιβάλλοντα, κλωνοποιώντας αποθετήρια και επιτρέποντας στους πράκτορες να γράφουν κώδικα για να βοηθούν στους ελέγχους. Πιο πρόσφατα, η CodeRabbit χρησιμοποίησε το μοντέλο Cyber της OpenAI μέσω του Daybreak για να δοκιμάσει και να θωρακίσει τη δική της πλατφόρμα.

Η ομάδα χρησιμοποίησε το μοντέλο για εσωτερικές δοκιμές διείσδυσης, αναζητώντας στη δική της πλατφόρμα τρόπους με τους οποίους θα μπορούσε να εισβάλει ένας επιτιθέμενος. Ο Harjot λέει ότι η πρώιμη πρόσβαση βοήθησε την CodeRabbit να θωρακίσει τη δική της τεχνολογική υποδομή. «Βρήκαμε πολλές ευπάθειες, εξελιγμένους τρόπους παραβίασης που δεν μπορούσαμε καν να φανταστούμε ότι ήταν δυνατοί», λέει ο Harjot.

Έκτοτε, η εταιρεία έχει διαθέσει αυτές τις δυνατότητες στην αγορά, συμβάλλοντας στην προστασία του κώδικα των πελατών της με το πιο πρόσφατο προϊόν της, το CodeRabbit Secure. Τις τελευταίες δύο εβδομάδες, η εταιρεία πραγματοποίησε μια προωθητική ενέργεια, καλύπτοντας για τους χρήστες της δωρεάν σαρώσεις σε βάθος αξίας 1 εκατ. δολαρίων. Εντόπισε πάνω από 43.000 ευπάθειες ασφαλείας σε 13.000 σαρώσεις σε βάθος, όλες με τη χρήση μοντέλων Codex. Οι πελάτες της έχουν ήδη διορθώσει χιλιάδες από αυτές τις ευπάθειες, βελτιώνοντας την ασφάλεια του κώδικά τους.

Καθώς οι πράκτορες που λειτουργούν στο παρασκήνιο αρχίζουν να ανταποκρίνονται σε ειδοποιήσεις και περιστατικά χωρίς να χρειάζεται κάποιος να ξεκινά κάθε εργασία, ο Harjot αναμένει ότι οι ομάδες θα χρειάζονται περισσότερη βοήθεια για να αποφασίζουν ποιες αλλαγές θα ολοκληρώσουν.

Κοιτάζοντας μπροστά, η CodeRabbit επεκτείνεται στην ανάπτυξη λογισμικού με πράκτορες, βοηθώντας τις ομάδες να ελέγχουν την εγκυρότητα, να ορίζουν προτεραιότητες, να εξηγούν, να θωρακίζουν και να επαληθεύουν τις αλλαγές κώδικα που παράγουν οι πράκτορες σε μεγάλη κλίμακα.

Η ευκαιρία είναι να βοηθήσει τους προγραμματιστές να διατηρούν τον έλεγχο καθώς οι πράκτορες αναλαμβάνουν όλο και μεγαλύτερο μέρος της ανάπτυξης, με ελέγχους εγκυρότητας, εξηγήσεις και συντήρηση που συμβαδίζουν με τον ρυθμό παραγωγής κώδικα.