CodeRabbit phát triển phần mềm tự chủ, triển khai gấp 20 lần

Theo Harjot Gill, đồng sáng lập kiêm CEO của CodeRabbit⁠(mở trong cửa sổ mới), kiểm chứng và xác lập độ tin cậy của mã do tác nhân tạo đang trở thành khâu để các nhóm vận dụng khả năng phán đoán trước khối lượng công việc do AI tạo ngày càng lớn. “Nút thắt đầu tiên mà mọi công ty gặp phải ngay khi áp dụng tác nhân lập trình là khâu rà soát mã”, Harjot nói.

CodeRabbit đã xây dựng một nền tảng quản trị và kiểm soát ứng dụng AI, được thiết kế để kiểm chứng và xác lập độ tin cậy của mã do AI tạo. Được hơn 20.000 tổ chức và hơn 150.000 dự án mã nguồn mở sử dụng, CodeRabbit giúp các nhóm hiểu, rà soát và bảo vệ mã do tác nhân AI tạo, từ đó quyết định phần nào đã sẵn sàng phát hành.

Theo CodeRabbit, hiệu năng trên chi phí tốt hơn từ OpenAI giúp công ty bổ sung nhiều tác nhân AI hơn vào quy trình rà soát và chuyển những lợi ích đó đến khách hàng, còn Codex⁠ giúp công ty phát hành lượng phần mềm gấp 20 lần với cùng đội ngũ kỹ sư. Công ty cũng sử dụng Daybreak⁠ để bảo vệ cả hệ thống công nghệ của mình lẫn mã của khách hàng. Sản phẩm mới nhất của công ty, CodeRabbit Secure, kết hợp Daybreak với các mô hình Codex để tìm và khắc phục lỗ hổng thông qua các tác nhân chuyên về bảo mật.

CodeRabbit xây dựng sản phẩm đầu tiên bằng GPT‑3.5 Turbo. Harjot cho biết sự ra đời của GPT‑4 đã giúp sản phẩm rà soát mã hiệu quả. Sau đó, công ty tiếp tục sớm áp dụng OpenAI o1 và OpenAI o3. Vì việc rà soát mã diễn ra bất đồng bộ trên đám mây, CodeRabbit có thể sử dụng những mô hình mất nhiều thời gian suy luận hơn để đổi lấy khả năng phân tích tốt hơn.

Nhóm đánh giá các mô hình mới bằng bộ đánh giá riêng, gồm những vấn đề đã biết. Tại thời điểm phỏng vấn, Harjot ước tính GPT‑6 Astra⁠ phát hiện được 50% số vấn đề trong tập dữ liệu đó, đứng đầu trong số các mô hình được thử nghiệm bằng bộ đánh giá này.

Bộ đánh giá tiếp tục được cập nhật khi tác nhân tạo ra những loại lỗi khác nhau và khi các bản sửa lỗi làm lộ ra những vấn đề mà các lượt rà soát trước đã bỏ sót. “Các dạng lỗi không ngừng thay đổi, nên bộ đánh giá của chúng tôi cũng liên tục được cập nhật khi các mô hình ngày càng tốt hơn”, Harjot nói.

Hiệu năng trên chi phí tốt hơn của các mô hình OpenAI đã giúp CodeRabbit đưa những năng lực từ giai đoạn nghiên cứu vào sản phẩm. Harjot nhấn mạnh rằng những cải thiện về giá mô hình và cơ chế lưu bộ nhớ đệm cho phép công ty sử dụng AI nhiều hơn, bổ sung nhiều tác nhân phụ hơn và chuyển những lợi ích đó đến khách hàng.

Khi mới bắt đầu, CodeRabbit dùng một hoặc hai tác nhân phụ để tìm hiểu và điều hướng trong mã. Các mô hình có chi phí thấp hơn như GPT‑6 Luna hiện hỗ trợ nhiều tác nhân phụ hơn trên toàn nền tảng, trong khi những mô hình như GPT‑6 Astra đảm nhiệm việc lập kế hoạch và điều phối.

“Giờ đây, chúng tôi đang dùng tác nhân ở khắp nơi, cho cả những trường hợp mà trước đây chúng tôi thậm chí không đủ khả năng chi trả”, Harjot nói. Điều đó mở rộng phạm vi kiểm chứng và giải thích mà CodeRabbit có thể cung cấp cho nhà phát triển, giúp họ hiểu và tin tưởng những thay đổi không phải do chính mình viết.

Harjot cho biết nhờ sử dụng Codex, trong 6 tháng qua, công ty đã phát hành lượng phần mềm nhiều gấp khoảng 20 lần mà không cần bổ sung kỹ sư. Ông ước tính riêng mình đã gửi từ 2.500 đến 3.000 pull request trong 30 ngày trước cuộc phỏng vấn.

Để đạt được kết quả đó, chỉ áp dụng Codex thôi là chưa đủ. Việc chạy nhiều tác nhân đã bộc lộ các hạn chế trong toàn bộ quy trình phát triển, từ bộ nhớ và năng lực tính toán của máy tính xách tay đến khâu kiểm thử, công cụ biên dịch và đóng gói phần mềm, cũng như các thành phần phụ thuộc.

Nhóm đã tinh gọn quy trình phát hành và cân nhắc lại những khâu cần con người phê duyệt, đồng thời dùng CodeRabbit để tự động phát hành các thay đổi ít rủi ro, không cần con người can thiệp. “Chúng tôi thực sự đã phải suy nghĩ lại từ đầu về toàn bộ quy trình chuyển giao phần mềm”, Harjot nói.

Công ty cũng đã xây dựng một bot Slack sử dụng Codex để phân loại và xác định mức độ ưu tiên cho các sự cố trên hệ thống đang vận hành, tin nhắn Slack và yêu cầu hỗ trợ. Bot có thể trả về một pull request để nhóm rà soát và hợp nhất. Harjot xem việc phát triển trên đám mây là cách giảm những hạn chế của máy tính cục bộ, đồng thời giúp các nhóm kiểm soát tốt hơn quyền truy cập và hoạt động kiểm toán.

CodeRabbit dùng Codex cho cả những công việc ngoài kỹ thuật, bao gồm quản lý các nhiệm vụ tiếp thị và vận hành thông qua mã. “Chúng tôi đang vận hành công ty bằng mã nhiều nhất có thể”, Harjot nói.

Trong tiếp thị, công ty quản lý Google Ads thông qua các pull request. Nhóm tạo và hợp nhất một yêu cầu để triển khai quảng cáo. Công ty cũng sử dụng một kho lưu trữ dành cho việc sản xuất nội dung, nơi Codex tạo các bản trình chiếu và tài liệu dành cho khách hàng. “Nếu có thể chuyển các bài toán tiếp thị thành bài toán lập trình, bạn sẽ làm việc nhanh gấp 10 lần”, Harjot nói.

Từ năm 2023, CodeRabbit đã chạy các tác nhân trong môi trường sandbox, sao chép kho lưu trữ và cho phép tác nhân viết mã để hỗ trợ rà soát. Gần đây hơn, CodeRabbit sử dụng mô hình Cyber của OpenAI thông qua Daybreak để kiểm thử và bảo vệ nền tảng của chính mình.

Nhóm dùng mô hình này để kiểm thử xâm nhập nội bộ, dò tìm những cách kẻ tấn công có thể đột nhập vào nền tảng của mình. Harjot cho biết quyền truy cập sớm đã giúp CodeRabbit bảo vệ hệ thống công nghệ của chính mình. “Chúng tôi đã tìm thấy nhiều lỗ hổng, những cách tấn công tinh vi mà trước đó chúng tôi thậm chí không thể hình dung là có thể xảy ra”, Harjot nói.

Kể từ đó, công ty đã đưa những năng lực này ra thị trường, giúp bảo vệ mã của khách hàng bằng sản phẩm mới nhất, CodeRabbit Secure. Trong hai tuần qua, công ty đã triển khai chương trình ưu đãi tài trợ 1 triệu USD cho các lượt quét chuyên sâu miễn phí dành cho người dùng, qua đó phát hiện hơn 43.000 lỗ hổng bảo mật trong 13.000 lượt quét chuyên sâu, tất cả đều sử dụng các mô hình Codex. Khách hàng đã khắc phục hàng nghìn lỗ hổng trong số này, giúp nâng cao tính bảo mật cho mã của họ.

Khi các tác nhân chạy nền bắt đầu phản hồi cảnh báo và xử lý sự cố mà không cần con người khởi tạo từng nhiệm vụ, Harjot dự đoán các nhóm sẽ cần được hỗ trợ nhiều hơn để quyết định nên triển khai đến cùng những thay đổi nào.

Trong thời gian tới, CodeRabbit sẽ mở rộng sang phát triển phần mềm bằng tác nhân, giúp các nhóm kiểm tra tính hợp lệ, xác định mức độ ưu tiên, giải thích, bảo đảm an toàn và xác minh các thay đổi mã do tác nhân tạo trên quy mô lớn.

Cơ hội nằm ở việc giúp nhà phát triển giữ quyền kiểm soát khi tác nhân đảm nhận nhiều công việc xây dựng hơn, với hoạt động kiểm chứng, giải thích và bảo trì theo kịp lượng mã được tạo ra.