LegalOn giảm nửa chi phí Codex, giữ tốc độ phát triển

LegalOn Technologies cung cấp AI chuyên dụng trên toàn cầu, ứng dụng AI để hỗ trợ công việc pháp lý và các chức năng kinh doanh trọng yếu khác. Bằng cách kết hợp chuyên môn với AI, công ty giúp con người tập trung vào những nhận định và quyết định phức tạp. Mục tiêu của công ty là quản trị dựa trên AI, nâng cao chất lượng và tốc độ ra quyết định kinh doanh.

Cách tiếp cận này không chỉ áp dụng cho sản phẩm mà còn hướng đến xây dựng một tổ chức lấy AI làm nền tảng. Công ty tích hợp Codex vào quy trình phát triển và mở rộng áp dụng trong toàn tổ chức thông qua công việc hằng ngày.

Khi việc áp dụng đi vào nền nếp, một thách thức mới xuất hiện: kiểm soát chi phí. Sử dụng không giới hạn các mô hình hiệu năng cao có thể làm tăng chi tiêu, nhưng hạn chế đồng loạt lại có nguy cơ làm mất đi lợi ích năng suất mà AI mang lại.

Làm sao để giảm chi phí mà không làm chậm quá trình phát triển? LegalOn Technologies giải quyết thách thức này bằng cách lựa chọn giữa GPT‑6 (Astra, Luna) và GPT‑6.1 Sol theo độ phức tạp của tác vụ và giai đoạn phát triển, đồng thời phân bổ ngân sách phù hợp với giai đoạn tăng trưởng của từng mảng kinh doanh. Công ty giảm một nửa chi phí mà vẫn giữ được tốc độ phát triển.

Ban đầu, công ty cho phép các nhà phát triển sử dụng không giới hạn mô hình chính là GPT‑5.5 ở Chế độ nhanh. Họ mở rộng sử dụng sang thiết kế, triển khai và công việc hằng ngày, qua thử nghiệm tìm ra cách phân chia trách nhiệm hiệu quả nhất giữa con người và AI.

Tuy nhiên, nếu tiếp tục sử dụng không giới hạn các mô hình hiệu năng cao, chi tiêu chắc chắn sẽ vượt ngân sách năm. Trung tâm Xuất sắc về Phát triển ứng dụng AI (AID CoE) của công ty bắt đầu xây dựng hướng dẫn lựa chọn mô hình. AID CoE thử nghiệm và theo dõi các mô hình, còn các quản lý chia sẻ kết quả với đội ngũ của mình. Nhờ đó, mỗi kỹ sư có thể tự chọn mô hình phù hợp nhất cho từng tác vụ.

Hướng dẫn mới giúp công ty chuyển từ dùng mô hình mạnh nhất cho mọi tác vụ sang chọn mô hình phù hợp với công việc. Các nhóm bắt đầu với mô hình gọn nhẹ và chuyển sang mô hình mạnh hơn khi độ phức tạp của tác vụ tăng lên.

Để hỗ trợ quản trị, công ty cũng áp dụng các biện pháp kiểm soát hệ thống qua cài đặt quản trị viên, đặt giới hạn sử dụng hằng tháng cho phòng ban và cá nhân. AID CoE theo dõi mức sử dụng và điều chỉnh giới hạn theo nhu cầu kinh doanh.

Thử nghiệm nội bộ trong khuôn khổ kiểm soát này giúp cụ thể hóa tiêu chí lựa chọn. GPT‑6 Luna, mô hình nhẹ nhất, đảm nhiệm việc viết mã khi yêu cầu rõ ràng; GPT‑6.1 Sol hỗ trợ thiết kế thông thường, phân tích dữ liệu và soạn tài liệu; còn GPT‑6 Astra, mô hình mạnh nhất, xử lý các tác vụ đòi hỏi khả năng phán đoán cao, bao gồm thiết kế kiến trúc. Chọn mô hình phù hợp với tác vụ dần trở thành cách làm chung của các nhóm.

Bên cạnh việc lựa chọn mô hình, công ty bắt đầu hạn chế Chế độ nhanh theo mặc định, chỉ cho phép yêu cầu sử dụng riêng khi cần. Dù thay đổi này gây lo ngại về tốc độ phát triển, các nhóm đã áp dụng những cách như chạy tác vụ song song để duy trì hiệu suất và chuyển đổi suôn sẻ.

Công ty cũng đặt trần ngân sách chi tiêu AI ở cấp phòng ban, nhóm và cá nhân. Mảng kinh doanh LegalOn đã ổn định được yêu cầu nâng hiệu quả chi phí lên tới khoảng 20%, còn các mảng mới trong giai đoạn khởi động được cấp ngân sách dồi dào để khuyến khích tích cực sử dụng AI.

Yuta Tokitake, Quản lý Kỹ thuật Cấp cao tại LegalOn Technologies, giải thích rằng các mảng mới ưu tiên tốc độ kinh doanh hơn hiệu quả chi phí. Mục đích là sử dụng AI rộng rãi để tăng sản lượng công việc và qua đó thúc đẩy tăng trưởng kinh doanh.

Kết hợp lựa chọn mô hình, hạn chế tính năng và phân bổ ngân sách riêng cho từng mảng kinh doanh đã giúp giảm khoảng 65% chi phí ước tính hằng ngày. Cách làm này giữ tổng ngân sách trong tầm kiểm soát, đồng thời tập trung nguồn lực cho các mảng công ty muốn phát triển.

Tối ưu hóa mô hình và phân bổ nguồn lực có chiến lược mang lại những kết quả sau:

• Chuyển từ dùng mô hình mạnh nhất cho mọi tác vụ sang chọn GPT‑6 Astra, GPT‑6.1 Sol hoặc GPT‑6 Luna theo độ phức tạp của tác vụ và giai đoạn phát triển.

• Duy trì hiệu suất phát triển sau khi hạn chế Chế độ nhanh theo mặc định, nhờ các cách làm của nhóm như thực thi tác vụ song song.

• Áp dụng trần ngân sách để vừa tăng khoảng 20% hiệu quả chi phí ở các mảng đã ổn định, vừa tích cực đầu tư vào các mảng mới.

• Giảm 65% chi phí ước tính hằng ngày so với GPT‑5.5 bằng cách lựa chọn giữa các mô hình GPT‑6 và 6.1.

Nhờ tối ưu hóa mô hình, công ty giảm chi phí mà không đánh đổi tốc độ hay chất lượng phát triển. Các nhóm cũng nhận thấy AI đang dần rút ngắn chu kỳ từ phát triển đến phát hành.

Nhưng công ty đang nhìn xa hơn. Chỉ phát triển nhanh hơn đã đủ để coi việc đầu tư AI là thành công? Mối liên hệ giữa tốc độ phát triển cao hơn và giá trị mang lại cho khách hàng vẫn chưa rõ ràng. “AI có thể đẩy nhanh việc phát triển và cập nhật hệ thống là điều gần như hiển nhiên,” Tokitake nói. “Điều chúng tôi thực sự muốn hiểu là liệu tốc độ phát triển cao hơn đó có thực sự tạo ra giá trị cho khách hàng hay không.”

Câu hỏi này thúc đẩy công ty xây dựng chỉ số riêng, chuyển cơ sở đánh giá đầu tư AI từ tốc độ phát triển và lượng sử dụng sang giá trị mang lại cho khách hàng.

Tokitake giải thích: “Khi sử dụng AI, chúng tôi có thể theo dõi chi phí của từng tác vụ, nhưng tổng chi phí để hoàn thành trọn vẹn một công việc — một đợt phát hành tính năng — thường vẫn là điều chưa rõ. Vì vậy, chúng tôi thiết kế phép đo lấy mỗi đợt phát hành tính năng làm một đơn vị. Bằng cách liên kết giá trị mà đợt phát hành mang lại cho khách hàng với chi phí AI thực tế đã đầu tư, chúng tôi muốn làm rõ và đo chính xác hiệu quả đầu tư.”

Công ty hiện đang xây dựng quy trình xử lý dữ liệu để tính chỉ số này. Khi hoàn thành, quy trình sẽ làm rõ hiệu quả đầu tư thực sự xét theo giá trị mang lại cho khách hàng. LegalOn Technologies đang tiến xa hơn việc quản lý chi phí AI, hướng tới kết nối trực tiếp đầu tư công nghệ với giá trị kinh doanh.

Mục tiêu tiếp theo là biến kinh nghiệm sử dụng AI của từng kỹ sư thành năng lực chung của toàn tổ chức. Bước đầu tiên, công ty dự định xây dựng kho tri thức để thu thập và chia sẻ kinh nghiệm thực tiễn. Kho này sẽ lưu lại kiến thức như cách kết hợp mô hình tốt nhất cho thiết kế, triển khai và rà soát, nhanh chóng biến thành công cá nhân thành phương pháp hiệu quả áp dụng toàn công ty.

Những thay đổi xuất phát từ kinh nghiệm thực tiễn của các nhóm cũng đang định hình cơ cấu tổ chức và hoạt động tuyển dụng. Mức tăng năng suất nhờ AI thúc đẩy công ty xem xét lại từ gốc cách phân chia công việc giữa con người và AI, cũng như kế hoạch nhân sự. Công ty đã bắt đầu chú trọng kỹ năng AI khi tuyển dụng, đồng thời điều chỉnh chiến lược đầu tư và cơ cấu tổ chức.

Để biến việc áp dụng AI thành lợi thế cạnh tranh bền vững, cần liên tục điều chỉnh sự cân bằng giữa quản trị và quyền chủ động của các nhóm. AID CoE và nhóm bảo mật đang phối hợp tối ưu hiệu suất, chi phí và rủi ro từ nhiều góc độ, xây dựng một khuôn khổ linh hoạt hỗ trợ thử nghiệm trong toàn tổ chức.