LegalOn: biaya Codex turun 50%, pengembangan tetap cepat

LegalOn Technologies menawarkan AI Profesional secara global, menggunakan AI untuk mendukung pekerjaan hukum dan fungsi bisnis utama lainnya. Dengan memadukan keahlian bidang dan AI, perusahaan ini memungkinkan orang berfokus pada pertimbangan dan keputusan yang kompleks. Tujuannya adalah manajemen berbasis AI yang meningkatkan kualitas dan kecepatan pengambilan keputusan bisnis.

Pendekatan ini tak hanya berlaku pada produknya, tetapi juga menjadikan AI sebagai fondasi organisasi itu sendiri. Perusahaan mengintegrasikan Codex ke dalam proses pengembangan dan memperluas adopsinya di seluruh organisasi melalui penggunaan sehari-hari.

Seiring meluasnya adopsi, muncul tantangan baru: pengendalian biaya. Penggunaan model berkinerja tinggi tanpa batas bisa membengkakkan pengeluaran, sementara pembatasan menyeluruh berisiko mengikis peningkatan produktivitas yang dimungkinkan AI.

Bagaimana biaya bisa ditekan tanpa memperlambat pengembangan? LegalOn Technologies menjawab tantangan ini dengan memilih antara GPT‑6 (Astra, Luna) dan GPT‑6.1 Sol sesuai kompleksitas tugas dan tahap pengembangan, serta menyesuaikan anggaran dengan tahap pertumbuhan setiap bisnis. Perusahaan memangkas biaya hingga separuh tanpa mengurangi kecepatan pengembangan.

Awalnya, perusahaan memberi pengembang akses tanpa batas ke model utamanya, GPT‑5.5 dalam Mode Cepat. Para pengembang memperluas penggunaannya ke desain, implementasi, dan pekerjaan sehari-hari, sambil bereksperimen untuk menemukan pembagian tanggung jawab terbaik antara manusia dan AI.

Namun, penggunaan model berkinerja tinggi tanpa batas secara terus-menerus pasti akan melampaui anggaran tahunan. AI-powered Development CoE (AID CoE) perusahaan mulai menyusun pedoman pemilihan model. AID CoE menguji dan memantau model, sementara para manajer membagikan temuannya kepada tim masing-masing. Dengan begitu, setiap engineer dapat secara mandiri memilih model yang paling sesuai untuk tiap tugas.

Pedoman baru ini mengubah pendekatan perusahaan: dari memakai model paling canggih untuk semua tugas menjadi memilih model yang tepat untuk setiap pekerjaan. Tim memulai dengan model ringan, lalu beralih ke model yang lebih canggih seiring meningkatnya kompleksitas tugas.

Untuk mendukung tata kelola, perusahaan juga menerapkan kontrol sistem melalui pengaturan administrator, dengan batas penggunaan bulanan untuk departemen dan individu. AID CoE memantau penggunaan dan menyesuaikan batasnya dengan kebutuhan bisnis.

Pengujian internal dengan kontrol ini membantu memperjelas kriteria pemilihan. GPT‑6 Luna, model paling ringan, menangani implementasi kode dengan persyaratan yang jelas; GPT‑6.1 Sol mendukung desain standar, analisis data, dan penyusunan dokumen; sedangkan GPT‑6 Astra, model paling canggih, menangani pertimbangan tingkat lanjut, termasuk desain arsitektur. Penyesuaian model dengan tugas perlahan menjadi praktik bersama lintas tim.

Selain pemilihan model, perusahaan mulai membatasi Mode Cepat secara default dan hanya mengizinkan permintaan individu bila diperlukan. Meski perubahan ini memicu kekhawatiran soal kecepatan pengembangan, tim menggunakan cara seperti menjalankan tugas secara paralel untuk menjaga kinerja dan memastikan transisi yang lancar.

Perusahaan juga menetapkan batas anggaran belanja AI di tingkat departemen, kelompok, dan individu. Bisnis LegalOn yang sudah mapan diminta meningkatkan efisiensi biaya hingga sekitar 20%, sementara bisnis baru dalam tahap peluncuran mendapat anggaran besar untuk mendorong penggunaan AI secara aktif.

Yuta Tokitake, Manajer Senior Engineering di LegalOn Technologies, menjelaskan bahwa bisnis baru lebih mengutamakan kecepatan bisnis daripada efisiensi biaya. Tujuannya adalah memanfaatkan AI secara luas untuk meningkatkan hasil kerja dan pada akhirnya mendorong pertumbuhan bisnis.

Kombinasi pemilihan model, pembatasan fitur, dan anggaran yang disesuaikan untuk setiap bisnis menurunkan estimasi biaya harian sekitar 65%. Pendekatan ini menjaga anggaran keseluruhan tetap terkendali sekaligus mengarahkan sumber daya ke bisnis yang ingin dikembangkan perusahaan.

Optimalisasi model dan alokasi sumber daya strategis memberikan hasil berikut:

• Peralihan dari penggunaan model paling canggih untuk semua tugas ke pemilihan GPT‑6 Astra, GPT‑6.1 Sol, atau GPT‑6 Luna sesuai kompleksitas tugas dan tahap pengembangan.

• Kinerja pengembangan tetap terjaga setelah Mode Cepat dibatasi secara default, didukung praktik tim seperti menjalankan tugas secara paralel.

• Batas anggaran yang memadukan peningkatan efisiensi sekitar 20% pada bisnis mapan dengan investasi aktif pada bisnis baru.

• Penurunan estimasi biaya harian sebesar 65% dibandingkan GPT‑5.5 melalui pemilihan model GPT‑6 dan 6.1.

Melalui optimalisasi model, perusahaan menekan biaya tanpa mengorbankan kecepatan atau kualitas pengembangan. Tim juga melihat AI terus mempersingkat siklus dari pengembangan hingga rilis.

Namun, perusahaan memandang lebih jauh ke depan. Apakah pengembangan yang lebih cepat saja sudah berarti investasi AI berhasil? Hubungan antara pengembangan yang lebih cepat dan manfaat bagi pelanggan masih belum jelas. “Hampir tak diragukan lagi bahwa AI dapat mempercepat pengembangan dan pembaruan sistem,” ujar Tokitake. “Yang benar-benar ingin kami pahami adalah apakah pengembangan yang lebih cepat itu memang menghasilkan manfaat bagi pelanggan.”

Pertanyaan ini mendorong perusahaan mengembangkan metrik sendiri, dengan mengalihkan dasar evaluasi investasi AI dari kecepatan pengembangan dan volume penggunaan ke manfaat bagi pelanggan.

Tokitake menjelaskan: “Saat menggunakan AI, kami bisa melacak biaya tiap tugas, tetapi total biaya untuk satu pekerjaan utuh—sebuah rilis fitur—sering kali masih sulit diketahui. Jadi, kami merancang pengukuran dengan menjadikan setiap rilis fitur sebagai satu unit. Dengan menghubungkan manfaat rilis bagi pelanggan dengan biaya AI yang benar-benar diinvestasikan, kami ingin membuat imbal hasil investasi terlihat jelas dan terukur secara akurat.”

Perusahaan kini sedang membangun alur pemrosesan data untuk menghitung metrik ini. Setelah selesai, ROI nyata dari sisi manfaat bagi pelanggan akan terlihat jelas. LegalOn Technologies melangkah lebih jauh dari sekadar mengelola biaya AI menuju keterkaitan langsung antara investasi teknologi dan nilai bisnis.

Target berikutnya adalah menjadikan keahlian AI masing-masing engineer sebagai kemampuan seluruh organisasi. Sebagai langkah awal, perusahaan berencana membangun basis pengetahuan untuk menghimpun dan membagikan pengalaman praktis. Basis ini akan merekam pengetahuan seperti kombinasi model terbaik untuk desain, implementasi, dan peninjauan, serta segera menjadikan keberhasilan individu sebagai praktik terbaik di seluruh perusahaan.

Perubahan yang didorong pengalaman praktis tim ini juga membentuk organisasi dan proses perekrutan. Peningkatan produktivitas berkat AI mendorong perusahaan memikirkan ulang secara mendasar pembagian kerja antara manusia dan AI, serta perencanaan tenaga kerjanya. Perusahaan sudah mulai menekankan keterampilan AI dalam perekrutan, seiring berkembangnya strategi investasi dan struktur organisasi.

Untuk menjadikan adopsi AI sebagai keunggulan kompetitif jangka panjang, keseimbangan antara tata kelola dan kebebasan tim untuk bertindak perlu terus disempurnakan. AID CoE dan tim keamanan bekerja sama mengoptimalkan kinerja, biaya, dan risiko dari berbagai sudut pandang, sambil membangun kerangka kerja fleksibel yang mendukung eksperimen di seluruh organisasi.