LegalOn prepolovio troškove za Codex bez usporavanja razvoja

LegalOn Technologies globalno nudi Professional AI, primjenjujući umjetnu inteligenciju kao podršku pravnim poslovima i drugim ključnim poslovnim funkcijama. Spajanjem stručnog znanja i umjetne inteligencije omogućuje ljudima da se usredotoče na složene procjene i odluke. Cilj je upravljanje uz pomoć AI-ja koje poboljšava kvalitetu i brzinu donošenja poslovnih odluka.

Taj pristup nadilazi proizvode tvrtke: cilj je da i sama organizacija bude od temelja zasnovana na AI-ju. Tvrtka je integrirala Codex u svoj razvojni proces te kroz svakodnevni rad proširila njegovu upotrebu u cijeloj organizaciji.

Kako je upotreba rasla, pojavio se novi izazov: kontrola troškova. Neograničena upotreba visokoučinkovitih modela mogla je povećati potrošnju, dok su opća ograničenja mogla ugroziti rast produktivnosti ostvaren uz AI.

Kako smanjiti troškove bez usporavanja razvoja? LegalOn Technologies odgovorio je na taj izazov odabirom između modela GPT‑6 (Astra, Luna) i GPT‑6.1 Sol prema složenosti zadatka i fazi razvoja te usklađivanjem proračuna s fazom rasta svakog segmenta poslovanja. Tvrtka je prepolovila troškove uz zadržavanje brzine razvoja.

Tvrtka je programerima u početku omogućila neograničen pristup svojem glavnom modelu GPT‑5.5 uz Brzi način rada. Proširili su njegovu upotrebu na projektiranje, implementaciju i svakodnevni rad, učeći kroz eksperimentiranje kako najbolje podijeliti odgovornosti između ljudi i AI-ja.

No nastavak neograničene upotrebe visokoučinkovitih modela neizbježno bi doveo do prekoračenja godišnjeg proračuna. Tvrtkin centar izvrsnosti za razvoj uz pomoć AI-ja (AID CoE) počeo je izrađivati smjernice za odabir modela. AID CoE testirao je i pratio modele, a rukovoditelji su njegove nalaze dijelili sa svojim timovima. Tako je svaki inženjer mogao samostalno odabrati najprikladniji model za svaki zadatak.

Nove smjernice potaknule su tvrtku da umjesto najsposobnijeg modela za svaki zadatak bira model koji najbolje odgovara konkretnom poslu. Timovi su počinjali s jednostavnijim modelom i prelazili na sposobnije modele kako je rasla složenost zadataka.

Radi boljeg upravljanja tvrtka je uvela i kontrole sustava putem administratorskih postavki, s mjesečnim ograničenjima upotrebe za odjele i pojedince. AID CoE prati upotrebu i prilagođava ograničenja poslovnim potrebama.

Interno testiranje uz te kontrole pomoglo je preciznije definirati kriterije odabira. GPT‑6 Luna, najjednostavniji model, služi za implementaciju koda s jasno definiranim zahtjevima; GPT‑6.1 Sol podržava standardno projektiranje, analizu podataka i pripremu dokumenata; a GPT‑6 Astra, najsposobniji model, služi za složene procjene, uključujući projektiranje arhitekture. Odabir modela prema zadatku postupno je postao zajednička praksa svih timova.

Uz odabir modela, tvrtka je počela zadano ograničavati Brzi način rada, odobravajući pojedinačne zahtjeve samo prema potrebi. Iako je promjena izazvala zabrinutost zbog brzine razvoja, timovi su pristupima poput paralelnog izvršavanja zadataka zadržali učinkovitost i osigurali nesmetan prijelaz.

Tvrtka je uvela i gornje granice potrošnje na AI na razini odjela, grupa i pojedinaca. Od etabliranog segmenta poslovanja LegalOn zatraženo je poboljšanje troškovne učinkovitosti do približno 20 %, dok su novi segmenti u fazi pokretanja dobili izdašne proračune radi poticanja aktivne upotrebe AI-ja.

Yuta Tokitake, viši voditelj inženjerskog tima u tvrtki LegalOn Technologies, objašnjava da su novi segmenti poslovanja davali prednost brzini poslovanja pred troškovnom učinkovitošću. Cilj je bio opsežnom upotrebom AI-ja povećati produktivnost i u konačnici potaknuti rast poslovanja.

Odabir modela, ograničenja značajki i proračuni prilagođeni svakom segmentu poslovanja zajedno su smanjili procijenjene dnevne troškove za približno 65 %. Taj je pristup zadržao ukupni proračun pod kontrolom, a resurse usmjerio prema segmentima poslovanja koje je tvrtka željela razvijati.

Optimizacija modela i strateška raspodjela resursa donijele su sljedeće rezultate:

• Prijelaz s upotrebe najsposobnijeg modela za svaki zadatak na odabir modela GPT‑6 Astra, GPT‑6.1 Sol ili GPT‑6 Luna prema složenosti zadatka i fazi razvoja.

• Zadržana učinkovitost razvoja nakon uvođenja zadanih ograničenja za Brzi način rada, zahvaljujući timskim praksama poput paralelnog izvršavanja zadataka.

• Proračunska ograničenja koja su spojila približno 20 % veću učinkovitost u zrelim segmentima poslovanja s aktivnim ulaganjem u nove segmente.

• Smanjenje procijenjenih dnevnih troškova za 65 % u odnosu na GPT‑5.5 zahvaljujući odabiru između modela GPT‑6 i 6.1.

Optimizacijom modela tvrtka je smanjila troškove bez narušavanja brzine ili kvalitete razvoja. Timovi također primjećuju da AI kontinuirano skraćuje ciklus od razvoja do objave.

No tvrtka gleda i dalje od toga. Je li brži razvoj sam po sebi dokaz uspješnog ulaganja u AI? Povezanost između bržeg razvoja i vrijednosti za korisnike ostala je nejasna. „Gotovo se podrazumijeva da AI može ubrzati razvoj i ažuriranje sustava”, kaže Tokitake. „Ono što zaista želimo razumjeti jest donosi li taj brži razvoj doista vrijednost korisnicima.”

To je pitanje potaknulo tvrtku da razvije vlastitu metriku te da ulaganja u AI, umjesto prema brzini razvoja i opsegu upotrebe, počne vrednovati prema vrijednosti za korisnike.

Tokitake objašnjava: „Pri upotrebi AI-ja možemo pratiti trošak pojedinačnih zadataka, no ukupni trošak zaokružene cjeline posla, odnosno objave značajke, često ostaje nepoznat. Zato smo mjerenje osmislili tako da je svaka objava značajke jedna jedinica. Povezivanjem vrijednosti koju ta objava donosi korisnicima sa stvarnim troškovima AI-ja uloženima u nju želimo jasno i precizno prikazati povrat ulaganja.”

Tvrtka trenutačno gradi sustav obrade podataka za izračun te metrike. Kada bude dovršen, omogućit će jasan uvid u stvarni povrat ulaganja izražen kroz vrijednost za korisnike. LegalOn Technologies nadilazi upravljanje troškovima AI-ja i kreće prema izravnom povezivanju tehnoloških ulaganja s poslovnom vrijednošću.

Sljedeći je cilj praktično znanje pojedinih inženjera o AI-ju pretvoriti u kompetenciju cijele organizacije. Kao prvi korak tvrtka planira izgraditi bazu znanja za prikupljanje i razmjenu praktičnih iskustava. U njoj će prikupljati znanja poput najboljih kombinacija modela za projektiranje, implementaciju i pregled te brzo pretvarati pojedinačne uspjehe u najbolje prakse za cijelu tvrtku.

Te promjene, potaknute praktičnim iskustvom timova, oblikuju i organizaciju i zapošljavanje. Rast produktivnosti ostvaren uz AI potiče tvrtku da iz temelja preispita podjelu rada između ljudi i AI-ja, kao i svoje kadrovske planove. Već je počela pridavati veću važnost vještinama rada s AI-jem pri zapošljavanju, usporedno s razvojem strategije ulaganja i organizacijske strukture.

Da bi primjena AI-ja postala trajna konkurentska prednost, potrebno je stalno usavršavati ravnotežu između upravljanja i slobode djelovanja timova. AID CoE i sigurnosni tim zajednički optimiziraju učinkovitost, troškove i rizike iz više perspektiva te grade fleksibilan okvir koji podržava eksperimentiranje u cijeloj organizaciji.