LegalOn: polovičné náklady na Codex bez spomalenia vývoja

LegalOn Technologies ponúka po celom svete AI pre profesionálov, ktorá podporuje právnu prácu a ďalšie kľúčové firemné činnosti. Spája odborné znalosti s AI a umožňuje tak ľuďom sústrediť sa na zložité posudzovanie a rozhodovanie. Jej cieľom je riadenie s využitím AI, ktoré zvyšuje kvalitu a rýchlosť obchodných rozhodnutí.

Tento prístup sa netýka len produktov: AI sa má stať základom fungovania celej organizácie. Spoločnosť začlenila Codex do procesu vývoja a jeho každodenné používanie postupne rozšírila naprieč organizáciou.

S rastúcim využívaním prišla nová výzva: udržať náklady pod kontrolou. Neobmedzené používanie výkonných modelov mohlo zvýšiť výdavky, no plošné obmedzenia by mohli oslabiť nárast produktivity dosiahnutý vďaka AI.

Ako znížiť náklady bez spomalenia vývoja? LegalOn Technologies túto výzvu riešila výberom medzi modelmi GPT‑6 (Astra, Luna) a GPT‑6.1 Sol podľa zložitosti úlohy a fázy vývoja. Rozpočty pritom prispôsobila fáze rastu jednotlivých oblastí podnikania. Spoločnosť znížila náklady na polovicu a zachovala rýchlosť vývoja.

Spoločnosť spočiatku poskytla vývojárom neobmedzený prístup k svojmu hlavnému modelu GPT‑5.5 v rýchlom režime. Jeho používanie rozšírili na návrh, implementáciu aj každodennú prácu. Experimentovaním sa učili, ako najlepšie rozdeliť úlohy medzi ľudí a AI.

Ďalšie neobmedzené používanie výkonných modelov by však nevyhnutne viedlo k prekročeniu ročného rozpočtu. Firemné centrum excelentnosti pre vývoj s podporou AI (AID CoE) začalo pripravovať usmernenia na výber modelov. AID CoE testovalo a monitorovalo modely, kým manažéri sprostredkúvali jeho zistenia svojim tímom. Každý vývojár si tak mohol samostatne vybrať najvhodnejší model pre danú úlohu.

Vďaka novým usmerneniam spoločnosť prestala používať najschopnejší model na všetky úlohy a začala vyberať model vhodný na konkrétnu prácu. Tímy začínali s menej náročným modelom a s rastúcou zložitosťou úloh prechádzali na schopnejšie modely.

Na podporu riadenia spoločnosť zaviedla aj systémové obmedzenia cez nastavenia správcu vrátane mesačných limitov využívania pre oddelenia a jednotlivcov. AID CoE sleduje využívanie a upravuje limity podľa obchodných potrieb.

Interné testovanie v rámci týchto obmedzení pomohlo spresniť kritériá výberu. GPT‑6 Luna, najmenej náročný model, zvláda implementáciu kódu s jasnými požiadavkami. GPT‑6.1 Sol podporuje bežný návrh, analýzu dát a prípravu dokumentov. GPT‑6 Astra, najschopnejší model, zvláda náročné posudzovanie vrátane návrhu architektúry. Výber modelov podľa úloh sa postupne stal bežnou praxou vo všetkých tímoch.

Popri výbere modelov spoločnosť štandardne obmedzila rýchly režim a povoľovala ho len v prípade potreby na základe individuálnych žiadostí. Hoci zmena vyvolala obavy o rýchlosť vývoja, tímy si vďaka postupom, ako je súbežné vykonávanie úloh, zachovali výkon a prechod zvládli hladko.

Spoločnosť tiež zaviedla stropy výdavkov na AI na úrovni oddelení, skupín a jednotlivcov. Etablovaná oblasť podnikania LegalOn mala zlepšiť nákladovú efektívnosť až o približne 20 %, kým nové oblasti vo fáze rozbehu dostali štedré rozpočty na podporu aktívneho využívania AI.

Yuta Tokitake, senior manažér vývoja v LegalOn Technologies, vysvetľuje, že nové oblasti podnikania uprednostnili rýchlosť rozvoja pred nákladovou efektívnosťou. Cieľom bolo intenzívne využívať AI na zvýšenie objemu práce a v konečnom dôsledku podporiť rast podnikania.

Výber modelov, obmedzenie funkcií a rozpočty prispôsobené jednotlivým oblastiam podnikania spolu znížili odhadované denné náklady približne o 65 %. Tento prístup udržal celkový rozpočet pod kontrolou a zároveň nasmeroval zdroje do oblastí, ktoré chcela spoločnosť rozvíjať.

Optimalizácia modelov a strategické prideľovanie zdrojov priniesli tieto výsledky:

• Namiesto používania najschopnejšieho modelu na každú úlohu sa vyberá GPT‑6 Astra, GPT‑6.1 Sol alebo GPT‑6 Luna podľa zložitosti úlohy a fázy vývoja.

• Výkonnosť vývoja sa zachovala aj po štandardnom obmedzení rýchleho režimu vďaka tímovým postupom, ako je súbežné vykonávanie úloh.

• Rozpočtové stropy spojili približne o 20 % vyššiu efektívnosť v etablovaných oblastiach s aktívnymi investíciami do nových oblastí podnikania.

• Výber medzi modelmi GPT‑6 a 6.1 priniesol 65 % zníženie odhadovaných denných nákladov oproti GPT‑5.5.

Optimalizáciou modelov spoločnosť znížila náklady bez straty rýchlosti či kvality vývoja. Tímy tiež pozorujú, že AI postupne skracuje cyklus od vývoja po vydanie.

Spoločnosť sa však pozerá ďalej. Stačí samotné zrýchlenie vývoja na to, aby bola investícia do AI úspešná? Súvislosť medzi rýchlejším vývojom a hodnotou pre zákazníka zostávala nejasná. „To, že AI dokáže zrýchliť vývoj a aktualizácie systémov, je už takmer samozrejmosť,“ hovorí Tokitake. „Naozaj chceme pochopiť, či sa tento rýchlejší vývoj skutočne premieta do hodnoty pre zákazníkov.“

Táto otázka podnietila spoločnosť k vytvoreniu vlastnej metriky. Základom hodnotenia investícií do AI už nemala byť rýchlosť vývoja a objem využívania, ale hodnota pre zákazníka.

Tokitake vysvetľuje: „Pri používaní AI vieme sledovať náklady na jednotlivé úlohy, no celkové náklady na ucelenú prácu – vydanie funkcie – často zostávajú neznáme. Preto sme meranie navrhli tak, aby každé vydanie funkcie tvorilo jednu jednotku. Prepojením hodnoty, ktorú vydanie prináša zákazníkom, so skutočnými nákladmi na AI chceme návratnosť investícií zviditeľniť a presne vyčísliť.“

Spoločnosť momentálne buduje systém spracovania dát na výpočet tejto metriky. Po dokončení ukáže skutočnú návratnosť investícií z hľadiska hodnoty pre zákazníka. LegalOn Technologies sa posúva od riadenia nákladov na AI k priamemu prepojeniu investícií do technológií s hodnotou pre podnikanie.

Ďalším cieľom je premeniť know-how jednotlivých vývojárov v oblasti AI na schopnosť celej organizácie. Ako prvý krok spoločnosť plánuje vytvoriť vedomostnú databázu na zhromažďovanie a zdieľanie praktických skúseností. Zachytí poznatky, napríklad najlepšie kombinácie modelov na návrh, implementáciu a kontrolu, a rýchlo premení individuálne úspechy na osvedčené postupy pre celú firmu.

Tieto zmeny vychádzajú z praktických skúseností tímov a formujú aj organizáciu a nábor. Nárast produktivity vďaka AI vedie spoločnosť k zásadnému prehodnoteniu rozdelenia práce medzi ľudí a AI aj personálnych plánov. S vývojom investičnej stratégie a organizačnej štruktúry už pri nábore začala klásť dôraz na zručnosti v oblasti AI.

Premeniť zavedenie AI na trvalú konkurenčnú výhodu si vyžaduje neustále dolaďovať rovnováhu medzi pravidlami riadenia a slobodou tímov konať. AID CoE a bezpečnostný tím spoločne optimalizujú výkon, náklady a riziká z viacerých hľadísk a budujú flexibilný rámec, ktorý podporuje experimentovanie v celej organizácii.