LegalOn: felezett Codex-költség, változatlan fejlesztési tempó

A LegalOn Technologies világszerte kínál professzionális AI-megoldásokat a jogi munka és más kulcsfontosságú üzleti feladatok támogatására. A szakterületi tudás és az AI ötvözésével lehetővé teszi, hogy az emberek az összetett mérlegelést és döntést igénylő feladatokra összpontosítsanak. Célja az AI-ra épülő vállalatirányítás, amely javítja az üzleti döntéshozatal minőségét és gyorsaságát.

Ez a szemlélet a termékeken túl magára a szervezetre is kiterjed: az AI-t a működés szerves részévé teszi. A vállalat beépítette a Codexet a fejlesztési folyamatába, és a mindennapi használat révén az egész szervezetben elterjesztette.

Ahogy a használata meghonosodott, új kihívás merült fel: a költségek kézben tartása. A nagy teljesítményű modellek korlátlan használata növelhette a kiadásokat, az általános korlátozások viszont veszélyeztették volna az AI révén elért termelékenységjavulást.

Hogyan csökkenthetők a költségek a fejlesztés lassítása nélkül? A LegalOn Technologies a feladat összetettsége és a fejlesztési szakasz alapján választott a GPT‑6 (Astra, Luna) és a GPT‑6.1 Sol között, a költségkereteket pedig az egyes üzletágak növekedési szakaszához igazította. A vállalat megfelezte a költségeket, miközben megőrizte a fejlesztés tempóját.

Kezdetben a vállalat korlátlan hozzáférést adott a fejlesztőknek a fő modelljéhez, a Gyors módban futó GPT‑5.5‑höz. A tervezésben, a megvalósításban és a mindennapi munkában is használni kezdték, és kísérletezéssel tanulták meg, hogyan érdemes megosztani a feladatokat az emberek és az AI között.

A nagy teljesítményű modellek további korlátlan használata azonban elkerülhetetlenül túllépte volna az éves költségkeretet. A vállalat AI-alapú fejlesztési kiválósági központja (AID CoE) irányelveket kezdett kidolgozni a modellválasztáshoz. Az AID CoE tesztelte és figyelemmel kísérte a modelleket, a vezetők pedig megosztották az eredményeket a csapataikkal. Így minden mérnök önállóan választhatta ki az adott feladathoz legmegfelelőbb modellt.

Az új irányelvek nyomán a vállalat már nem minden feladathoz a legnagyobb tudású modellt használta, hanem a munkához leginkább megfelelőt választotta. A csapatok egy kisebb erőforrásigényű modellel kezdtek, és a feladat összetettségének növekedésével váltottak nagyobb tudású modellekre.

A szabályozott működés érdekében a vállalat az adminisztrátori beállításokon keresztül rendszerszintű korlátozásokat is bevezetett: havi használati limiteket szabott meg részlegek és egyének számára. Az AID CoE figyeli a használatot, és az üzleti igényekhez igazítja a limiteket.

Az e keretek között végzett belső tesztek segítettek pontosítani a kiválasztási szempontokat. A legkisebb erőforrásigényű modell, a GPT‑6 Luna az egyértelmű követelmények alapján történő kódírást végzi; a GPT‑6.1 Sol az általános tervezést, adatelemzést és dokumentumkészítést támogatja; a legnagyobb tudású GPT‑6 Astra pedig az összetett mérlegelést igénylő feladatokat, köztük az architektúratervezést látja el. A modellek feladathoz igazítása fokozatosan közös gyakorlattá vált a csapatok körében.

A modellválasztás mellett a vállalat alapértelmezetten korlátozta a Gyors módot, és csak indokolt esetben, egyedi kérelemre engedélyezte a használatát. Bár a változás aggodalmakat keltett a fejlesztési tempó miatt, a csapatok például a feladatok párhuzamos futtatásával megőrizték a teljesítményt, és zökkenőmentesen álltak át.

A vállalat részleg-, csoport- és egyéni szinten is felső határt szabott az AI-kiadásoknak. A már kiforrott LegalOn üzletágtól akár mintegy 20%-os költséghatékonyság-javulást vártak el, míg az induló új üzletágak bőséges költségkeretet kaptak az AI aktív használatának ösztönzésére.

Yuta Tokitake, a LegalOn Technologies szenior fejlesztési vezetője szerint az új üzletágakban a költséghatékonyságnál fontosabb volt az üzleti haladás üteme. A cél az volt, hogy az AI széles körű használatával növeljék az elvégzett munka mennyiségét, és végső soron az üzleti növekedést ösztönözzék.

A modellválasztás, a funkciókorlátozások és az üzletágakra szabott költségkeretek együttesen mintegy 65%-kal csökkentették a becsült napi költségeket. Így a teljes költségvetés kézben tartható maradt, miközben az erőforrásokat a fejleszteni kívánt üzletágakhoz irányították.

A modellhasználat optimalizálása és az erőforrások stratégiai elosztása a következő eredményeket hozta:

• A legnagyobb tudású modell általános használata helyett a feladat összetettsége és a fejlesztési szakasz alapján választanak a GPT‑6 Astra, a GPT‑6.1 Sol és a GPT‑6 Luna közül.

• A Gyors mód alapértelmezett korlátozása után is megmaradt a fejlesztési teljesítmény, többek között a feladatok párhuzamos végrehajtásának köszönhetően.

• A költségkeretek a kiforrott üzletágakban mintegy 20%-os hatékonyságjavulást, az új üzletágakban pedig aktív beruházást tettek lehetővé.

• A GPT‑6 és 6.1 modellek közötti választással a becsült napi költségek 65%-kal csökkentek a GPT‑5.5 használatához képest.

A modellhasználat optimalizálásával a vállalat úgy csökkentette a költségeket, hogy közben nem áldozta fel a fejlesztés tempóját vagy minőségét. A csapatok azt is tapasztalják, hogy az AI folyamatosan rövidíti a fejlesztéstől a kiadásig tartó ciklust.

A vállalat azonban ennél távolabbra tekint. Önmagában a gyorsabb fejlesztés már sikeressé teszi az AI-befektetést? A gyorsabb fejlesztés és az ügyfeleknek nyújtott érték közötti kapcsolat továbbra sem volt egyértelmű. „Szinte magától értetődő, hogy az AI felgyorsíthatja a rendszerek fejlesztését és frissítését” – mondja Tokitake. „Amit igazán szeretnénk megérteni, az az, hogy a gyorsabb fejlesztés valóban értéket teremt-e az ügyfeleknek.”

Ez a kérdés ösztönözte a vállalatot saját mérőszám kidolgozására: az AI-befektetés értékelésének alapja a fejlesztési tempó és a használat mennyisége helyett az ügyfeleknek nyújtott érték lett.

Tokitake így magyarázza: „Az AI használatakor nyomon tudjuk követni az egyes feladatok költségét, de egy teljes munka – egy funkció kiadásának – összköltsége gyakran átláthatatlan marad. Ezért a mérést úgy terveztük meg, hogy minden funkció kiadása egyetlen egységet alkosson. A kiadással az ügyfeleknek nyújtott értéket összekapcsoljuk a ténylegesen ráfordított AI-költségekkel, hogy láthatóvá és pontosan mérhetővé tegyük a befektetés megtérülését.”

A vállalat jelenleg a mérőszám kiszámításához szükséges adatfeldolgozási folyamatot építi ki. Ha elkészül, láthatóvá teszi az ügyfeleknek nyújtott értékben mért valódi megtérülést. A LegalOn Technologies túllép az AI-költségek kezelésén: a technológiai befektetést közvetlenül az üzleti értékhez kívánja kapcsolni.

A következő cél, hogy az egyes mérnökök AI-szakértelmét az egész szervezetben hasznosítható képességgé alakítsák. Első lépésként a vállalat tudásbázist tervez létrehozni a gyakorlati tapasztalatok összegyűjtésére és megosztására. Ebben rögzítik például a tervezéshez, megvalósításhoz és felülvizsgálathoz legjobban bevált modellkombinációkat, és az egyéni sikereket gyorsan vállalatszerte alkalmazható gyakorlattá alakítják.

A csapatok gyakorlati tapasztalataiból eredő változások a szervezetet és a toborzást is alakítják. Az AI révén elért termelékenységjavulás arra készteti a vállalatot, hogy alapjaiban gondolja újra az emberek és az AI közötti munkamegosztást, valamint a létszámterveit. A beruházási stratégia és a szervezeti felépítés átalakulásával párhuzamosan a felvételnél már nagyobb hangsúlyt kapnak az AI-készségek.

Ahhoz, hogy az AI bevezetése tartós versenyelőnnyé váljon, folyamatosan finomítani kell az irányítás és a csapatok cselekvési szabadsága közötti egyensúlyt. Az AID CoE és a biztonsági csapat közösen, több szempontból optimalizálja a teljesítményt, a költségeket és a kockázatokat, olyan rugalmas keretrendszert építve, amely az egész szervezetben támogatja a kísérletezést.