LegalOn obniża koszty Codex o połowę, nie spowalniając prac

LegalOn Technologies oferuje na całym świecie Professional AI — rozwiązania AI wspierające pracę prawniczą i inne kluczowe funkcje biznesowe. Łącząc wiedzę specjalistyczną z AI, pozwala ludziom skupić się na złożonych ocenach i decyzjach. Jej celem jest zarządzanie oparte na AI, które podnosi jakość i przyspiesza podejmowanie decyzji biznesowych.

To podejście wykracza poza produkty: firma dąży do tego, by sama organizacja opierała się na AI. Firma włączyła Codex do procesu tworzenia oprogramowania i upowszechniała go w organizacji poprzez codzienne użytkowanie.

Wraz z rosnącym wykorzystaniem pojawiło się nowe wyzwanie: kontrola kosztów. Nieograniczone korzystanie z wydajnych modeli mogło zwiększać wydatki, a odgórne ograniczenia groziły utratą wzrostu produktywności osiągniętego dzięki AI.

Jak obniżyć koszty, nie spowalniając prac nad oprogramowaniem? LegalOn Technologies rozwiązała ten problem, dobierając modele GPT‑6 (Astra, Luna) i GPT‑6.1 Sol do złożoności zadań i etapu prac oraz dostosowując budżety do fazy rozwoju poszczególnych obszarów działalności. Firma obniżyła koszty o połowę, utrzymując tempo prac nad oprogramowaniem.

Początkowo firma zapewniała programistom nieograniczony dostęp do swojego głównego modelu, GPT‑5.5, z ustawieniem Tryb szybki. Zaczęli go wykorzystywać do projektowania, implementacji i codziennej pracy, eksperymentując z podziałem zadań między ludzi a AI.

Dalsze korzystanie z wydajnych modeli bez ograniczeń nieuchronnie doprowadziłoby jednak do przekroczenia rocznego budżetu. Firmowe centrum doskonałości w zakresie tworzenia oprogramowania z AI (AID CoE) zaczęło opracowywać wytyczne dotyczące doboru modeli. AID CoE testowało i monitorowało modele, a menedżerowie przekazywali wnioski swoim zespołom. Dzięki temu każdy inżynier mógł samodzielnie wybrać model najlepiej dopasowany do danego zadania.

Nowe wytyczne sprawiły, że zamiast używać modelu o największych możliwościach do wszystkich zadań, firma zaczęła dobierać go do konkretnych potrzeb. Zespoły zaczynały od lekkiego modelu i sięgały po bardziej zaawansowane, gdy rosła złożoność zadań.

Aby usprawnić nadzór, firma wprowadziła też mechanizmy kontroli w ustawieniach administratora, w tym miesięczne limity użycia dla działów i poszczególnych osób. AID CoE monitoruje użycie i dostosowuje limity do potrzeb biznesowych.

Testy wewnętrzne prowadzone przy tych ograniczeniach pomogły doprecyzować kryteria wyboru. GPT‑6 Luna, najlżejszy model, odpowiada za implementację kodu przy jasno określonych wymaganiach; GPT‑6.1 Sol wspiera standardowe projektowanie, analizę danych i przygotowywanie dokumentów; a GPT‑6 Astra, model o największych możliwościach, zajmuje się złożonymi ocenami, w tym projektowaniem architektury. Dobór modeli do zadań stopniowo stawał się wspólną praktyką zespołów.

Oprócz doboru modeli firma zaczęła domyślnie ograniczać Tryb szybki, udostępniając go na indywidualny wniosek tylko w razie potrzeby. Choć zmiana budziła obawy o tempo prac, zespoły stosowały takie metody jak równoległe wykonywanie zadań, by utrzymać wydajność i płynnie przejść na nowe zasady.

Firma wprowadziła też limity wydatków na AI na poziomie działów, grup i poszczególnych osób. Dojrzały obszar działalności LegalOn miał poprawić efektywność kosztową nawet o około 20%, natomiast nowe przedsięwzięcia w fazie uruchamiania otrzymały duże budżety, zachęcające do aktywnego korzystania z AI.

Yuta Tokitake, starszy menedżer ds. inżynierii w LegalOn Technologies, wyjaśnia, że nowe przedsięwzięcia stawiały tempo rozwoju biznesu ponad efektywnością kosztową. Celem było szerokie wykorzystanie AI do zwiększenia ilości wykonywanej pracy, a w efekcie — do rozwoju biznesu.

Łącznie dobór modeli, ograniczenia funkcji i budżety dopasowane do poszczególnych obszarów działalności zmniejszyły szacowane dzienne koszty o około 65%. Takie podejście pozwoliło utrzymać kontrolę nad całym budżetem i jednocześnie kierować zasoby do obszarów, które firma chciała rozwijać.

Optymalizacja modeli i strategiczny przydział zasobów przyniosły następujące efekty:

• Zamiast używać modelu o największych możliwościach do każdego zadania, zaczęto dobierać GPT‑6 Astra, GPT‑6.1 Sol lub GPT‑6 Luna do złożoności zadania i etapu prac.

• Utrzymano wydajność prac po domyślnym ograniczeniu ustawienia Tryb szybki dzięki praktykom zespołowym, takim jak równoległe wykonywanie zadań.

• Limity budżetowe pozwoliły połączyć poprawę efektywności o około 20% w dojrzałych obszarach działalności z aktywnymi inwestycjami w nowe przedsięwzięcia.

• Dobór modeli z rodzin GPT‑6 i 6.1 pozwolił obniżyć szacowane dzienne koszty o 65% w porównaniu z GPT‑5.5.

Dzięki optymalizacji modeli firma obniżyła koszty bez uszczerbku dla tempa i jakości prac nad oprogramowaniem. Zespoły zauważają też, że AI systematycznie skraca cykl od tworzenia oprogramowania do jego wydania.

Firma patrzy jednak dalej. Czy samo przyspieszenie prac oznacza, że inwestycja w AI się udała? Związek między szybszym tworzeniem oprogramowania a wartością dla klienta pozostawał niejasny. „To niemal oczywiste, że AI może przyspieszać tworzenie i aktualizowanie systemów” — mówi Tokitake. „Chcemy przede wszystkim zrozumieć, czy szybsza praca rzeczywiście przekłada się na wartość dla klientów”.

To pytanie skłoniło firmę do opracowania własnego wskaźnika. Podstawą oceny inwestycji w AI stała się wartość dla klienta, a nie tempo prac i skala użycia.

Tokitake wyjaśnia: „Korzystając z AI, możemy śledzić koszty poszczególnych zadań, ale całkowity koszt zamkniętej całości prac — wdrożenia funkcji — często pozostaje zagadką. Dlatego za jednostkę pomiaru przyjęliśmy każde wdrożenie funkcji. Łącząc wartość, jaką dane wdrożenie przynosi klientom, z faktycznymi wydatkami na wykorzystaną w nim AI, chcemy jasno i precyzyjnie określać zwrot z inwestycji”.

Firma buduje obecnie proces przetwarzania danych do obliczania tego wskaźnika. Po ukończeniu pozwoli on zobaczyć rzeczywisty zwrot z inwestycji w ujęciu wartości dla klienta. LegalOn Technologies wykracza poza zarządzanie kosztami AI i dąży do bezpośredniego powiązania inwestycji technologicznych z wartością biznesową.

Kolejnym celem jest przekształcenie wiedzy poszczególnych inżynierów o AI w kompetencję całej organizacji. Pierwszym krokiem ma być stworzenie bazy wiedzy służącej gromadzeniu i wymianie praktycznych doświadczeń. Baza będzie zawierać m.in. informacje o najlepszych połączeniach modeli do projektowania, implementacji i przeglądu kodu. Pozwoli szybko przekuwać indywidualne sukcesy w najlepsze praktyki dla całej firmy.

Zmiany wynikające z praktycznych doświadczeń zespołów wpływają też na organizację i rekrutację. Wzrost produktywności dzięki AI skłania firmę do gruntownego przemyślenia podziału pracy między ludzi a AI oraz planów zatrudnienia. Wraz ze zmianami strategii inwestycyjnej i struktury organizacyjnej firma zaczęła już kłaść nacisk na umiejętności związane z AI w rekrutacji.

Aby wdrożenie AI stało się trwałą przewagą konkurencyjną, trzeba stale doskonalić równowagę między nadzorem a swobodą działania zespołów. AID CoE i zespół ds. bezpieczeństwa wspólnie optymalizują wydajność, koszty i ryzyko z różnych perspektyw, tworząc elastyczne ramy wspierające eksperymenty w całej organizacji.