LegalOn: наполовина по-ниски разходи за Codex без забавяне

LegalOn Technologies предлага Professional AI в световен мащаб, като използва изкуствен интелект за подпомагане на правната работа и други ключови бизнес функции. Съчетавайки специализирани знания с AI, компанията позволява на хората да се съсредоточат върху сложни преценки и решения. Целта ѝ е управление с помощта на AI, което подобрява качеството и скоростта на вземане на бизнес решения.

Този подход обхваща не само продуктите ѝ, но и самата организация, като поставя AI в основата на работата ѝ. Компанията интегрира Codex в процеса на разработка и разшири внедряването му в организацията чрез ежедневна употреба.

С утвърждаването му се появи ново предизвикателство: контролът на разходите. Неограниченото използване на мощни модели можеше да увеличи разходите, а всеобхватните ограничения рискуваха да подкопаят постигнатия с AI ръст на производителността.

Как да се намалят разходите, без да се забавя разработката? LegalOn Technologies реши този проблем, като избираше между GPT‑6 (Astra, Luna) и GPT‑6.1 Sol според сложността на задачата и етапа на разработка и съобразяваше бюджетите с етапа на растеж на всяко бизнес направление. Компанията намали разходите наполовина, като запази темпото на разработка.

Първоначално компанията предостави на разработчиците неограничен достъп до основния си модел — GPT‑5.5 в Бърз режим. Те започнаха да го използват за проектиране, програмиране и ежедневна работа, като чрез експерименти търсеха най-доброто разпределение на отговорностите между хората и AI.

Продължаващото неограничено използване на мощни модели обаче неизбежно щеше да надхвърли годишния бюджет. Центърът за компетентност в разработката с AI (AID CoE) на компанията започна да изготвя насоки за избор на модел. AID CoE тестваше и наблюдаваше моделите, а мениджърите споделяха изводите му с екипите си. Това позволи на всеки инженер самостоятелно да избира най-подходящия модел за всяка задача.

С новите насоки компанията премина от използване на най-мощния модел за всяка задача към избор на подходящия за конкретната работа. Екипите започваха с лек модел и преминаваха към по-мощни с нарастването на сложността на задачите.

За по-добро управление компанията въведе и системни механизми за контрол чрез администраторските настройки, с месечни лимити за използване по отдели и служители. AID CoE следи използването и коригира лимитите според бизнес нуждите.

Вътрешните тестове при тези ограничения помогнаха за уточняване на критериите за избор. Най-лекият модел, GPT‑6 Luna, пише код по ясни изисквания; GPT‑6.1 Sol подпомага стандартното проектиране, анализа на данни и подготовката на документи; а най-мощният модел, GPT‑6 Astra, се справя със сложни преценки, включително при проектирането на архитектура. Изборът на модели според задачите постепенно се превърна в обща практика за екипите.

Наред с избора на модели компанията започна да ограничава Бърз режим по подразбиране, като го разрешаваше само при необходимост след индивидуална заявка. Макар промяната да породи опасения за темпото на разработка, екипите използваха подходи като паралелно изпълнение на задачи, за да запазят производителността и да осигурят плавен преход.

Компанията въведе и бюджетни лимити за разходите за AI на ниво отдел, група и служител. Утвърденото направление LegalOn получи задача да повиши разходната ефективност с до около 20%, а новите направления в начален етап получиха щедри бюджети, насърчаващи активното използване на AI.

Юта Токитаке, старши инженерен мениджър в LegalOn Technologies, обяснява, че за новите направления бързината на бизнеса е била по-важна от разходната ефективност. Целта беше чрез широко използване на AI да се увеличи обемът на свършената работа и в крайна сметка да се ускори растежът на бизнеса.

Заедно изборът на модели, ограниченията на функциите и бюджетите, съобразени с всяко бизнес направление, намалиха прогнозните дневни разходи с около 65%. Този подход запази контрола върху общия бюджет, като насочи ресурси към направленията, които компанията искаше да развива.

Оптимизацията на моделите и стратегическото разпределение на ресурсите доведоха до следните резултати:

• Преход от използване на най-мощния модел за всяка задача към избор на GPT‑6 Astra, GPT‑6.1 Sol или GPT‑6 Luna според сложността на задачата и етапа на разработка.

• Запазена производителност при разработката след ограничаването на Бърз режим по подразбиране, благодарение на екипни практики като паралелно изпълнение на задачи.

• Бюджетни лимити, съчетаващи около 20% по-висока ефективност в утвърдените направления с активни инвестиции в новите.

• Намаление на прогнозните дневни разходи с 65% спрямо GPT‑5.5 чрез избор между моделите GPT‑6 и 6.1.

Чрез оптимизация на моделите компанията намали разходите, без да жертва темпото или качеството на разработката. Екипите виждат и как AI постепенно съкращава цикъла от разработката до пускането на продукта.

Но компанията гледа още по-напред. Достатъчна ли е по-бързата разработка, за да се смята инвестицията в AI за успешна? Връзката между по-бързата разработка и стойността за клиентите оставаше неясна. „Почти се приема за даденост, че AI може да ускори разработката и актуализирането на системи“, казва Токитаке. „Това, което наистина искаме да разберем, е дали по-бързата разработка действително носи стойност на клиентите.“

Този въпрос подтикна компанията да разработи собствен показател, като премести фокуса при оценката на инвестициите в AI от скоростта на разработка и обема на използване към стойността за клиентите.

Токитаке обяснява: „Когато използваме AI, можем да проследим разходите за отделни задачи, но общата цена на един завършен резултат — пускането на нова функция — често остава скрита. Затова избрахме пускането на всяка функция за отделна единица на измерване. Като свързваме стойността, която тя носи на клиентите, с реалните разходи за AI за създаването ѝ, целим да направим възвръщаемостта на инвестицията видима и точно измерима.“

В момента компанията изгражда процеса за обработка на данни, необходим за изчисляването на този показател. След завършването му реалната възвръщаемост от гледна точка на стойността за клиентите ще стане видима. LegalOn Technologies надгражда управлението на разходите за AI, като се стреми да свърже пряко технологичните инвестиции със стойността за бизнеса.

Следващата цел е практическите знания на отделните инженери за AI да се превърнат в компетентност на цялата организация. Като първа стъпка компанията планира да изгради база от знания за събиране и споделяне на практически опит. Тя ще събира знания, например за най-добрите комбинации от модели за проектиране, програмиране и преглед, и бързо ще превръща индивидуалните успехи в добри практики за цялата компания.

Тези промени, породени от практическия опит на екипите, влияят и върху организацията и подбора на кадри. Повишената благодарение на AI производителност подтиква компанията да преосмисли из основи разпределението на работата между хората и AI, както и кадровите си планове. Тя вече поставя акцент върху уменията за работа с AI при наемането на служители, успоредно с развитието на инвестиционната си стратегия и организационната си структура.

За да се превърне внедряването на AI в трайно конкурентно предимство, е необходимо непрекъснато усъвършенстване на баланса между контрола и свободата на екипите да действат. AID CoE и екипът по сигурността работят заедно за оптимизиране на производителността, разходите и риска от различни гледни точки, като изграждат гъвкава рамка за експериментиране в цялата организация.