Што значи улогата на инженерот за директна примена во OpenAI
Што правиме, како работиме и како ги решаваме најтешките проблеми на компаниите за да постигнеме вистински резултати.
Автор: Колин Џарвис, раководител на инженерството за директна примена во OpenAI
Кога се појави Codex, некој од тимот ме праша: „Што ќе правиме кога Codex ќе може од еден обид да ги реши случаите на употреба на кои работевме изминативе неколку месеци?“
Тоа прашање ја допира суштината на улогата на инженерите за директна примена во OpenAI. Работиме рамо до рамо со клиентите за да ги разбереме нивните најтешки проблеми и да изградиме решенија на кои можат да се потпрат. Она што го учиме помага во обликувањето на нашите производи и му дава конкретни проблеми за решавање на истражувачкиот тим.
Тоа е напредок. Ако на секои неколку месеци ја правиме нашата улога непотребна, нашиот тим инженери за директна примена си ја врши работата.
Го основав тимот на почетокот на 2025 година за да го премостиме она што го нарекуваме „јазот во примената“: разликата меѓу она за што моделите изгледаат способни и она што луѓето можат сигурно да го користат во својата работа.
Способностите на моделите напредуваат побрзо од системите и процесите потребни за нивна примена. Понекогаш недостига производ. Понекогаш моделот постигнува добри резултати на референтен тест, но не може да ја заврши работата со променливите фактори и ограничувањата во реални услови.
Се фокусираме на најтешките проблеми на клиентите. Таму каде што нашите модели можат да ја завршат работата денес, соработуваме со тимот за производи и со клиентот за решението да може повторно да се применува. Онаму каде што моделите не се доволно способни, соработуваме со клиентите и со истражувачкиот тим за да ги утврдиме недостатоците и да направиме подобрувања. Нашата цел е секоја соработка да му остави подобра појдовна точка на следниот клиент. Ако го подигнеме основното ниво дотаму што следниот пат на клиентите нема да им требаат инженери за директна примена за ваков вид проблем, добро сме си ја завршиле работата.
Предизвикот за John Deere, компанија во земјоделскиот сектор со 200-годишна историја, беше како да обезбеди персонализирани совети за поголем број земјоделци.
Еден пример е See & Spray, нивната технологија за прецизна контрола на плевелите. Таа користи камери и машинско учење за да ги препознае и испрска плевелите наместо да ги третира целите ниви, намалувајќи ја употребата на хемикалии до 70%.
Но за да ги остварат овие придобивки, земјоделците треба да знаат како да ја конфигурираат технологијата, да ја испланираат сезоната и да ги приспособуваат своите практики кога условите се менуваат.
John Deere ги воведе API-интерфејсите на OpenAI за да овозможи персонализирана поддршка што може да опфати поголем број корисници.
ВИ може да одговара на прашањата на земјоделците на природен јазик, да дава приспособени упатства за поставување и препораки, да препознава кога опремата можеби не го постигнува својот полн потенцијал и да им помогне на земјоделците да ја разберат вредноста што ја добиваат од технологијата.
Можностите не се ограничени на поединечна интеракција: целта е да се даваат релевантни насоки во текот на целото корисничко искуство, помагајќи им на земјоделците подобро да ја користат опремата и да ги подобрат ефикасноста и одржливоста.
Токму вакви предизвици решаваат инженерите за директна примена на OpenAI: им помагаат на организациите да преминат од способностите на ВИ кон системи што носат практична вредност во сложени, реални услови.
Но проблемите често се недоволно дефинирани, можеби нема утврдена основа за проверка на точноста и нема готови упатства. Сите сакаат да изградат нешто што никогаш не постоело. Помалкумина се подготвени да го направат она што е потребно за да стигнат дотаму.
Наоѓањето талентирани инженери за директна примена, додека го подигаме прагот за „доволно добро“, бара постојано експериментирање и практична примена.
На почетокот на секоја сесија на тимот инженери за директна примена, прикажувам слајд со една основна вредност: „Тргнете од посакуваниот резултат, направете сè што е потребно за успех, а потоа проширете ја примената“.
Импресивна демонстрација може да привлече големо внимание пред некој воопшто да праша дали решението функционира во реални услови.
Нашата задача е да го решиме проблемот на клиентот со квалитет зад кој можеме да застанеме во продукциска употреба.
Во средината на 2025 година, околу 15 наши инженери за директна примена работеа со голем клиент од индустријата за полупроводници на повеќе од 10 случаи на употреба. Целта беше нивниот процес на верификација да се заснова на вештачка интелигенција, опфаќајќи:
Генерирање насочени тестови
Анализа на основните причини и отстранување грешки
Асистент за архитектура
Во оваа индустрија, верификацијата може да сочинува околу 70% од работата на еден проект. Потенцијалот беше огромен, а имаше многу можни појдовни точки.
Некои инженери за директна примена се беа приклучиле на OpenAI само неколку дена претходно и никогаш немаа работено со полупроводници. Се вклучија во тимот за верификација на клиентот, во слободното време учеа за дизајн на чипови и заедно со инженерите изработуваа евалуации за да проверат дали ВИ може да генерира корисни тестови и точно да дијагностицира дефекти на чиповите.
Паралелно со учењето, изградивме приспособени рамки за поединечните случаи на употреба. Во првите 3–6 месеци, сите решенија влегоа во продукција и почнаа да ги користат првите корисници. Показателите потврдија дека трудот се исплатеше:
Околу 48% заштедено време со генерирање насочени тестови со ВИ.
Медијана од 22% подобрување на перформансите преку оптимизација на јадрото.
Недели поминати во отстранување грешки сведени на часови
Кога ги презентиравме сите резултати, главниот директор за хардвер праша: „Дали работевте како дизајнери на чипови пред да дојдете тука?“
Нашите инженери за директна примена не мора да ја познаваат индустријата од првиот ден, но нивна одговорност е да ја научат.
Бидејќи асистентите за програмирање го забрзуваат развојот на софтвер, разбирањето на работењето на клиентот станува уште поважно. Формираме тимови што спојуваат луѓе со широки познавања и стручњаци за конкретни области.
Потребно е доволно знаење за да донесувате издржани проценки и доволно љубопитност за да ги преиспитувате претпоставките за постојната состојба.
Во биолошките науки, на пример, научното искуство на нашите инженери за директна примена им помага да ја стекнат довербата на истражувачите што работат на претклиничко откривање лекови, вклучувајќи валидација и приоритизација на целни молекули, анализа на генската експресија и реконструкција на патиштата за хемиска синтеза. Таа стручност им овозможува да дадат основана проценка за тоа како би можеле да се подобрат овие работни процеси.
Покажавме дека овие работни процеси можат да донесат вредност, но за секој од нив сè уште беше потребна премногу приспособена интеграција за да се прошири на друг тим. Следниот предизвик беше да ги задржиме тие резултати, а истовремено да го олесниме воведувањето и одржувањето на софтверот.
Дотогаш, способностите на Codex веќе беа напреднати. Еден инженер за директна примена пробно ја преработи апликацијата врз основа на Codex, а потоа со тимот ги префрли случаите на употреба на заедничка рамка со Codex во нејзиното јадро.
Приспособените апликации станаа приклучоци и вештини изградени врз заеднички основни компоненти на Codex. Codex стана и интерфејс, што ни овозможи да ги повлечеме од употреба посебните терминалски кориснички интерфејси и интерфејси со командна линија што ги имавме напишано за поединечни случаи на употреба.
Успеавме да отстраниме приближно 90% од приспособениот код од секој проект, а тоа го промени начинот на кој ги градевме, одржувавме и проширувавме овие работни процеси:
Можевме да ги искористиме централизираните подобрувања на Codex и да ја намалиме количината на код за поврзување потребна за секој поединечен случај на употреба
Клучните функционалности беа спакувани како вештини и приклучоци, што го олесни нивното меѓусебно споделување и централизираното управување од Центарот за извонредност за ВИ. Тоа значеше дека за проширување од еден тим на друг можеше да биде доволно да се додадат нови конектори/MCP-сервери, да се изработат нови евалуации (за што исто така имавме вештина) и решението да се пушти во работа.
Во еден пример од август 2026 година, првичната имплементација траеше два месеца. Проширувањето на решението на втор тим траеше еден ден. Со проширувањето на примената, следните тимови се вклучуваа побрзо. Тој тренд продолжи: во еден случај на употреба во август 2026 година, на вториот тим му беше потребен 1 ден, откако првичната имплементација траеше 2 месеца.
Тоа е еден начин да ја направиме нашата улога непотребна. Работата што ја вложивме за да стигнеме до продукција покажа што е важно. Како што се подобруваше основниот производ, можевме да замениме голем дел од нашата приспособена имплементација и да ја задржиме вредноста што ја носеше.
Затоа е важен редоследот. Големите јазични модели (LLM) ни овозможуваат брзо да создаваме. Искористете ја таа брзина за да им дадете нешто вредно на корисниците, да научите што се покажува успешно во практика, а потоа да ја проширите примената на она што функционира.
Истиот принцип важи за сите соработки.
OpenAI Presence, нашиот производ за гласовни и чет агенти во претпријатија, произлезе од распоредувања од реални клиенти. Работата започна со Swarm(се отвора во нов прозорец) и се развиваше низ API на агенти, а денес еден клиент сега обработува повеќе од половина од своите повици со вештачка интелигенција.
Ставањето на тие распоредувања во продукција нè научи на кои проблеми им е потребно прилагодено решение и кои градежни блокови можат да ги користат другите тимови. Ги внесовме тие градежни блокови во Presence, олеснувајќи им на програмерите да ги автоматизираат регулираните работни процеси без повторно да ја градат основната инфраструктура. Секое распоредување помогна во обликувањето на производот и му даде на следниот клиент подобра почетна точка.
Со Thrive Holdings, OpenAI FDEs и истражувачи работеа заедно со инженери и сметководители за да изградат даночна вештачка интелигенција за сметководствените фирми на Крит. За време на пилот-проектот, Tax AI обработи 7.000 даночни пријави и го зголеми капацитетот за околу 50%.
Еден од најтешките предизвици беше автоматизирањето на пријавувањето на имоти под кирија, за што беа потребни шест недели инженерски и практичен преглед за да се постигне прецизност и отповикливост од 90%. Работата создаде шеми за повеќекратна употреба што го олесни проширувањето на даночната вештачка интелигенција на други сложени даночни распореди.
Тимовите сега го применуваат истиот пристап кон книговодството, ревизијата и ИТ поддршката - градат системи што се подобруваат преку повратни информации од практичарите и употреба во реалниот свет.
Понекогаш подобар производ ни овозможува да го поедноставиме она што сме го изградиле, но понекогаш самиот модел сè уште не може да ја заврши работата.
Ако градиме само она што веќе го овозможуваат денешните модели, нема да ги откриеме недостатоците во способностите што истражувачкиот тим треба следно да ги надмине. Затоа многу од нашите важни соработки почнуваат токму на тие граници, со заедничка посветеност на клиентот, инженерите за директна примена и истражувачкиот тим да ги надминат.
Веќе имавме развиено платформа за корисничка поддршка со голем клиент од телекомуникацискиот сектор, кој сакаше да ја прошири и на гласовни повици.
Гласовните повици сочинуваа околу 90% од обемот на нивната корисничка поддршка. Решавањето на овие случаи без префрлање на оператор беше поскапо отколку преку разговор со пораки и носеше низа нови технички предизвици: справување со акцентите, соодветен тон и постигнување брзина и точност погодни за продукциска употреба. Успешното решение значително би го подобрило нивното работење.
При дефинирањето на опфатот, нашиот модел постигнуваше околу 60% на клучните евалуации со кои проценувавме дали може да ја извршува задачата во продукција. Ги имавме достигнато границите на неговите способности. Требаше да се подобрат повикувањето на функција и следењето инструкции во сценарија за корисничка поддршка.
Му го објаснивме тоа на клиентот и го вклучивме истражувачкиот тим во работата. Инженерите за директна примена работеа со клиентот за да ја изградат платформата и да дефинираат што треба да прави моделот. Истражувачкиот тим работеше на надминување на недостатоците во способностите, а последователните верзии на моделот ни овозможуваа да го проверуваме напредокот според барањата на клиентот.
За шест месеци, резултатите на клучните евалуации пораснаа од околу 60% на 80%, а потоа на над 90%, достигнувајќи го нивото потребно за продукциска употреба.
Добиениот гласовен модел сега го поддржува решението кај тој клиент, други приспособени решенија за корисничка поддршка и управувани решенија преку Presence. Проблем во работењето на еден клиент помогна да се откријат подобрувања што можат да им користат на многу други.
Секој дел беше важен. Клиентот се обврза да работи на проблем што моделот сè уште не можеше да го реши. Инженерите за директна примена останаа во тесна соработка со клиентот за да го дефинираат проблемот, да ја изградат платформата и да ја водат соработката од почеток до крај. Истражувачкиот тим ги подобри основните способности на моделот.
Ова е другиот начин да ја направиме нашата улога непотребна: да помогнеме проблем што денешните модели не можат да го решат да стане задача што идните модели ќе можат да ја извршат. Придобивките од нашата работа се протегаат подалеку од часовите што ги поминуваме со кој било поединечен клиент.
Се приклучив на OpenAI за да помогнам ВИ да стане корисна во секојдневната работа на луѓето. Тоа и понатаму е водилка за тимот. Често му велам на тимот дека во повеќето случаи при развојот на големи јазични модели (LLM) важи Окамовиот брич — наједноставното решение е најдобро. Во компанија препознатлива по своите врвни истражувања и во индустрија оптоварена со претерани тврдења, сакаме да градиме решенија што работат сигурно и на кои луѓето во практиката можат да се потпрат.
Целта е секоја соработка да го подобри она што следува: производ што полесно се воведува, модел што може да изврши потешка задача или помалку приспособувања за следниот клиент.
Ако имате тежок проблем што сакате да го решите, со задоволство би работеле со вас. Ако сакате да помогнете во решавањето на тие проблеми, со задоволство би ве примиле во нашиот тим.
Тогаш, што правиме кога Codex може да ја преземе работата за која со месеци градевме решенија?
Наоѓаме потежок проблем.
