前線部署工程師在 OpenAI 的意義
我們的職責、工作方式，以及如何解決企業最棘手的問題，帶來實際成效。
作者：Colin Jarvis，OpenAI 前線部署工程主管
Codex 推出時，團隊有人問我：「如果 Codex 一次就能完成我們過去花上幾個月構建的使用案例，我們接下來該做甚麼？」
這個問題直指前線部署工程師在 OpenAI 的核心意義。我們與客戶並肩工作，了解他們最棘手的問題，並建立值得信賴的解決方案。從中得到的經驗，有助塑造我們的產品，也為研究團隊提供具體的問題去解決。
這就是進步。如果每隔幾個月，我們就能讓自己不再不可或缺，那就代表前線部署工程師團隊做到了應做的事。
我在 2025 年初成立這個團隊，是為了收窄我們所說的「部署差距」：模型看來能做到的事，與人們在工作中能可靠運用的能力之間的落差。
AI 模型的進步速度，已超越配套系統及流程的發展速度。有時，欠缺的是一項產品。有時，模型在基準測試中表現出色，卻無法在現實中的變數和限制下完成工作。
我們專注解決客戶最棘手的問題。如果現有模型已能勝任工作，我們便與產品團隊及客戶合作，讓方案可以重複應用；如果模型能力仍有不足，我們則與客戶及研究團隊一起釐清差距，作出改進。我們希望每次合作都能為下一位客戶提供更好的起點。如果我們把基本能力提升到客戶下次不再需要前線部署工程師，也能解決同類問題的水平，就代表我們出色地完成了工作。
擁有 200 年歷史的農業企業 John Deere 面臨的挑戰，是如何大規模為農民提供個人化建議。
以其精準除草技術 See & Spray 為例，這項技術利用鏡頭和機器學習識別雜草並定點噴灑，而非向整片農田施藥，從而減少高達 70% 的化學藥劑用量。
但要實現這些效益，農民必須懂得設定這項技術、規劃農季工作，並因應環境變化調整耕作方式。
John Deere 部署了 OpenAI 的 API，協助大規模提供這類個人化支援。
AI 能以自然語言回答農民的問題，提供切合個別需要的設定指引和建議，識別設備何時可能未能充分發揮效能，並協助農民了解這項技術為他們帶來的價值。
這個機會並不限於單次互動，而是在整個客戶歷程中提供切合需要的指引，協助農民更善用設備，同時提升效率及可持續性。
這正是 OpenAI 前線部署工程師致力解決的挑戰：協助機構將 AI 能力轉化為系統，在複雜的現實環境中創造實際價值。
但這些問題往往沒有明確方向，可能沒有公認的正確答案，也沒有既定做法可循。人人都想創造前所未有的東西，願意為此付出所需努力的人卻少得多。
要尋找優秀的前線部署工程師，同時不斷提高「足夠好」的標準，就必須持續試驗並付諸實踐。
每次前線部署工程師團隊會議開始時，我都會展示一張投影片，上面寫着一項核心價值：「從成果出發，全力以赴達成目標，再擴大規模。」
一場令人驚豔的示範，可以贏得不少支持，卻未必有人追問它在真實環境中是否行得通。
我們的工作是解決客戶的問題，並確保方案在正式環境中達到我們有信心負責的標準。
2025 年中，我們約有 15 名前線部署工程師與一家大型半導體客戶合作，開發超過 10 個應用場景。目標是將他們的驗證流程改造為 AI 原生流程，涵蓋：
生成定向測試
根本原因分析與除錯
架構助理
在這個行業，驗證工作可佔專案總工作量約 70%。當中的機遇非常龐大，可着手的地方也很多。
部分前線部署工程師當時才加入 OpenAI 數天，而且從未從事半導體工作。他們進駐客戶的驗證團隊，利用工餘時間研習晶片設計，並與工程師共同建立評估，測試 AI 能否生成有用的測試，以及正確診斷晶片故障。
在學習的同時，我們也為各個應用場景建立了專用的任務執行框架。最初 3 至 6 個月內，所有應用均已投入正式運作，並開始有用戶採用。以下數據印證了這番努力的成果：
透過 AI 生成定向測試，節省約 48% 的時間。
透過核心最佳化，效能提升幅度的中位數達到 22%。
將原本需時數週的除錯工作縮短至數小時
當我們匯報這些成果時，硬件總監問道：「你們來這裏之前，做過晶片設計師嗎？」
我們的前線部署工程師不必在第一天就熟悉行業，但有責任主動學習。
隨着編程助理加快軟件開發速度，了解客戶業務變得更加重要。我們組建團隊時，會結合通才及領域專家。
你需要有足夠的知識，才能作出穩妥判斷；也需要有足夠的好奇心，才能質疑對現狀的既有假設。
以生命科學為例，我們前線部署工程師的科學背景，有助他們贏得從事臨床前藥物探索的研究人員信任。這些研究工作包括靶點驗證及優先排序、基因表達分析，以及化學合成路線重建。這些專業知識讓他們能就如何改善工作流程，提出有根據的判斷。
我們已證明這些工作流程能創造價值，但要推廣至另一個團隊，每個流程仍需要過多的客製化整合工作。下一個挑戰，是在保留這些成果的同時，讓軟件更容易部署及維護。
當時，Codex 的能力已有所提升。一名前線部署工程師嘗試以 Codex 為基礎重建應用程式，再與團隊合作，將各個應用場景遷移至以 Codex 為核心的共用任務執行框架。
客製化應用程式變成了建基於共用 Codex 基礎元件的外掛程式和技能。Codex 也成為了操作介面，讓我們能停用以往為各個應用場景獨立編寫的終端機用戶介面及命令列介面。
我們得以移除每個專案約 90% 的客製化程式碼，這改變了我們建立、維護及擴展這些工作流程的方式：
我們能受惠於 Codex 的集中改進，減少每個應用場景所需的銜接程式碼
關鍵功能被封裝成技能和外掛程式，更容易在團隊之間共用，並由 AI 卓越中心（CoE）集中管理。這意味着，要將方案從一個團隊擴展至另一個團隊，可能只需換上新的連接器或 MCP 伺服器，建立新的評估（我們也有專門的技能可處理），便能開始運作。
以 2026 年 8 月的一個例子來說，首次部署花了兩個月。將方案擴展至第二個團隊，則只花了一天。隨着規模擴大，後續團隊的導入速度愈來愈快，而且這個趨勢一直持續：2026 年 8 月的一個應用場景，首次部署花了兩個月，第二個團隊導入時卻只需一天。
這就是讓我們自己不再不可或缺的一種方式。我們為投入正式運作所做的工作，確立了哪些事情最重要。隨着底層產品改進，我們可以替換大部分客製化實作，同時保留它們帶來的價值。
這就是先後次序如此重要的原因。LLM 讓我們能快速開發。我們應善用這種速度，先把有價值的成果交到用戶手上，了解哪些做法經得起實際考驗，再將有效的方法擴大應用。
同一原則適用於所有合作專案。
OpenAI Presence 是我們針對企業級語音和對話智能代理而設的產品，源於實際客戶部署項目的實戰經驗。這項工作始於Swarm（在新視窗中開啟） ，再進一步演化為 Agents API，如今已有客戶將超過半數的來電完全交由 AI 處理。
將這些部署投入生產環境後，我們了解到哪些問題需要客製化解決方案，以及哪些建置模組可以被其他團隊使用。我們將這些建置模組引入到 Presence 中，使開發人員能夠更輕鬆地自動化受監管的工作流程，而無需重建底層基礎架構。每一次部署都有助於完善產品，並為下一位客戶提供更好的起點。
和 Thrive Holdings 的緊密合作下，OpenAI 前線部署工程師（FDE）及研究人員，與工程師和會計師攜手合作，為 Crete 會計事務所建立稅務人工智能 Tax AI。在試驗期間，Tax AI 處理了 7,000 份報稅表，吞吐量大幅增加約 50%。
最困難的挑戰之一是實現租賃房地產收益的自動化，這需要六週的工程和執業人員審查才能達到 90% 的準確率和召回率。這項工作創建了可重複使用的模式，令 Tax AI 擴展到其他複雜的稅務計劃變得更加容易。
現在，各團隊正將同樣的方法應用於簿記、審計和 IT 支援，建立能夠透過執業人員反饋和實際應用而不斷改進的系統。
有時，更好的產品讓我們可以簡化已建立的系統；但有時，模型本身仍未能勝任工作。
如果我們只開發現有模型已能實現的應用，就無法找出研究團隊下一步需要補足的智能能力差距。因此，許多重要合作專案都從這些能力極限出發，由客戶、前線部署工程師及研究團隊共同投入，合力突破。
我們已與一家大型電訊客戶共同開發了客戶服務平台，而對方希望將平台擴展至語音服務。
語音服務約佔他們客戶服務總量的 90%。與文字對話相比，要讓系統無需轉交人工客服便能處理這些個案，成本更高；要在口音、語氣、延遲及準確度方面達到正式運作所需的水平，也帶來了一系列新的技術挑戰。如果能做好，將對他們的業務帶來重大影響。
在界定專案範圍時，我們透過關鍵評估來判斷模型能否在正式環境中勝任工作，當時模型的得分約為 60%。我們已觸及模型的能力極限。模型在客戶服務場景中的函數調用及指令遵循能力仍有待改善。
我們向客戶說明情況，並邀請研究團隊參與。前線部署工程師（FDE）與客戶合作建立平台，並界定模型需要做到甚麼。研究團隊則致力補足能力差距，接連提供模型快照，讓我們能按客戶要求檢驗進展。
六個月內，模型在關鍵評估中的得分由約 60% 升至 80%，再提升至 90% 以上，達到正式運作所需的水平。
由此開發的語音模型，如今已支援該客戶的部署、其他客製化客戶服務部署，以及透過 Presence 提供的託管部署。我們從一位客戶業務中遇到的問題，找到了能惠及更多客戶的改進方向。
每個環節都很重要。客戶願意投入，共同處理模型尚未能解決的問題。前線部署工程師與客戶保持緊密合作，以界定問題、建立平台，並由始至終推動專案。研究團隊則改善了底層模型的能力。
這是讓我們自己不再不可或缺的另一種方式：協助把現有模型無法解決的問題，轉化為未來模型能夠提供的能力。我們工作的回報，遠不止於為任何單一客戶投入的時間。
我加入 OpenAI，是希望協助讓 AI 在人們的日常工作中發揮作用。這至今仍是團隊的方向。我經常對團隊說，在 LLM 開發的大多數情況下，簡約法則都適用：最簡單的方案就是最好的方案。我們身處一家以前沿研究見稱的公司，面對一個被浮誇宣傳風氣籠罩的行業，我們希望建立的，是能可靠運作、讓前線人員放心依賴的系統。
我們的目標，是讓每次合作都為下一步帶來改進：產品更容易部署、模型能處理更艱難的任務，或下一位客戶所需的客製化工作更少。
如果你有想解決的難題，我們很樂意與你合作。如果你想協助解決這些問題，我們誠邀你加入。
那麼，當 Codex 能輕易處理我們花了數月才構建好的工作時，我們接下來該做甚麼？
去尋找更難的問題。
