前線部署工程師在 OpenAI 的意義
我們做什麼、如何工作，以及如何解決企業最棘手的問題，帶來實質影響。
作者：Colin Jarvis，OpenAI 前線部署工程主管
Codex 推出時，團隊裡有人問我：「如果 Codex 一次就能完成我們過去幾個月努力打造的應用，那我們該做什麼？」
這個問題直指前線部署工程師在 OpenAI 的核心意義。我們與客戶並肩工作，了解他們最棘手的問題，打造值得信賴的解決方案。我們從中學到的經驗有助於塑造產品，也為研究團隊提供具體待解的問題。
這就是進步。如果每隔幾個月，我們就能讓客戶不必再依賴我們，那就代表前線部署工程師團隊做到了該做的事。
我在 2025 年初成立這個團隊，是為了縮小我們所說的「部署落差」：也就是模型看似具備的能力，與人們實際能可靠運用於工作的能力之間的距離。
模型能力的進步速度，已超越相關應用系統與流程的發展速度。有時，欠缺的是一項產品。有時，模型在基準測試中表現出色，卻無法在真實情境的變數與限制下完成工作。
我們專注於客戶最棘手的問題。對於現有模型已能勝任的工作，我們與產品團隊及客戶合作，讓解決方案能重複應用；對於模型能力不足之處，我們則與客戶及研究團隊共同釐清落差，推動改進。我們的目標，是讓每次合作都為下一位客戶留下更好的起點。如果我們能把基礎能力提升到客戶下次處理同類問題時，不再需要前線部署工程師協助，就表示我們做得很好。
擁有 200 年歷史的農業企業 John Deere 面臨如何大規模為農民提供個人化建議的挑戰。
以 John Deere 的精準除草技術 See & Spray 為例，這項技術利用攝影機與機器學習辨識雜草並定點噴灑，而非對整片農田施藥，最多可減少 70% 的化學藥劑用量。
但要實現這些效益，農民必須知道如何設定這項技術、規劃耕作季，以及隨環境變化調整耕作方式。
John Deere 導入 OpenAI 的 API，讓這類支援服務能依個別農民的需求提供建議，並擴大服務規模。
AI 能以自然語言回答農民的問題，提供量身打造的設定指引與建議，辨識設備何時可能未充分發揮效能，並協助農民了解這項技術帶來的價值。
這項應用的潛力不只在於單次互動，而是在整個客戶旅程中提供切合需求的指引，協助農民更善用設備，同時提升效率與永續性。
這正是 OpenAI 前線部署工程師致力解決的挑戰：協助組織將 AI 能力轉化為系統，在複雜的真實環境中創造實用價值。
但這些問題往往沒有明確方向，可能沒有公認的正確答案，也沒有現成做法可循。每個人都想打造前所未有的事物，願意為此付出必要努力的人卻少得多。
要找到出色的前線部署工程師，同時不斷提高「夠好」的基本標準，就必須持續實驗與實踐。
每次前線部署工程師團隊會議開始時，我都會展示一張投影片，上面寫著一項核心價值：「從成果出發，盡一切努力達成目標，再擴大規模。」
一場令人驚豔的展示，往往能獲得許多關注與支持，卻遲遲沒人追問它在真實環境中是否有效。
我們的工作是解決客戶的問題，而且解決方案正式上線後，也要達到我們能對成效負責的水準。
2025 年中，我們約有 15 名前線部署工程師與一家大型半導體客戶合作，推進 10 多個應用案例。目標是將他們的驗證流程轉型為 AI 原生流程，涵蓋：
定向測試生成
根本原因分析與除錯
架構助理
在這個產業中，驗證可能占一個專案約 70% 的工作量。潛力十分龐大，也有許多可切入的方向。
有些前線部署工程師才加入 OpenAI 幾天，從未在半導體產業工作過。他們進駐客戶的驗證團隊，利用空閒時間研讀晶片設計，並與工程師共同建立評測，檢驗 AI 能否生成實用的測試，以及正確診斷晶片故障。
在學習的同時，我們也為各個應用案例打造客製化的任務執行框架。在最初三到六個月內，所有應用皆正式上線，並開始有使用者採用。成果反映在這些指標上：
透過 AI 生成定向測試，節省約 48% 的時間。
透過核心函式最佳化，效能提升幅度的中位數達 22%。
將原本需數週的除錯時間縮短至數小時
當我們向硬體長說明這些成果時，他問道：「你們來這裡之前，都做過晶片設計嗎？」
我們的前線部署工程師不必第一天就熟悉產業，但有責任主動學習相關知識。
隨著程式碼編寫助理加快軟體開發速度，了解客戶業務變得更加重要。我們建立的團隊由通才與領域專家共同組成。
你需要足夠的知識來做出可靠判斷，也需要足夠的好奇心，去質疑人們對現況的既有假設。
以生命科學為例，我們前線部署工程師的科學背景有助於贏得研究人員的信任。這些研究人員從事臨床前藥物探索工作，例如標靶驗證與優先順序評定、基因表現分析，以及化學合成路徑重建。憑藉這些專業知識，前線部署工程師能對如何改善工作流程提出有根據的判斷。
我們已證明這些工作流程能創造價值，但每一項若要推廣到另一個團隊，仍需要過多的客製化整合工作。接下來的挑戰，是在保有成果的同時，讓軟體更容易部署與維護。
當時，Codex 的能力已進一步提升。一位前線部署工程師嘗試以 Codex 為核心重建應用程式，接著與團隊合作，將各個應用案例移至以 Codex 為核心的共用任務執行框架。
客製化應用程式變成了建構於共用 Codex 基礎元件之上的外掛程式與技能。Codex 也成為操作介面，讓我們得以停用先前為各個應用案例分別編寫的終端機使用者介面與命令列介面。
我們得以移除每個專案中約 90% 的客製化程式碼，這也改變了我們建置、維護及擴展這些工作流程的方式：
Codex 的統一改進可讓各個應用案例一同受益，減少每個案例所需的銜接程式碼
關鍵功能封裝為技能與外掛程式，更便於團隊互相分享，也能由 AI 卓越中心 (CoE) 集中管理。因此，要將應用擴展到另一個團隊，可能只需換上新的連接器或 MCP 伺服器，再建立新的評測，就能開始運作；我們也有專門建立評測的技能。
以 2026 年 8 月的一個案例來說，首次部署花了兩個月。將解決方案擴展到第二個團隊，只花了一天。隨著規模擴大，後續團隊導入的速度也越來越快，而且這個趨勢持續至今：在 2026 年 8 月的一個應用案例中，首次部署花了兩個月，第二個團隊卻只需一天。
這就是讓客戶不必再依賴我們的一種方式。為了讓系統正式上線，我們先前的工作釐清了真正重要的要素。隨著底層產品改善，我們可以取代大部分客製化實作，同時保留原有的價值。
這就是為什麼順序很重要。LLM 讓我們能快速開發。我們應善用這份速度，先把有價值的成果交到使用者手中，了解哪些做法經得起實際考驗，再將有效的做法擴大規模。
同樣的原則適用於所有合作專案。
OpenAI Presence 是我們供企業建置語音與對話智慧體的產品，源自實際的客戶部署經驗。這項工作始於 Swarm(在新視窗中開啟)，並經由 Agents API 持續演進。如今，已有一家客戶使用 AI 處理超過一半的來電。
將這些系統正式上線後，我們了解到哪些問題需要客製化解決方案，哪些基礎元件可以供其他團隊重複使用。我們將這些元件整合至 Presence，讓開發人員更容易將受法規規範的工作流程自動化，無須重建底層基礎架構。每次部署都幫助我們改進產品，也為下一家客戶提供更好的起點。
與 Thrive Holdings 合作時，OpenAI 前線部署工程師與研究人員攜手工程師及會計師，為 Crete 旗下的會計師事務所打造 Tax AI。試行期間，Tax AI 處理了 7,000 份報稅申報表，業務處理量提升約 50%。在試驗期間，Tax AI 處理了 7,000 份納稅申報表，並提高了大約 50％ 的吞吐量。
最困難的挑戰之一是實現租賃房產收益的自動化，這需要六週的工程和從業人員審查才能達到 90% 的準確率和召回率。這項工作創建了可重複使用的模式，使得將稅務人工智慧擴展到其他複雜的稅務計畫變得更加容易。
各團隊現在正將同樣的方法應用於簿記、審計和 IT 支援，打造能透過實務人員的回饋與實際使用經驗持續改善的系統。
有時，更好的產品能讓我們簡化既有系統；但有時，是模型本身還無法勝任。
如果我們只打造現有模型已能實現的應用，就無法找出研究團隊下一步需要補足的能力落差。因此，我們許多重要的合作專案都是從這些能力極限出發，由客戶、前線部署工程師與研究團隊共同投入，攜手突破。
我們先前已與一家大型電信客戶共同開發客服平台，而他們希望進一步支援語音服務。
語音服務約占他們客服業務量的 90%。相較於文字對話，這類案件若要在不轉接人工客服的情況下處理，成本更高；要讓口音辨識、語氣、延遲與準確度達到正式上線的標準，也帶來了一系列新的技術挑戰。若能做好，將為他們的業務帶來重大改變。
在界定專案範圍時，我們透過關鍵評測來判斷模型能否在正式環境中勝任，而當時模型的得分約為 60%。我們已觸及模型的能力上限。模型在客服情境中的函式呼叫與指令遵循能力都需要改善。
我們向客戶說明了這一點，並邀請研究團隊參與。前線部署工程師與客戶共同建置平台，並界定模型需要完成哪些工作。研究團隊則致力於補足能力落差，陸續提供模型快照版本，讓我們能依據客戶需求檢驗進展。
六個月內，關鍵評測的表現從約 60% 提升至 80%，再突破 90%，達到正式上線所需的水準。
最終打造出的語音模型如今不僅支援這家客戶的部署，也支援其他客製化客服部署，以及透過 Presence 進行的代管部署。我們從一家客戶業務中遇到的問題，找出能讓更多客戶受益的改進方向。
每個環節都很重要。客戶願意投入，共同處理模型尚無法解決的問題。前線部署工程師與客戶緊密合作，釐清問題、建置平台，並自始至終推動整個專案。研究團隊則提升底層模型的能力。
我們也能透過另一種方式，讓客戶不必再依賴我們：協助將現有模型無法解決的問題，轉化為未來模型能提供的能力。我們投入工作的效益，不只體現在為個別客戶服務的時間裡。
我加入 OpenAI，是希望讓 AI 在人們的日常工作中派上用場。這仍是引領團隊的方向。我經常對團隊說，在 LLM 開發的大多數情況下，奧卡姆剃刀原則都適用：最簡單的解決方案就是最好的。身處一家以前沿研究見長的公司，以及一個飽受誇大宣傳影響的產業，我們希望打造能可靠運作、讓第一線工作者信賴的工具。
目標是讓每次合作都為下一步帶來改善：產品更容易部署、模型能處理更艱難的任務，或下一位客戶所需的客製化工作更少。
如果你有想解決的難題，我們很樂意與你合作。如果你想協助解決這些問題，我們也很歡迎你加入。
那麼，當 Codex 能完成那些我們花了數月開發系統才得以處理的工作時，我們該做什麼？
去尋找更難的問題。
