Vai trò của Kỹ sư triển khai trực tiếp tại OpenAI
Chúng tôi làm gì, làm việc ra sao và giải quyết những bài toán khó nhất của doanh nghiệp thế nào để tạo ra tác động thực tế.
Tác giả: Colin Jarvis, Trưởng bộ phận Kỹ thuật triển khai trực tiếp tại OpenAI
Khi Codex ra mắt, một người trong nhóm hỏi tôi: “Chúng ta sẽ làm gì khi Codex có thể xử lý ngay trong một lần những trường hợp ứng dụng mà chúng ta đã mất mấy tháng qua để xây dựng?”
Câu hỏi đó chạm đúng vào cốt lõi vai trò của Kỹ sư triển khai trực tiếp tại OpenAI. Chúng tôi sát cánh cùng khách hàng để hiểu những bài toán khó nhất của họ và xây dựng các giải pháp mà họ có thể tin cậy. Những điều học được giúp chúng tôi định hình sản phẩm và mang đến cho đội ngũ Nghiên cứu các bài toán cụ thể để giải quyết.
Đó chính là sự tiến bộ. Nếu cứ vài tháng, chúng tôi lại khiến vai trò của mình không còn cần thiết, thì đội ngũ Kỹ sư triển khai trực tiếp đang làm đúng nhiệm vụ.
Tôi thành lập đội ngũ vào đầu năm 2025 để thu hẹp điều mà chúng tôi gọi là “khoảng cách triển khai”: khoảng cách giữa những gì mô hình có vẻ làm được và những gì mọi người có thể tin cậy sử dụng để hoàn thành công việc.
Năng lực của mô hình đã tiến nhanh hơn các hệ thống và quy trình cần thiết để đưa chúng vào sử dụng. Đôi khi, mảnh ghép còn thiếu là một sản phẩm. Đôi khi, mô hình đạt kết quả tốt trên bài kiểm tra chuẩn nhưng không thể đáp ứng công việc khi gặp các biến số và ràng buộc thực tế.
Chúng tôi tập trung vào những bài toán khó nhất của khách hàng. Với những việc mô hình hiện đã làm được, chúng tôi phối hợp với đội ngũ Sản phẩm và khách hàng để tạo ra giải pháp có thể áp dụng lại. Với những việc mô hình chưa đáp ứng được, chúng tôi cùng khách hàng và đội ngũ Nghiên cứu xác định phần còn thiếu và cải thiện. Mục tiêu của chúng tôi là để mỗi dự án hợp tác mang lại điểm khởi đầu tốt hơn cho khách hàng tiếp theo. Nếu có thể nâng năng lực nền tảng lên đến mức lần sau khách hàng không cần Kỹ sư triển khai trực tiếp để giải quyết dạng bài toán này nữa, thì chúng tôi đã làm tốt nhiệm vụ.
Thách thức của John Deere, doanh nghiệp nông nghiệp có lịch sử 200 năm, là làm thế nào để tư vấn phù hợp với từng nông dân trên quy mô lớn.
Một ví dụ là See & Spray, công nghệ kiểm soát cỏ dại chính xác của hãng. Công nghệ này dùng camera và học máy để nhận diện và phun thuốc vào cỏ dại thay vì phun toàn bộ cánh đồng, giúp giảm lượng hóa chất sử dụng tới 70%.
Nhưng để có được những lợi ích đó, nông dân cần biết cách cấu hình công nghệ, lên kế hoạch mùa vụ và điều chỉnh phương thức canh tác khi điều kiện thay đổi.
John Deere triển khai các API của OpenAI để cá nhân hóa hoạt động hỗ trợ này và mở rộng quy mô.
AI có thể trả lời câu hỏi của nông dân bằng ngôn ngữ tự nhiên, đưa ra hướng dẫn thiết lập và khuyến nghị phù hợp với từng người, nhận biết khi nào thiết bị có thể chưa phát huy hết tiềm năng, đồng thời giúp nông dân hiểu được giá trị mà công nghệ mang lại.
Cơ hội không chỉ nằm ở từng lần tương tác riêng lẻ, mà còn ở việc cung cấp hướng dẫn phù hợp xuyên suốt hành trình khách hàng, giúp nông dân khai thác thiết bị tốt hơn, đồng thời nâng cao hiệu quả và tính bền vững.
Đây chính là loại thách thức mà các Kỹ sư triển khai trực tiếp của OpenAI nỗ lực giải quyết: giúp các tổ chức biến năng lực AI thành những hệ thống mang lại giá trị thiết thực trong môi trường thực tế phức tạp.
Nhưng các bài toán thường chưa có hướng giải rõ ràng, có thể chưa có đáp án chuẩn để đối chiếu, cũng không có quy trình sẵn để làm theo. Ai cũng muốn xây dựng một thứ chưa từng tồn tại. Nhưng ít người sẵn sàng làm những gì cần thiết để đạt được điều đó.
Việc tìm kiếm những Kỹ sư triển khai trực tiếp tài năng, đồng thời nâng tiêu chuẩn “đủ tốt”, đòi hỏi chúng tôi không ngừng thử nghiệm và áp dụng vào thực tế.
Mở đầu mỗi buổi họp của đội ngũ Kỹ sư triển khai trực tiếp, tôi đều chiếu một trang trình bày với giá trị cốt lõi: “Bắt đầu từ kết quả cần đạt, làm những gì cần thiết để thành công, rồi mở rộng quy mô”.
Một bản trình diễn ấn tượng có thể được đón nhận rất lâu trước khi có ai đặt câu hỏi liệu nó có hoạt động được trong thực tế hay không.
Nhiệm vụ của chúng tôi là giải quyết vấn đề của khách hàng ở mức chất lượng mà chúng tôi có thể tự tin bảo đảm khi đưa vào vận hành thực tế.
Vào giữa năm 2025, chúng tôi có khoảng 15 Kỹ sư triển khai trực tiếp làm việc với một khách hàng lớn trong ngành bán dẫn về hơn 10 trường hợp ứng dụng. Mục tiêu là đưa AI thành nền tảng cốt lõi trong quy trình kiểm chứng thiết kế của họ, bao gồm:
Tạo ca kiểm thử có định hướng
Phân tích nguyên nhân gốc rễ và gỡ lỗi
Trợ lý thiết kế kiến trúc
Trong ngành này, việc kiểm chứng có thể chiếm khoảng 70% công sức dành cho một dự án. Cơ hội rất lớn, và có nhiều hướng để bắt đầu.
Một số Kỹ sư triển khai trực tiếp mới gia nhập OpenAI vài ngày trước đó và chưa từng làm việc trong ngành bán dẫn. Họ làm việc sát cánh với đội ngũ kiểm chứng của khách hàng, học về thiết kế chip trong thời gian rảnh và cùng các kỹ sư xây dựng bài đánh giá để kiểm tra xem AI có thể tạo ra các ca kiểm thử hữu ích và chẩn đoán chính xác lỗi chip hay không.
Song song với quá trình học hỏi đó, chúng tôi xây dựng các hệ thống điều khiển tùy chỉnh cho từng trường hợp ứng dụng. Trong 3–6 tháng đầu tiên, tất cả đều được đưa vào vận hành thực tế và bắt đầu có người dùng. Thành quả thể hiện qua các con số:
Tiết kiệm khoảng 48% thời gian nhờ tạo ca kiểm thử có định hướng bằng AI.
Mức cải thiện hiệu năng trung vị đạt 22% nhờ tối ưu hóa kernel.
Rút ngắn thời gian gỡ lỗi từ nhiều tuần xuống còn vài giờ
Khi chúng tôi trình bày lại toàn bộ kết quả, Giám đốc Phần cứng hỏi: “Trước khi đến đây, các bạn từng làm thiết kế chip rồi à?”
Các Kỹ sư triển khai trực tiếp của chúng tôi không cần am hiểu ngành ngay từ ngày đầu, nhưng họ có trách nhiệm học hỏi về ngành đó.
Khi các trợ lý lập trình giúp xây dựng phần mềm nhanh hơn, việc hiểu hoạt động kinh doanh của khách hàng càng trở nên quan trọng. Chúng tôi xây dựng đội ngũ kết hợp những người có kiến thức tổng hợp với các chuyên gia chuyên ngành.
Bạn cần đủ kiến thức để đưa ra nhận định đúng đắn, và đủ tò mò để chất vấn những giả định về cách mọi thứ đang vận hành.
Chẳng hạn, trong lĩnh vực khoa học sự sống, nền tảng khoa học giúp các Kỹ sư triển khai trực tiếp của chúng tôi tạo dựng niềm tin với những nhà nghiên cứu đang làm công việc khám phá thuốc tiền lâm sàng, như xác thực và ưu tiên mục tiêu, phân tích biểu hiện gen và tái dựng lộ trình tổng hợp hóa học. Chuyên môn đó giúp họ đóng góp những nhận định có cơ sở về cách cải thiện các quy trình này.
Chúng tôi đã chứng minh rằng các quy trình này có thể mang lại giá trị, nhưng để mở rộng sang một nhóm khác, mỗi quy trình vẫn đòi hỏi quá nhiều công việc tích hợp tùy chỉnh. Thách thức tiếp theo là duy trì những kết quả đó, đồng thời giúp phần mềm dễ triển khai và bảo trì hơn.
Đến lúc đó, năng lực của Codex đã được nâng cao. Một Kỹ sư triển khai trực tiếp thử xây dựng lại ứng dụng của mình xoay quanh Codex, rồi cùng nhóm chuyển các trường hợp ứng dụng sang một hệ thống điều khiển chung với Codex làm cốt lõi.
Các ứng dụng tùy chỉnh trở thành những plugin và kỹ năng được xây dựng trên các thành phần cơ bản dùng chung của Codex. Codex cũng trở thành giao diện sử dụng, cho phép chúng tôi loại bỏ các giao diện terminal và giao diện dòng lệnh riêng đã viết cho từng trường hợp ứng dụng.
Chúng tôi có thể loại bỏ khoảng 90% mã tùy chỉnh khỏi mỗi dự án. Điều này đã thay đổi cách chúng tôi xây dựng, bảo trì và mở rộng các quy trình:
Chúng tôi có thể hưởng lợi từ các cải tiến tập trung cho Codex, giảm lượng mã kết nối cần viết cho từng trường hợp ứng dụng
Các chức năng chính được đóng gói thành kỹ năng và plugin, giúp các nhóm dễ chia sẻ với nhau và giúp Trung tâm chuyên môn AI (AI CoE) quản lý tập trung. Nhờ vậy, việc mở rộng từ nhóm này sang nhóm khác có thể chỉ đơn giản là thay các trình kết nối/máy chủ MCP mới, xây dựng bộ bài đánh giá mới (chúng tôi cũng đã có kỹ năng hỗ trợ việc này), rồi đưa vào sử dụng.
Trong một trường hợp vào tháng 8 năm 2026, lần triển khai đầu tiên mất hai tháng. Việc mở rộng giải pháp sang nhóm thứ hai chỉ mất một ngày. Khi chúng tôi mở rộng quy mô, các nhóm tiếp theo bắt đầu sử dụng nhanh hơn. Xu hướng này vẫn tiếp diễn: với một trường hợp ứng dụng vào tháng 8 năm 2026, nhóm thứ hai chỉ mất 1 ngày để triển khai, trong khi lần triển khai đầu tiên mất 2 tháng.
Đó là một cách để khiến vai trò của chính chúng tôi không còn cần thiết. Những việc chúng tôi đã làm để đưa hệ thống vào vận hành thực tế giúp xác định điều gì thực sự quan trọng. Khi sản phẩm nền tảng được cải thiện, chúng tôi có thể thay thế phần lớn những gì đã triển khai riêng mà vẫn giữ được giá trị mang lại.
Đó là lý do thứ tự thực hiện rất quan trọng. LLM cho phép chúng ta xây dựng nhanh. Hãy tận dụng tốc độ đó để đưa một sản phẩm có giá trị đến tay người dùng, tìm hiểu điều gì thực sự hiệu quả trong thực tế, rồi mở rộng những gì đã chứng minh được hiệu quả.
Nguyên tắc này áp dụng cho mọi dự án hợp tác.
OpenAI Presence, sản phẩm của chúng tôi dành cho các đại lý trò chuyện và thoại doanh nghiệp, phát triển từ việc triển khai khách hàng thực sự. Công việc bắt đầu với Swarm(mở trong cửa sổ mới) và phát triển qua các giai đoạn sau.API dành cho các tác nhân, và hiện nay một khách hàng đã xử lý hơn một nửa số cuộc gọi của mình bằng trí tuệ nhân tạo.
Việc đưa những hệ thống đó vào sản xuất đã giúp chúng tôi hiểu được những vấn đề nào cần giải pháp tùy chỉnh và những khối cấu trúc nào mà các nhóm khác có thể sử dụng. Chúng tôi đã tích hợp những khối chức năng đó vào Presence, giúp các nhà phát triển dễ dàng tự động hóa các quy trình làm việc được quy định mà không cần phải xây dựng lại cơ sở hạ tầng bên dưới. Mỗi lần triển khai đều góp phần định hình sản phẩm và mang đến cho khách hàng tiếp theo một điểm khởi đầu tốt hơn.
Với Thrive Holdings, OpenAI FDE và các nhà nghiên cứu đã làm việc cùng với các kỹ sư và kế toán để xây dựng AI thuế cho các công ty kế toán của Crete. Trong quá trình thí điểm, Tax AI đã xử lý 7.000 tờ khai thuế và tăng thông lượng khoảng 50%.
Một trong những thách thức khó khăn nhất là tự động hóa việc báo cáo thu nhập từ bất động sản cho thuê, điều này đòi hỏi sáu tuần xem xét của các chuyên gia kỹ thuật và thực tiễn để đạt được độ chính xác và khả năng thu hồi 90%. Công trình này đã tạo ra các mẫu có thể tái sử dụng, giúp dễ dàng mở rộng ứng dụng Trí tuệ nhân tạo trong lĩnh vực thuế sang các biểu thuế phức tạp khác.
Các nhóm hiện đang áp dụng cùng một phương pháp cho công tác kế toán, kiểm toán và hỗ trợ CNTT—xây dựng các hệ thống được cải thiện thông qua phản hồi từ người sử dụng và kinh nghiệm thực tế.
Đôi khi, một sản phẩm tốt hơn cho phép chúng tôi đơn giản hóa những gì đã xây dựng, nhưng cũng có lúc chính mô hình vẫn chưa thể đáp ứng công việc.
Nếu chỉ xây dựng những gì các mô hình hiện nay đã làm được, chúng tôi sẽ không phát hiện ra những hạn chế về năng lực AI mà đội ngũ Nghiên cứu cần khắc phục tiếp theo. Vì vậy, nhiều dự án hợp tác quan trọng của chúng tôi bắt đầu ngay tại những giới hạn đó, với cam kết cùng vượt qua chúng từ khách hàng, đội ngũ Kỹ sư triển khai trực tiếp và đội ngũ Nghiên cứu.
Chúng tôi đã cùng một khách hàng lớn trong ngành viễn thông phát triển nền tảng chăm sóc khách hàng, và họ muốn mở rộng nền tảng này sang kênh thoại.
Kênh thoại chiếm khoảng 90% khối lượng yêu cầu chăm sóc khách hàng của họ. Việc xử lý trọn vẹn các yêu cầu này mà không cần chuyển cho nhân viên tốn kém hơn so với trò chuyện qua văn bản, đồng thời đặt ra nhiều thách thức kỹ thuật mới về giọng vùng miền, ngữ điệu, độ trễ và độ chính xác để đáp ứng tiêu chuẩn vận hành thực tế. Làm tốt việc này sẽ tạo ra khác biệt đáng kể cho hoạt động kinh doanh của họ.
Trong giai đoạn xác định phạm vi, mô hình của chúng tôi đạt khoảng 60% ở các bài đánh giá then chốt dùng để xác định liệu mô hình có thể đáp ứng công việc khi vận hành thực tế hay không. Chúng tôi đã chạm đến giới hạn năng lực của mô hình. Khả năng gọi hàm và tuân theo chỉ dẫn trong các tình huống chăm sóc khách hàng cần được cải thiện.
Chúng tôi giải thích điều đó với khách hàng và mời đội ngũ Nghiên cứu cùng tham gia. Đội ngũ Kỹ sư triển khai trực tiếp làm việc với khách hàng để xây dựng nền tảng và xác định những việc mô hình cần làm. Đội ngũ Nghiên cứu tập trung khắc phục những hạn chế về năng lực, liên tục cung cấp các phiên bản mô hình để chúng tôi kiểm tra tiến độ dựa trên yêu cầu của khách hàng.
Trong sáu tháng, kết quả ở các bài đánh giá then chốt tăng từ khoảng 60% lên 80%, rồi vượt 90%, đạt mức cần thiết để đưa vào vận hành thực tế.
Mô hình giọng nói được phát triển từ quá trình đó hiện hỗ trợ hệ thống của khách hàng này, các hệ thống chăm sóc khách hàng tùy chỉnh khác và các hệ thống triển khai được quản lý thông qua Presence. Một vấn đề phát sinh trong hoạt động của một khách hàng đã giúp xác định những cải tiến có thể phục vụ nhiều khách hàng khác.
Mỗi bên đều đóng vai trò quan trọng. Khách hàng cam kết cùng giải quyết một vấn đề mà mô hình chưa thể xử lý. Đội ngũ Kỹ sư triển khai trực tiếp bám sát công việc để xác định rõ vấn đề, xây dựng nền tảng và thúc đẩy dự án hợp tác từ đầu đến cuối. Đội ngũ Nghiên cứu cải thiện năng lực của mô hình nền tảng.
Đây là cách còn lại để khiến vai trò của chính chúng tôi không còn cần thiết: góp phần biến một vấn đề mà mô hình hiện nay chưa giải quyết được thành năng lực mà các mô hình tương lai có thể cung cấp. Giá trị từ công việc của chúng tôi vượt xa khoảng thời gian dành cho từng khách hàng.
Tôi gia nhập OpenAI để góp phần làm cho AI trở nên hữu ích trong công việc hằng ngày của mọi người. Điều đó vẫn là kim chỉ nam cho cả đội ngũ. Tôi thường nói với cả nhóm rằng trong phần lớn trường hợp khi phát triển LLM, nguyên lý dao cạo Occam vẫn đúng—giải pháp đơn giản nhất là giải pháp tốt nhất. Làm việc trong một công ty nổi bật nhờ nghiên cứu tiên phong, giữa một ngành bị phủ bóng bởi những lời thổi phồng, chúng tôi muốn xây dựng những thứ hoạt động ổn định để người dùng trong thực tế có thể tin cậy.
Mục tiêu là để mỗi dự án hợp tác tạo tiền đề tốt hơn cho bước tiếp theo: một sản phẩm dễ triển khai hơn, một mô hình xử lý được nhiệm vụ khó hơn, hoặc bớt công việc tùy chỉnh cho khách hàng tiếp theo.
Nếu bạn có một bài toán khó muốn giải quyết, chúng tôi rất mong được hợp tác cùng bạn. Nếu bạn muốn góp sức giải quyết những bài toán đó, chúng tôi rất mong bạn gia nhập đội ngũ.
Vậy chúng tôi sẽ làm gì khi Codex có thể đảm nhận công việc mà chúng tôi đã mất nhiều tháng để xây dựng?
Hãy tìm bài toán khó hơn.
