OpenAI

Quản lý rủi ro AI tiên phong: Từ huấn luyện đến triển khai

Ngày 18 tháng 11 năm 2026 · An toàn

Năng lực của mô hình tiên phong đang tăng nhanh, và khả năng hiểu, căn chỉnh cũng như bảo vệ mô hình của chúng tôi phải luôn đi trước. Chúng tôi đang điều tiết nhịp độ phát triển và phát hành mô hình, bao gồm tạm dừng huấn luyện nội bộ⁠(mở trong cửa sổ mới) hoặc hoãn phát hành các mô hình như GPT‑6.1 Astra khi cần thêm thời gian để đáp ứng tiêu chuẩn an toàn. Chúng tôi đã áp dụng quy trình mới như hồ sơ lập luận an toàn, đồng thời yêu cầu bằng chứng vững chắc hơn về hành vi đã được căn chỉnh trong suốt quá trình huấn luyện. Những yêu cầu này làm chậm tiến độ phát hành mô hình, nhưng giúp chúng tôi tự tin hơn để tiến bước an toàn.

Kể từ sự cố Hugging Face⁠ vào tháng 7, chúng tôi đã tăng cường biện pháp bảo vệ và yêu cầu căn chỉnh trong huấn luyện, kiểm thử và triển khai mô hình. Bài viết này giải thích cách chúng tôi đánh giá và quản lý rủi ro ở từng giai đoạn, từ môi trường huấn luyện được cô lập nghiêm ngặt đến Codex mà bạn dùng trên máy tính. Ở mỗi giai đoạn, chúng tôi đánh giá cả mô hình lẫn biện pháp bảo vệ, và yêu cầu rà soát an toàn trước khi chuyển sang giai đoạn tiếp theo.

Phòng thủ theo chiều sâu trong suốt vòng đời mô hình

Chúng tôi áp dụng phòng thủ theo chiều sâu, dùng nhiều lớp bảo vệ để giảm sự phụ thuộc vào bất kỳ biện pháp bảo vệ riêng lẻ nào. Nếu một lớp thất bại, các lớp khác giúp ngăn tác hại, hạn chế hậu quả hoặc cảnh báo để chúng tôi can thiệp.

Chúng tôi tổ chức các biện pháp bảo vệ thành bốn lớp:

Giám sát hiệu quả phụ thuộc vào khả năng giám sát mô hình, tức mức độ tin cậy mà hệ thống giám sát có thể phát hiện lỗi hoặc hành vi không an toàn từ suy luận và hành động của mô hình. Ví dụ, mô hình thể hiện ý định gian lận bằng lời trong chuỗi tư duy (CoT) dễ giám sát hơn mô hình không nêu thông tin này. Chúng tôi đánh giá khả năng giám sát trong huấn luyện và trước triển khai, phát triển phương pháp đo lường⁠(mở trong cửa sổ mới) tốt hơn, đồng thời nghiên cứu các yếu tố ảnh hưởng⁠(mở trong cửa sổ mới).

Sự cố Hugging Face cho thấy không nên chỉ dựa vào môi trường cô lập để kiềm chế các mô hình có năng lực cao. Hiện chúng tôi giám sát mô hình tiên phong trong hầu hết môi trường triển khai nội bộ và bên ngoài, bao gồm mọi triển khai nội bộ có dùng công cụ.

Vai trò của mỗi lớp thay đổi qua ba giai đoạn phát triển và triển khai mô hình:

  • Nghiên cứu: Chúng tôi huấn luyện, kiểm thử và sử dụng mô hình trong môi trường cô lập.

  • Triển khai nội bộ: Nhân viên OpenAI dùng mô hình cho công việc thực tế.

  • Triển khai bên ngoài: Mô hình được cung cấp rộng rãi hơn cho cá nhân và tổ chức.

Ở mỗi giai đoạn, chúng tôi dựa vào các lớp khác nhau. Trong huấn luyện, khi mức độ căn chỉnh còn chưa chắc chắn, chúng tôi dựa nhiều hơn vào việc cô lập và giám sát. Khi mô hình được cấp quyền truy cập rộng hơn trong triển khai, việc căn chỉnh và kiểm soát cấp hệ thống ngày càng quan trọng. Ở mỗi giai đoạn, chúng tôi đánh giá liệu các biện pháp bảo vệ kết hợp có đủ đáp ứng năng lực và quyền truy cập của mô hình hay không. Các kết luận có thể được xem xét cùng Nhóm cố vấn an toàn và chịu sự giám sát của Uỷ ban An toàn và An ninh thuộc Hội đồng quản trị OpenAI Foundation.

Trong nghiên cứu: giữ mô hình trong môi trường cô lập

Trong giai đoạn nghiên cứu, chúng tôi đánh giá mô hình để củng cố sự tin tưởng vào các đặc tính căn chỉnh của mô hình. Vì chưa thể hoàn toàn dựa vào căn chỉnh để ngăn tác hại, chúng tôi phụ thuộc nhiều vào bảo mật và cô lập để hạn chế những gì mô hình có thể truy cập và thực hiện.

Dựa trên hiện trạng nghiên cứu căn chỉnh, hệ thống giám sát và bảo mật hạ tầng internet, chúng tôi tin rằng cách tiếp cận có trách nhiệm là huấn luyện mô hình tiên phong mà không cho truy cập internet trực tiếp. Sau sự cố Hugging Face, chúng tôi đã tái cấu trúc đáng kể hệ thống nghiên cứu nội bộ để kiềm chế mô hình bằng:

  • môi trường cô lập hạn chế quyền của mô hình

  • máy ảo để tách biệt hơn nữa tác vụ với máy tính nền

  • vành đai mạng và đám mây ngắt toàn bộ cụm máy khỏi internet

Chúng tôi liên tục kiểm thử đội đỏ (red team) hệ thống này bằng các nhóm mô hình mạnh nhất, cho các mô hình đó thử truy cập internet trực tiếp, vượt ranh giới bảo mật hoặc liên lạc với các tác nhân mà lẽ ra mô hình phải được cách ly. Qua đó, chúng tôi kiểm tra liệu biện pháp kiềm chế có đứng vững trước năng lực của chính các mô hình cần bị hạn chế hay không.

Để bổ sung một lớp phòng vệ, chúng tôi giám sát mọi lượt suy luận của mô hình tiên phong nhằm phát hiện việc vượt qua các ràng buộc bảo mật bất biến. Nếu phát hiện mô hình đã truy cập internet, hệ thống giám sát sẽ gửi cảnh báo khẩn cho đội bảo mật và tự động tạm dừng tác vụ.

Giám sát là chốt chặn quan trọng khi biện pháp kiềm chế thất bại. Trong một báo cáo về sai lệch gần đây, chúng tôi chia sẻ rằng hệ thống giám sát đã phát hiện mô hình nghiên cứu nội bộ khai thác cấu hình DNS sai⁠(mở trong cửa sổ mới) để có quyền truy cập internet hạn chế. Chúng tôi đã tạm dừng huấn luyện và đánh giá các mô hình mạnh nhất từ ngày 20 tháng 9 đến ngày 1 tháng 10 để điều tra và khắc phục lỗ hổng bảo mật.

Để can thiệp nhanh và đáng tin cậy, chúng tôi xây dựng Control Room⁠, hệ thống trung tâm theo dõi tác vụ nghiên cứu và ngừng mọi đầu ra mới của mô hình trong vòng 35 giây sau khi nhận lệnh dừng tác vụ. Các biện pháp kiểm soát này được thực thi ngay trong hạ tầng suy luận, nên không phụ thuộc vào cơ chế dừng riêng của từng tác vụ nghiên cứu. Với tác vụ nghiên cứu mô hình tiên phong, các biện pháp này cũng ngừng đầu ra của mô hình nếu Control Room không còn khả dụng.

Kiểm thử đội đỏ (red team) và giám sát bổ trợ cho nhau. Chúng tôi không thể bảo đảm môi trường cô lập là bất khả xâm phạm, nhưng kiểm thử đội đỏ (red team) giúp đánh giá mô hình phải nỗ lực đến mức nào để thoát ra. Mô hình càng cần nhiều nỗ lực, hệ thống giám sát càng có nhiều cơ hội phát hiện và ngăn chặn.

Chúng tôi bắt buộc áp dụng kiểm soát bảo mật và giám sát nghiêm ngặt ở giai đoạn nghiên cứu vì một số lý do:

  • Các mô hình vẫn đang được đánh giá. Một số mô hình chưa hoàn tất quy trình huấn luyện an toàn, kiểm toán căn chỉnh và rà soát bắt buộc trước khi phát hành công khai.

  • Môi trường nghiên cứu tiên phong có thể làm tăng rủi ro. Một số nhiệm vụ nghiên cứu đòi hỏi cấu hình tham vọng hơn, giúp mô hình hoạt động bền bỉ hơn hoặc có năng lực cao hơn so với khi triển khai bên ngoài (ví dụ: cần một nhóm 10.000 tác nhân để giải bài toán Navier Stokes).

  • Huấn luyện diễn ra ở quy mô lớn với ít sự giám sát trực tiếp của con người hơn. Khác với một phiên Codex thông thường, các tác vụ huấn luyện của chúng tôi bao gồm rất nhiều hành động của mô hình mà không có người theo dõi từng tương tác.

Triển khai nội bộ: kiểm thử căn chỉnh, giám sát chặt chẽ hành vi

Trước khi phát hành rộng rãi, nhân viên chuyển từ dùng mô hình tiên phong trong môi trường nghiên cứu cô lập sang sử dụng nội bộ ngoài môi trường cô lập, chẳng hạn cho phép nhân viên truy cập mô hình trong ChatGPT. Điều này giúp chúng tôi hiểu rõ hơn cách mô hình hoạt động trong thực tế⁠(mở trong cửa sổ mới), làm cơ sở cho các quyết định triển khai.

Trong giai đoạn này, chúng tôi cho mô hình quyền truy cập internet rộng hơn, Slack, cơ sở mã và hạ tầng nội bộ. Đây là thay đổi đáng kể về rủi ro, vì hành động của mô hình lúc này tác động trực tiếp đến các hệ thống dùng để xây dựng và vận hành OpenAI. Khi triển khai nội bộ, chúng tôi cần dựa nhiều hơn vào việc căn chỉnh mô hình, các biện pháp bảo vệ hệ thống và giám sát, thay vì các biện pháp kiểm soát bảo mật.

Trước khi được triển khai ngoài môi trường cô lập, mô hình tiên phong phải trải qua kiểm thử căn chỉnh và khả năng giám sát⁠(mở trong cửa sổ mới). Bộ đánh giá căn chỉnh của chúng tôi kiểm tra cả những dạng sai lệch cụ thể (như lách hạn chế về an toàn và bảo mật) lẫn xu hướng hành vi tổng thể (như lấy mẫu lại các chuỗi hoạt động Codex nội bộ để kiểm tra dấu hiệu sai lệch). Bạn có thể tìm hiểu thêm về các đánh giá căn chỉnh và khả năng giám sát trong thẻ hệ thống GPT‑6 Astra⁠(mở trong cửa sổ mới) mới nhất.

Tương tự cấu hình vận hành thực tế, chúng tôi bổ sung một lớp phòng vệ bằng các bộ phân loại cấp hệ thống, được thiết kế để ngăn tác hại từ năng lực tiên phong, như lạm dụng mạng và chế tạo vũ khí sinh học. Chúng tôi cũng thường yêu cầu nhân viên dùng Codex phải bật Tự động rà soát⁠(mở trong cửa sổ mới), tính năng đánh giá hành động tiềm ẩn rủi ro và chuyển lại cho người dùng xem xét.

Cuối cùng, chúng tôi giám sát hành vi sai lệch trong mọi lượt suy luận của mô hình tiên phong khi triển khai nội bộ. Vì mô hình lúc này có quyền hạn rộng hơn và được truy cập thông tin, hệ thống nội bộ, việc phát hiện các rủi ro như tuồn dữ liệu, tức gửi dữ liệu nhạy cảm đến nơi không được phép, trở nên đặc biệt quan trọng. Giám sát cũng giúp chúng tôi điều tra những dạng sai lệch mới⁠(mở trong cửa sổ mới).

Triển khai bên ngoài: ngăn chặn lạm dụng và sai lệch trên quy mô lớn

Triển khai công khai đưa mô hình đến với nhiều người dùng, nhiệm vụ và môi trường hơn hẳn, làm tăng cả quy mô lẫn sự đa dạng của rủi ro. Ở giai đoạn này, chúng tôi còn cần đề phòng những bên có thể có ý đồ xấu, cố tình chỉ đạo mô hình gây hại.

Trước khi phát hành công khai, mô hình và các biện pháp bảo vệ hệ thống phải đáp ứng yêu cầu an toàn của chúng tôi về triển khai bên ngoài. Chúng tôi đánh giá thông qua:

  • Thực hiện bộ đánh giá căn chỉnh và an toàn rộng hơn. Với mô hình tiên phong, quy trình này bao gồm các vòng kiểm thử thích ứng⁠ mới bằng hệ thống kiểm thử đội đỏ (red team) tự động nội bộ, nhằm thử thách độ vững chắc của mô hình. Chúng tôi công bố kết quả đánh giá năng lực và an toàn trong các thẻ hệ thống⁠(mở trong cửa sổ mới).

  • Với những mô hình mạnh nhất, chúng tôi còn kiểm thử cùng bên thứ ba để thử thách cả biện pháp chống lạm dụng lẫn nền tảng căn chỉnh của mô hình.

  • Xem xét các cảnh báo giám sát từ giai đoạn triển khai nội bộ để theo dõi mọi thay đổi trong nền tảng căn chỉnh của mô hình cơ sở.

Ngoài các biện pháp bảo vệ “đồng bộ” (như huấn luyện an toàn và bộ phân loại hệ thống), khi triển khai bên ngoài, chúng tôi còn điều tra và thực thi chính sách ngoài luồng xử lý trực tiếp. Các nhóm này kết hợp tác nhân điều tra trên quy mô lớn với rà soát của con người để phát hiện, xác định các bên có thể gây nguy hại, từ lạm dụng mạng, chế tạo vũ khí sinh học, chưng cất mô hình⁠ đến hành vi sai lệch của chính mô hình. Thực thi chính sách ngoài luồng đặc biệt hữu ích để thu thập thông tin trên nhiều tài khoản, từ đó có cái nhìn toàn diện hơn về mối đe dọa tiềm tàng.

Các chương trình truy cập đáng tin cậy như Daybreak và Rosalind⁠ bổ sung một lớp bảo mật, giúp các bên phòng thủ và nhà nghiên cứu chính đáng tiến nhanh hơn, đồng thời hạn chế quyền truy cập của những bên có khả năng tấn công.

Ứng phó và công bố sự cố

Khi phát hiện một lớp an toàn không hoạt động như yêu cầu, dù đã gây hại hay chưa, chúng tôi muốn nhanh chóng điều tra, phân loại mức độ ưu tiên và công bố ra bên ngoài nếu có thể và phù hợp. Theo chính sách báo cáo về sai lệch⁠, mọi nhân viên đều có thể đề xuất công bố một sự cố. Những báo cáo này sẽ được điều tra. Nếu có bất đồng về việc công bố ra bên ngoài, quyết định sẽ được chuyển lên Nhóm cố vấn an toàn. Ngoài báo cáo của nhân viên, chúng tôi còn chủ động tìm kiếm sự cố sai lệch để xử lý và chia sẻ kết quả.

Bạn có thể xem các báo cáo về sai lệch của chúng tôi tại đây⁠(mở trong cửa sổ mới).

​


​

Công việc này phụ thuộc cả vào tiến bộ nghiên cứu lẫn kỷ luật vận hành: cấu hình đúng các biện pháp kiểm soát, kiểm thử cách các biện pháp đó tương tác và ứng phó quyết đoán khi có biện pháp thất bại. Một dịch vụ mạng cấu hình sai hoặc cơ chế tự động dừng bị lỗi có thể làm suy yếu các biện pháp bảo vệ vốn rất vững chắc.

Khi mô hình có thêm năng lực mới, chúng tôi phải tiếp tục kiểm chứng các giả định làm cơ sở cho biện pháp bảo vệ và cải thiện khi cần. Bài học từ nghiên cứu, sử dụng nội bộ và triển khai công khai phải định hướng cách chúng tôi huấn luyện, đánh giá và triển khai các mô hình tiếp theo.

Chúng tôi sẽ tiếp tục chia sẻ kết quả qua thẻ hệ thống, báo cáo sự cố, báo cáo rủi ro⁠(mở trong cửa sổ mới) triển khai nội bộ và đánh giá bên ngoài⁠ để mọi người có thể xem xét kỹ cách tiếp cận của chúng tôi, kể cả các hạn chế. Khi bằng chứng chưa đạt chuẩn an toàn đã đặt ra, chúng tôi sẽ lại tạm dừng huấn luyện hoặc hoãn phát hành cho đến khi đáp ứng các yêu cầu.

Nghiên cứu và tài nguyên liên quan

Thiết lập tiêu chuẩn an toàn

Xác định và đánh giá hành vi đã được căn chỉnh

Kiềm chế mô hình và cải thiện biện pháp bảo vệ

Ứng phó và công bố sự cố

Tiến bộ nghiên cứu và ứng dụng

  • Tăng tốc nghiên cứu: Góc nhìn từ bên trong OpenAI — Bằng chứng ban đầu về cách tác nhân lập trình thay đổi nghiên cứu tại OpenAI: mức sử dụng tăng, nhiệm vụ phức tạp hơn và tác động đến thử nghiệm.

  • Về bài toán Thiên niên kỷ Navier–Stokes — Chứng minh toán học do hệ thống AI nội bộ tạo ra, kèm bản hình thức hóa bằng Lean, minh họa năng lực của triển khai nghiên cứu quy mô lớn.

  • Daybreak — Chương trình an ninh mạng cung cấp năng lực AI tiên tiến, công cụ bảo mật và hỗ trợ cho các bên phòng thủ đã được thẩm định để tìm lỗ hổng, củng cố phòng vệ.

  • Giới thiệu GPT‑Rosalind cho nghiên cứu khoa học sự sống⁠ — Mô hình chuyên về sinh học, khám phá thuốc và y học chuyển giao, dành cho tổ chức đủ điều kiện qua chương trình truy cập đáng tin cậy.