Tăng tốc nghiên cứu: Góc nhìn từ bên trong OpenAI

Chúng tôi tin rằng để mang lại lợi ích cho toàn nhân loại, AGI phải được quản trị dân chủ. Điều này đòi hỏi thảo luận công khai, có đầy đủ thông tin về năng lực, rủi ro và biện pháp bảo vệ của AI mạnh. Mọi người cần hiểu hướng phát triển khả dĩ của AI tiên phong để có tiếng nói thực chất trong tiến trình đó.

Minh bạch về rủi ro, sự cố và biện pháp bảo vệ cụ thể là cần thiết, nhưng chưa đủ. Công chúng cũng cần hiểu các hệ thống mạnh nhất đang phát triển và thúc đẩy nghiên cứu ra sao trong các phòng thí nghiệm tiên phong.

Chúng tôi hướng tới xây dựng an toàn một nhà nghiên cứu AI tự động, dưới sự giám sát của con người, để cải tiến học sâu và căn chỉnh qua từng vòng lặp. Theo đo lường, chúng tôi đã đạt mục tiêu có thực tập sinh nghiên cứu tự động vào tháng 9 năm nay, từng công bố⁠(mở trong cửa sổ mới) mùa thu năm ngoái. “Thực tập sinh nghiên cứu” là hệ thống làm tác vụ nghiên cứu được xác định rõ theo chỉ đạo của con người, kể cả việc chuyên gia cần vài ngày. Chúng tôi đang tiến nhanh tới mục tiêu tạo nhà nghiên cứu AI tự động vào tháng 3/2028.

Năm nay, công việc hằng ngày của các nhà nghiên cứu OpenAI đã thay đổi đáng kể. Họ dùng tác nhân lập trình suốt ngày, thường ở nhiều phiên đồng thời; tổng mức sử dụng tăng nhanh hơn các nhóm khác tại OpenAI. Họ đóng góp mã nhanh hơn và chạy nhiều thí nghiệm hơn. Cách dùng cũng thay đổi: tác nhân xử lý tác vụ ngày càng phức tạp và thành công thường xuyên hơn. Nghiên cứu AI phức tạp, có nhiều nút thắt tiềm ẩn, nên tốc độ tiến bộ chung có lẽ sẽ không theo kịp các chỉ số riêng này. Nhìn chung, kết quả phù hợp với cảm nhận của nhiều người trong công ty rằng công cụ tác nhân đang tăng tốc nghiên cứu rõ rệt. Con người vẫn đặt ưu tiên, chọn ý tưởng và kết quả để theo đuổi, quyết định mở rộng, tạm dừng hay triển khai hệ thống.

Chúng tôi tin nghiên cứu AI tự động có trách nhiệm sẽ tạo mô hình trực tiếp nâng cao phúc lợi con người và thúc đẩy sứ mệnh OpenAI. Nó có thể giảm chi phí tiếp cận trí tuệ tiên tiến để mọi người trên thế giới hưởng lợi. Một lý do chúng tôi theo đuổi việc này là nghiên cứu tự động có thể giúp giải bài toán căn chỉnh và xây dựng phòng vệ trước AI mạnh hơn. Nhà nghiên cứu AI tự động cũng có thể nghiên cứu an toàn hoặc căn chỉnh. Hệ thống mạnh hơn, được căn chỉnh có thể bảo vệ hạ tầng trọng yếu, chống tác nhân AI nguy hiểm và phát triển biện pháp bảo vệ mới.

Đó là lý do phát triển năng lực nghiên cứu tự động hữu ích, nhưng không có nghĩa RSI nhanh chóng nhất thiết là mục tiêu nên theo đuổi. Có nên và nên tiến hành ra sao phải tùy vào khả năng giữ quyền kiểm soát của con người cùng lựa chọn dân chủ, có đủ thông tin về lợi ích và rủi ro.

Chúng tôi chưa biết cách đạt RSI toàn diện, được căn chỉnh một cách an toàn. Chúng tôi đang mở rộng biện pháp căn chỉnh và an toàn song song với năng lực. Nhưng không thể mặc định căn chỉnh và an toàn sẽ theo kịp; hệ thống mạnh hơn có thể khó giám sát hơn. Căn chỉnh và an toàn kỹ lưỡng là trọng tâm, bắt đầu từ đo lường và giảm thiểu vấn đề an toàn hiện có trong hệ thống lập trình tác nhân. Nếu tiếp tục gây rủi ro an toàn không thể chấp nhận, chúng tôi sẽ ứng phó, kể cả giảm tốc hoặc dừng phát triển hay triển khai hệ thống không thể bảo vệ đầy đủ.

Sau sự cố Hugging Face, chúng tôi thực hiện cam kết này⁠: tạm dừng huấn luyện học tăng cường (RL) trên mô hình mới nhất dự kiến triển khai để tăng bảo mật, kiểm thử đối kháng môi trường nghiên cứu và mở rộng giám sát. Không phải mọi nghiên cứu đều dừng: một số công việc được tiếp tục với kiểm soát chặt hơn, số khác vẫn tạm dừng. Chúng tôi nâng tiêu chuẩn an toàn, căn chỉnh và tích hợp sâu hơn vào vòng đời mô hình, đòi hỏi bằng chứng vững hơn về hành vi phù hợp suốt quá trình huấn luyện.

Hôm nay, chúng tôi trình bày chi tiết cách hệ thống tác nhân đóng góp vào tiến trình hướng tới RSI những tháng qua. Hệ thống tác nhân còn mới và thay đổi nhanh; việc đo lường của chúng tôi vẫn sơ bộ. Chia sẻ kết quả và phương pháp ban đầu nhằm cung cấp thông tin cho công chúng, khuyến khích công khai và giúp ngành tiến tới chuẩn đo lường chung.

Như đã nêu trong đề cương chính sách AI tiên phong⁠, chúng tôi tin các công ty, gồm cả OpenAI, nên bắt buộc công khai theo dõi tiến trình hướng tới RSI. Ngay cả khi chưa bắt buộc, chúng tôi vẫn dự định minh bạch về tiến trình RSI. Cách minh bạch sẽ tiến triển theo kỹ thuật đo lường và hiểu biết, đồng thời cân bằng nhu cầu bảo mật và bảo vệ thông tin độc quyền.

Đầu năm, nhà nghiên cứu ở trung vị khi xếp theo mức sử dụng tác nhân tại OpenAI chỉ dùng tác nhân lập trình ở mức khiêm tốn. Đến giữa tháng 8, người ở trung vị dùng tác nhân hằng ngày, với lượng suy diễn trị giá hơn 600 USD/ngày theo giá API. Người dùng ở phân vị 90 trong bộ phận nghiên cứu hiện dùng hơn 7.000 USD token mỗi ngày.

Trước tháng 6/2026, tổng thời gian chạy tác nhân trong bộ phận nghiên cứu vẫn thấp hơn tổng thời gian lao động của con người. Nay điều đó đã thay đổi. Quy đổi theo ngày làm việc 8 giờ, đến giữa tháng 8, cả bộ phận nghiên cứu dùng 3,1 ngày công tác nhân cho mỗi ngày công con người.

Cách nhìn khác là xem bao nhiêu nhà nghiên cứu dùng quy trình đồng thời cao, như chạy từ 4 tác nhân cùng lúc. Như dưới đây, con số này đang tăng. Số liệu gồm mức đỉnh hằng ngày của cả tác nhân do người dùng khởi chạy trực tiếp và tác nhân con được tạo từ chúng.

Phần lớn nghiên cứu AI là quá trình tốn công để tích hợp cải tiến về trí tuệ hoặc hiệu suất vào mô hình cốt lõi. Năng lực chỉ tiến bộ khi mọi bước đều tốt: thiết kế cải tiến, viết đánh giá hiệu suất và hạ tầng kiểm thử quy mô lớn, phát hiện lỗi và hành vi thiếu an toàn hoặc lệch chuẩn khi huấn luyện, rồi tích hợp ý tưởng tốt vào lượt huấn luyện cốt lõi. Thất bại ở bất kỳ bước nào cũng có thể kìm hãm cả chu trình.

Viết mã và chạy thí nghiệm là hai hoạt động chính; chúng tôi thấy bằng chứng cả hai đang tăng tốc.

Các chỉ số này khá dễ đo nhưng có thể khó diễn giải. Khi tự động hóa tiến bộ, tác vụ khó tự động hóa nhất sẽ chiếm nhiều công sức hơn và thành nút thắt quan trọng. Tài nguyên tính toán cũng giới hạn tiến bộ, và có thể càng quan trọng khi các nút thắt khác giảm.

Năm 2026, số thí nghiệm trên mỗi người đang làm thí nghiệm tăng; tháng 8 đạt đỉnh kể từ khi theo dõi vào tháng 1/2025. Điều này tương quan với việc dùng Codex tăng, dù tài nguyên tính toán cũng tăng đáng kể từ 2025.

Cảm nhận định tính và dữ liệu nội bộ đều cho thấy nhà nghiên cứu ngày càng giao tác vụ cấp cao hơn, dài hơn cho tác nhân lập trình.

Để hiểu rõ xu hướng, chúng tôi phân tích mức sử dụng gần đây trong bộ phận nghiên cứu bằng hệ phân loại mới công bố⁠(mở trong cửa sổ mới) của Epoch AI về công việc trong vòng đời R&D AI. Lấy cảm hứng từ hệ thống phân loại công việc O*NET lâu đời, hệ này dành riêng cho R&D AI tiên phong, gồm sáu giai đoạn:

1. Quyết định: làm gì, tiếp tục gì, phân bổ nguồn lực ở đâu

2. Thiết kế: ý tưởng nghiên cứu và đặc tả kỹ thuật

3. Xây dựng: mã và bộ dữ liệu

4. Vận hành: huấn luyện/đánh giá, phần cứng, phục vụ mô hình

5. Phân tích: thí nghiệm, mô hình, triển khai, công trình bên ngoài

6. Trao đổi: kết quả, phản hồi, trạng thái, quyết định

Dưới đây, chúng tôi phân loại token của tác nhân lập trình theo hệ này.

Mọi nhóm hoạt động nghiên cứu đều tăng từ tháng 1 đến tháng 8/2026. Tháng 1, mã nghiên cứu và hạ tầng chiếm ưu thế. Nhóm này đã mở rộng, nhưng các nhóm khác cũng tăng rõ rệt, nhất là hỗ trợ kỹ thuật và giám sát lượt chạy. Lập kế hoạch cấp cao vẫn chiếm phần rất nhỏ trong token đầu ra của tác nhân.

Đồng nghiệp cho biết tác nhân lập trình xử lý tốt sự cố hạ tầng nghiên cứu nội bộ, tháo gỡ một nút thắt đáng kể. Nhiều nhóm từng tổ chức giờ hỗ trợ khắc phục sự cố thí nghiệm thấy số người tham dự giảm năm 2026; một nhóm đã ngừng hẳn để tập trung cải tiến hệ thống.

Biểu đồ thể hiện số bài đăng gốc mỗi ngày ở một kênh nội bộ chính, nơi nhà nghiên cứu nhờ nhóm khác hỗ trợ kỹ thuật. Theo chúng tôi biết, mức giảm hoạt động này không được bù bằng việc chuyển câu hỏi sang kênh hỗ trợ kỹ thuật khác do con người phụ trách. Lượng trao đổi giảm phù hợp với chuyển dịch rộng hơn này.

Chúng tôi cũng có thể xem tác nhân lập trình có hoàn thành tác vụ được giao hay không. Bộ phân loại tác nhân cho thấy từ tháng 1 đến tháng 7, tỷ lệ thành công nhìn chung tăng ở nhiều nhóm độ khó (ước qua thời gian con người cần), với tác vụ xác định được kết quả thực tế. Tuy nhiên, tác nhân vẫn cần con người định hướng đáng kể để thành công, nhất là khi tác vụ phức tạp hơn. Trong 6 tháng qua, hơn nửa số tác vụ 4–8 giờ thành công cần ít nhất 1 lần can thiệp.

Tiến trình xây dựng các hệ thống mạnh hơn để hướng tới AGI an toàn và có lợi cũng sẽ phụ thuộc vào các biện pháp bảo vệ cần thiết cho công việc này. Đánh giá của chúng tôi về các biện pháp bảo vệ cần thiết có thể thay đổi khi chúng tôi hiểu rõ hơn về rủi ro.

Như đã trình bày,⁠ gần đây chúng tôi đã cập nhật các tiêu chuẩn về giám sát, căn chỉnh và bảo mật. Ở đây, chúng tôi cho thấy các hạn chế gần đây đã ảnh hưởng thế nào đến một khía cạnh của hoạt động nghiên cứu.

Ngày 20/7, sau khi phát hiện các tác nhân đã xâm nhập hạ tầng nghiên cứu, chúng tôi tạm ngừng dịch vụ container dùng cho huấn luyện, rồi khôi phục dịch vụ với nhiều hạn chế bổ sung đáng kể.

Điều này khiến tài nguyên tính toán dành cho huấn luyện RL giảm mạnh trong lúc các nhóm cấu hình lại quy trình làm việc để hoạt động trong môi trường nghiên cứu đã được tăng cường bảo mật. Biểu đồ trên bao gồm giai đoạn tạm dừng học tăng cường trong hai tuần đối với các mô hình mới nhất dự kiến triển khai của chúng tôi. Trong các thí nghiệm RL thuộc lớp Astra từ 20/7 đến 6/8, phần lớn lượt chạy (tính theo GPU được phân bổ) nhằm kiểm thử việc triển khai các cải tiến về an toàn và bảo mật.

Ngày 7/8, bằng chứng ban đầu cho thấy Astra có thể có năng lực mạng ở mức nghiêm trọng⁠ theo Khung chuẩn bị⁠(mở trong cửa sổ mới) của chúng tôi đã dẫn đến các hạn chế bảo mật bổ sung dành riêng cho mô hình, yêu cầu chạy Astra trong môi trường nghiên cứu có mức bảo mật cao hơn. Trong tuần tiếp theo, lượng GPU phân bổ cho lớp Astra giảm thêm 59,2%, nhưng lượng phân bổ cho các lớp mô hình khác tăng 17,2%. Mức tăng đó bù đắp khoảng 85% mức giảm của lớp Astra, khiến tổng lượng phân bổ cho các khối lượng công việc RL được phân tích hầu như không đổi. Xu hướng này phù hợp với việc chuyển một phần hoạt động huấn luyện và thử nghiệm sang các mô hình ngoài Astra khi công việc liên quan đến Astra bị hạn chế. Nó cũng phù hợp với các ghi nhận không chính thức rằng nhà nghiên cứu đã tìm cách dùng khác cho tài nguyên tính toán không còn được phép phục vụ những khối lượng công việc chịu ràng buộc mới.

Dữ liệu này cung cấp tín hiệu hữu ích cho các cuộc thảo luận đang diễn ra về huấn luyện và an toàn: Khi áp dụng biện pháp kiểm soát mới, tài nguyên tính toán vẫn có giá trị và tính linh hoạt, nên sẽ tự nhiên được chuyển sang các mục đích khác trong hoạt động nghiên cứu. Về lâu dài, thảo luận về tốc độ tiến bộ AI cũng nên mở rộng sang câu hỏi làm thế nào để sử dụng tốt nhất tài nguyên tính toán chịu các biện pháp kiểm soát mới hoặc đang được đề xuất.

Thúc đẩy và hiểu rõ tiến trình hướng tới RSI được căn chỉnh là điều quan trọng đối với sứ mệnh của chúng tôi. Chúng tôi sẽ tiếp tục hoàn thiện phương pháp, báo cáo những hiểu biết mới và hướng tới thảo luận công khai có đầy đủ thông tin cùng cơ chế quản trị dân chủ thực chất đối với các hệ thống tiên phong.

Nghiên cứu AI với sự hỗ trợ của tác nhân vẫn còn mới, và chúng tôi vẫn đang tìm hiểu cách đo lường hoạt động này. Một số chỉ báo, như lượng mã các nhóm nghiên cứu tạo ra, tương đối dễ thu thập nhưng khó diễn giải vì mối liên hệ với tiến bộ nghiên cứu chưa rõ ràng. Các chỉ số tập trung trực tiếp hơn vào tiến bộ nghiên cứu — như tần suất tác nhân hoàn thành tác vụ được nhà nghiên cứu giao — có thể hữu ích hơn, nhưng việc xây dựng và kiểm định chúng lại phức tạp. Khó khăn còn tăng thêm khi các công cụ và hệ thống mà nhà nghiên cứu sử dụng đang phát triển nhanh chóng. Hiểu sâu hơn về việc tăng tốc nghiên cứu là một trọng tâm quan trọng trên toàn OpenAI.

Trong các phân tích này, trừ khi có ghi chú khác:

• “Nhà nghiên cứu” là thuật ngữ rộng chỉ mọi thành viên bộ phận nghiên cứu, gồm cả một số người xây dựng hạ tầng nghiên cứu, quản lý dự án hoặc hỗ trợ hoạt động theo cách khác.

• Các chỉ số sử dụng tác nhân lập trình bao quát phần lớn, nhưng không phải toàn bộ mức sử dụng, do công cụ và hệ thống mà nhà nghiên cứu sử dụng đang thay đổi nhanh chóng.