Giới thiệu về gpt-oss

Chúng tôi đang triển khai gpt-oss-120b và gpt-oss-20b - hai mô hình ngôn ngữ tiên tiến có trọng số mở, giúp mang lại hiệu suất thực tế mạnh mẽ với chi phí thấp. Được phát hành theo giấy phép Apache 2.0 linh hoạt, các mô hình này vượt trội hơn so với các open model cùng kích thước trong quá trình thực hiện các nhiệm vụ lập luận, thể hiện khả năng sử dụng công cụ mạnh mẽ, và được tối ưu hóa để triển khai hiệu quả trên phần cứng của người dùng. Các mô hình này được huấn luyện bằng cách học tập tăng cường và kết hợp các kỹ thuật được xây dựng dựa trên các mô hình nội bộ tiên tiến nhất của OpenAI, bao gồm o3 và các hệ thống tiên phong khác.

Mô hình gpt-oss-120b đạt hiệu năng gần tương đương với OpenAI o4-mini khi so sánh đối chuẩn về tư duy cốt lõi, đồng thời vận hành hiệu quả trên một GPU 80 GB duy nhất. Mô hình gpt-oss-20b cho kết quả tương đương với OpenAI o3‑mini trên các bài kiểm tra đối chuẩn thông thường và có thể chạy trên các thiết bị biên chỉ cần 16 GB bộ nhớ, từ đó trở thành mô hình lý tưởng cho các trường hợp sử dụng trên thiết bị, suy luận cục bộ, hoặc lặp lại nhanh mà không cần cơ sở hạ tầng tốn kém. Cả hai mô hình cũng thể hiện mạnh mẽ khi sử dụng công cụ, tương tác với các hàm few-shot, suy luận CoT (có thấy trong kết quả trên bộ đánh giá thực hiện độc lập Tau-Bench) và HealthBench (thậm chí vượt trội hơn các mô hình độc quyền như OpenAI o1 và GPT‑4o).

Các mô hình này tương thích với API Phản hồi⁠(mở trong cửa sổ mới) của chúng tôi và được thiết kế để sử dụng trong quy trình công việc độc lập nhờ khả năng tuân thủ hướng dẫn, sử dụng công cụ vượt trội như tìm kiếm trên web hoặc thực thi mã Python, cũng như các năng lực suy luận – bao gồm khả năng điều chỉnh mức suy luận cho các tác vụ không yêu cầu suy luận phức tạp và/hoặc nhắm mục tiêu đầu ra cuối cùng có độ trễ rất thấp. Các mô hình này có thể tùy chỉnh hoàn toàn, cung cấp chuỗi tư duy (CoT) đầy đủ và hỗ trợ Dữ liệu đầu ra được Cấu trúc⁠(mở trong cửa sổ mới).

An toàn luôn là nền tảng khi chúng tôi phát hành tất cả các mô hình, và đặc biệt quan trọng đối với các open model. Bên cạnh việc chạy các mô hình này qua quy trình huấn luyện và đánh giá an toàn toàn diện, chúng tôi cũng giới thiệu một lớp đánh giá bổ sung khi thử nghiệm một phiên bản gpt-oss-120b được tinh chỉnh khắt khe theo Khung Chuẩn bị sẵn sàng⁠(mở trong cửa sổ mới). Dựa trên đối chuẩn về an toàn nội bộ, các mô hình gpt-oss hoạt động tương đương với các mô hình hàng đầu của chúng tôi, mang đến cho nhà phát triển các tiêu chuẩn an toàn tương tự như các mô hình độc quyền mới nhất của chúng tôi. Chúng tôi sẽ chia sẻ kết quả của công việc đó và nhiều chi tiết khác trong bài nghiên cứu và thẻ mô hình. Phương pháp luận của chúng tôi đã được các chuyên gia độc lập đánh giá, đánh dấu một bước tiến trong thiết lập các tiêu chuẩn an toàn mới cho các mô hình trọng số mở.

Chúng tôi cũng đang hợp tác với các đối tác ban đầu như AI Sweden⁠(mở trong cửa sổ mới), Orange⁠(mở trong cửa sổ mới) và Snowflake⁠(mở trong cửa sổ mới) để tìm hiểu về ứng dụng thực tế của các open model, từ lưu trữ mô hình tại chỗ để đảm bảo an toàn dữ liệu cho đến tinh chỉnh mô hình cho các tập dữ liệu chuyên biệt. Chúng tôi rất vui khi được cung cấp các open model tốt nhất này để trao quyền cho tất cả mọi người – từ nhà phát triển riêng lẻ, doanh nghiệp lớn cho đến chính phủ – tiến hành chạy và tùy chỉnh AI trên cơ sở hạ tầng riêng. Cùng với các mô hình có sẵn trong API của chúng tôi, nhà phát triển có thể chọn hiệu suất, chi phí và độ trễ họ cần để hỗ trợ các quy trình công việc của AI.

Các mô hình gpt-oss được huấn luyện bằng kỹ thuật huấn luyện trước và huấn luyện hậu kỳ tiên tiến nhất của chúng tôi, đặt trọng tâm cụ thể vào suy luận, hiệu quả, và sử dụng thực tế trong nhiều môi trường triển khai khác nhau. Mặc dù chúng tôi đã mở công khai các mô hình khác như Whisper⁠ và CLIP⁠, gpt-oss là mô hình ngôn ngữ có trọng số mở đầu tiên của chúng tôi kể từ GPT‑2 ^[1].

Mỗi mô hình là một Bộ chuyển đổi hỗn hợp nhiều chuyên gia (MoE^[2]) để giảm số lượng tham số hoạt động cần thiết khi xử lý dữ liệu đầu vào. Mô hình gpt-oss-120b kích hoạt 5,1 tỷ tham số trên mỗi token, trong khi gpt-oss-20b kích hoạt được 3,6 tỷ tham số. Các mô hình này lần lượt có tổng tham số là 117 tỷ và 21 tỷ. Các mô hình này sử dụng xen kẽ giữa mẫu tập trung dày đặc và mẫu tập trung rải rác theo dải cục bộ, tương tự như GPT‑3^[3]. Để đạt hiệu quả suy luận và bộ nhớ, các mô hình này cũng sử dụng mẫu tập trung nhiều truy vấn theo nhóm, với quy mô nhóm là 8. Chúng tôi dùng Rotary Positional Embedding (RoPE^[4]) để mã hóa theo vị trí và hỗ trợ sẵn độ dài ngữ cảnh lên tới 128 nghìn.

Chúng tôi đã huấn luyện các mô hình này theo tập dữ liệu chỉ dựa trên văn bản có chất lượng cao, chủ yếu bằng tiếng anh, với trọng tâm là STEM, lập trình và kiến thức chung. Chúng tôi đã token hóa dữ liệu bằng bộ phân tích token cấp cao dùng cho OpenAI o4-mini và GPT‑4o: “o200k_harmony”. Chúng tôi cũng đang tìm nguồn mở cho mô hình này.

Để biết thêm thông tin về kiến trúc mô hình và việc huấn luyện, hãy đọc thẻ mô hình.

Các mô hình này được huấn luyện hậu kỳ bằng quy trình tương tự như đã dùng cho o4-mini, bao gồm giai đoạn tinh chỉnh có giám sát và giai đoạn RL điện toán cao. Mục tiêu của chúng tôi là điều chỉnh các mô hình cho phù hợp với Đặc tả Mô hình của OpenAI⁠(mở trong cửa sổ mới) và dạy mô hình này áp dụng lập luận Chuỗi Tư duy⁠ cũng như sử dụng công cụ trước khi đưa ra câu trả lời. Bằng cách sử dụng kỹ thuật tương tự như các mô hình suy luận độc quyền hiện đại nhất của chúng tôi, các mô hình này thể hiện được những khả năng đặc biệt sau khi được huấn luyện hậu kỳ.

Tương tự như các mô hình suy luận dòng OpenAI o-series trong API, hai mô hình trọng số mở này hỗ trợ 3 mức độ suy luận – thấp, trung bình, và cao – giúp đánh đổi giữa độ trễ và hiệu suất. Nhà phát triển có thể dễ dàng lựa chọn mức độ suy luận bằng một câu trong mục thông báo hệ thống.

Chúng tôi đã đánh giá gpt-oss-120b và gpt-oss-20b bằng các đối chuẩn học thuật tiêu chuẩn để đo lường khả năng lập trình, toán học thi đấu, y tế, và sử dụng công cụ một cách độc lập, khi so sánh với các mô hình suy luận khác của OpenAI gồm o3, o3‑mini và o4-mini.

Mô hình gpt-oss-120b hoạt động tốt hơn OpenAI o3‑mini và ngang bằng hoặc vượt trội hơn OpenAI o4-mini về lập trình thi đấu (Codeforces), giải quyết vấn đề tổng quát (MMLU và HLE) và sử dụng công cụ (TauBench). Hơn nữa, mô hình này còn vượt trội hơn cả o4-mini trong các truy vấn liên quan đến y tế (HealthBench⁠) và toán học thi đấu (AIME 2024 & 2025). Cũng trên các bài đánh giá này, gpt-oss-20b dù có kích thước nhỏ hơn, nhưng lại đạt bằng hoặc vượt trên OpenAI o3‑mini, thậm chí còn thể hiện tốt hơn ở lĩnh vực toán học thi đấu và y tế.

Nghiên cứu gần đây⁠ của chúng tôi cho thấy hoạt động giám sát CoT của một mô hình suy luận có thể giúp phát hiện hành vi sai trái, với điều kiện là mô hình đó không được huấn luyện về điều chỉnh Chuỗi tư duy (CoT) trong điều kiện được giám sát trực tiếp. Những bên khác trong ngành cũng có chung⁠(mở trong cửa sổ mới) quan điểm này. Tuân theo các nguyên tắc được áp dụng kể từ khi ra mắt OpenAI o1‑preview⁠, chúng tôi không thực hiện giám sát trực tiếp lên CoT của cả hai mô hình gpt-oss. Chúng tôi tin rằng việc giám sát hành vi sai lệch, gian dối và lạm dụng mô hình là vô cùng quan trọng. Chúng tôi hi vọng việc phát hành một open model có chuỗi tư duy không bị giám sát sẽ mang đến cho nhà phát triển và nhà nghiên cứu cơ hội được nghiên cứu và triển khai các hệ thống giám sát CoT của riêng mình.

Nhà phát triển không nên hiển thị trực tiếp CoT cho người dùng trong ứng dụng. CoT có thể chứa nội dung tạo ra ảo giác hoặc có hại, bao gồm cả ngôn từ không phản ánh các chính sách an toàn tiêu chuẩn của OpenAI, đồng thời có thể chứa thông tin mà mô hình này hiện được yêu cầu rõ ràng là không thêm vào kết quả đầu ra cuối cùng.

Các mô hình gpt-oss tận dụng những phương pháp tiếp cận tiên tiến của chúng tôi về huấn luyện an toàn. Trong giai đoạn huấn luyện trước, chúng tôi đã lọc bỏ một số dữ liệu có hại liên quan đến Hóa học, Sinh học, Phóng xạ và Hạt nhân (CBRN). Trong giai đoạn huấn luyện hậu kỳ, chúng tôi vận dụng phương pháp điều chỉnh có chủ đích⁠ cũng như phân cấp hướng dẫn⁠(mở trong cửa sổ mới) để huấn luyện mô hình từ chối các câu lệnh không an toàn và đề phòng các câu lệnh nhúng độc hại.

Sau khi một mô hình trọng số mở được ra mắt, kẻ tấn công có thể tinh chỉnh mô hình này cho những mục đích độc hại. Chúng tôi đã trực tiếp đánh giá những rủi ro này bằng cách tinh chỉnh mô hình dựa trên dữ liệu chuyên biệt về sinh học và an ninh mạng, từ đó tạo ra một phiên bản không từ chối được phân chia theo miền cụ thể cho từng miền mà một kẻ tấn công có thể xâm nhập. Thử nghiệm này cho thấy rằng, ngay cả khi được tinh chỉnh cực kỳ mạnh mẽ bằng stack huấn luyện đầu ngành của OpenAI, các mô hình được tinh chỉnh độc hại này vẫn không đạt được mức khả năng cao theo Khung Chuẩn bị sẵn sàng⁠ của chúng tôi. Phương pháp tinh chỉnh độc hại này đã được ba nhóm chuyên gia độc lập đánh giá. Họ đã đưa ra đề xuất cải thiện quy trình huấn luyện và đánh giá, và nhiều đề xuất trong số đó đã được chúng tôi áp dụng. Chúng tôi có trình bày chi tiết các đề xuất này trong thẻ mô hình. Các quy trình này đánh dấu một bước tiến có ý nghĩa về an toàn của open model. Những phát hiện này đã củng cố quyết định của chúng tôi là sẽ ra mắt các mô hình gpt-oss. Chúng tôi hy vọng các mô hình này sẽ giúp đẩy nhanh quá trình huấn luyện an toàn và nghiên cứu điều chỉnh trên toàn ngành.

Để góp phần vào hệ sinh thái nguồn mở an toàn hơn, chúng tôi sẽ tổ chức chương trình Thử thách mô phỏng tấn công⁠(mở trong cửa sổ mới) để khuyến khích nhà nghiên cứu, nhà phát triển, và người đam mê trên khắp thế giới chung tay xác định những vấn đề mới về an toàn. Chương trình thử thách này có quỹ giải thưởng trị giá $500.000 và sẽ được trao dựa trên đánh giá của ban giám khảo là các chuyên gia của OpenAI và những phòng thí nghiệm hàng đầu khác. Khi kết thúc thử thách, chúng tôi sẽ công bố một báo cáo và mở mã nguồn một tập dữ liệu đánh giá dựa trên những phát hiện đã xác thực, để cộng đồng rộng hơn có thể ngay lập tức được hưởng lợi. Hãy tìm hiểu thêm và tham gia tại đây⁠(mở trong cửa sổ mới).

Có thể tải xuống miễn phí các trọng số của cả hai mô hình gpt-oss-120b và gpt-oss-20b trên Hugging Face và được lượng tử hóa sẵn ở MXFP4. Điều này cho phép mô hình gpt-oss-120B có thể chạy trong bộ nhớ 80 GB, còn gpt-oss-20b chỉ yêu cầu 16 GB.

Các mô hình này đã được huấn luyện hậu kỳ theo định dạng câu lệnh Harmony⁠(mở trong cửa sổ mới), và chúng tôi sẽ mở mã nguồn một công cụ kết xuất Harmony⁠(mở trong cửa sổ mới) bằng cả Python lẫn Rust để áp dụng dễ dàng hơn. Ngoài ra, chúng tôi đang ra mắt phương pháp triển khai tham chiếu để chạy suy luận với PyTorch và trên nền tảng Metal của Apple, cùng với bộ sưu tập công cụ mẫu cho mô hình này.

Chúng tôi đã thiết kế để các mô hình này có thể chạy linh hoạt và dễ dàng ở bất cứ đâu – tại chỗ, trên thiết bị, hoặc thông qua nhà cung cấp suy luận bên thứ ba. Để hỗ trợ cho mục tiêu này, trước khi ra mắt, chúng tôi có hợp tác với các nền tảng triển khai hàng đầu như Hugging Face, Azure, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare và OpenRouter để nhà phát triển dễ dàng tiếp cận các mô hình này một cách rộng rãi. Về phía phần cứng, chúng tôi hợp tác với các hãng đầu ngành như NVIDIA, AMD, Cerebras, và Groq để đảm bảo hiệu suất tối ưu trên nhiều hệ thống.

Là một phần của bản phát hành hôm nay, Microsoft cũng mang đến các phiên bản tối ưu hóa GPU của mô hình gpt-oss-20b lên các thiết bị Windows. Được hỗ trợ bằng ONNX Runtime, các mô hình này hỗ trợ quá trình suy luận cục bộ và khả dụng qua Foundry Local và AI Toolkit for VS Code, giúp các nhà phát triển Windows dễ dàng xây dựng bằng các open model.

Đối với những nhà phát triển muốn có các mô hình tùy chỉnh hoàn toàn mà họ có thể tinh chỉnh và triển khai trong môi trường riêng, thì gpt-oss sẽ rất phù hợp. Đối với những người muốn có khả năng hỗ trợ đa phương thức, các công cụ tích hợp sẵn và khả năng tích hợp liền mạch với nền tảng của chúng tôi, thì các mô hình có sẵn thông qua nền tảng API vẫn là lựa chọn tốt nhất. Chúng tôi vẫn chú ý lắng nghe ý kiến đóng góp của nhà phát triển và có thể xem xét khả năng hỗ trợ API cho gpt-oss trong tương lai.

Nếu bạn muốn dùng thử các mô hình này, hãy chuyển đến sân chơi mô hình mở⁠(mở trong cửa sổ mới) của chúng tôi. Để tìm hiểu thêm về cách sử dụng các mô hình này thông qua những nhà cung cấp hệ sinh thái khác nhau, hoặc cách tinh chỉnh các mô hình này, hãy xem hướng dẫn của chúng tôi⁠(mở trong cửa sổ mới).

Việc ra mắt gpt-oss-120b và gpt-oss-20b đánh dấu một bước tiến quan trọng về mô hình trọng số mở. Ở quy mô riêng, các mô hình này đem lại những bước tiến có ý nghĩa về khả năng suy luận và an toàn. Bằng cách bổ sung các open model này vào dịch vụ API hiện có, mục tiêu của chúng tôi là thúc đẩy nghiên cứu tiên tiến, hỗ trợ đổi mới và cho phép phát triển AI an toàn, minh bạch hơn trong nhiều trường hợp sử dụng khác nhau.

Các open model này cũng giúp giảm bớt rào cản đối với thị trường mới nổi, các ngành có nguồn lực hạn chế, và những tổ chức nhỏ hơn có thể thiếu ngân sách hoặc khả năng áp dụng linh hoạt các mô hình độc quyền. Nhờ các công cụ mạnh mẽ và dễ tiếp cận trong tay, mọi người trên khắp thế giới có thể xây dựng, đổi mới, và tạo ra cơ hội mới cho bản thân và những người khác. Cơ hội tiếp cận rộng rãi các mô hình trọng số mở mạnh mẽ được tạo ra tại Hoa Kỳ này giúp mở rộng các rào chắn đảm bảo AI dân chủ.

Một hệ sinh thái open model lành mạnh là một khía cạnh giúp AI trở nên dễ tiếp cận và mang lại lợi ích cho tất cả mọi người. Chúng tôi sẽ ra mắt các open model của riêng mình nhằm tìm hiểu xem chúng tôi có thể đóng góp cho hệ sinh thái này như thế nào, và liệu rằng thế mạnh và lợi ích của các mô hình này có thể đảm bảo cho hoạt động đầu tư của OpenAI vào các open model trong tương lai hay không. Nếu bạn đang xây dựng bằng các open model của chúng tôi, thì ý kiến của bạn về các thế mạnh và ứng dụng thực tế của các mô hình này có vai trò quan trọng giúp định hướng cho quyết định của chúng tôi.

Chúng tôi mời nhà phát triển và nhà nghiên cứu sử dụng các mô hình này để thử nghiệm, cộng tác và bứt phá giới hạn tiềm năng. Chúng tôi rất mong được nhìn thấy ​​những gì bạn xây dựng.