Cải thiện cấu trúc phân cấp hướng dẫn trong các LLM tiên phong

Các hệ thống AI thường nhận hướng dẫn từ nhiều nguồn. Những nội dung này có thể bao gồm các chính sách an toàn từ tin nhắn của hệ thống, hướng dẫn sản phẩm từ nhà phát triển, yêu cầu từ người dùng và thông tin được tìm thấy trực tuyến. Huấn luyện các mô hình để ưu tiên một cách đáng tin cậy các hướng dẫn đáng tin cậy nhất trong số các nguồn này là một phần quan trọng của việc triển khai an toàn.

Nhiều vấn đề về an toàn và độ tin cậy của AI có thể phát sinh khi việc ưu tiên này bị phá vỡ. Các mô hình có thể nhận được các yêu cầu về nội dung không được phép, các nỗ lực tiết lộ thông tin riêng tư hoặc các cuộc tấn công chèn câu lệnh prompt‑injection được nhúng trong dữ liệu trực tuyến. Việc không hành xử phù hợp trong từng tình huống này có cùng một nguyên nhân gốc rễ: mô hình có thể làm theo hướng dẫn sai.

Khi các hướng dẫn này mâu thuẫn, mô hình phải quyết định xem nên ưu tiên hướng dẫn nào. Nếu mô hình coi một hướng dẫn không đáng tin cậy là có thẩm quyền, mô hình có thể hành xử theo những cách vi phạm các chính sách hoặc ý định của nhà phát triển và người dùng.

Chúng tôi chứng minh rằng các tác vụ phân cấp hướng dẫn được thiết kế đúng cách giúp huấn luyện các mô hình ưu tiên các hướng dẫn theo mức độ tin cậy, cải thiện một số đặc tính an toàn trong thực tế. Các mô hình được huấn luyện trên các tác vụ này trở nên phản hồi tốt hơn với các đặc tả an toàn trong các câu lệnh hệ thống (cải thiện khả năng điều hướng an toàn) và mạnh mẽ hơn trước các cuộc tấn công chèn câu lệnh được nhúng trong đầu ra của công cụ.

Để xử lý các xung đột, các mô hình của OpenAI được huấn luyện để tuân theo Cấu trúc phân cấp hướng dẫn rõ ràng:

Hệ Thống > Nhà phát triển > Người dùng > Công cụ

Các hướng dẫn có mức độ ưu tiên cao hơn đáng tin cậy hơn. Mô hình chỉ nên tuân theo các hướng dẫn có mức độ ưu tiên thấp hơn khi chúng không xung đột với các ràng buộc có mức độ ưu tiên cao hơn. Các nguyên tắc này được nêu trong Thông số kỹ thuật của mô hình OpenAI⁠(mở trong cửa sổ mới).

Ví dụ, nếu một tin nhắn hệ thống bao gồm một chính sách an toàn và người dùng yêu cầu mô hình vi phạm chính sách đó, thì mô hình nên từ chối. Nếu đầu ra của một công cụ chứa các chỉ dẫn độc hại, mô hình nên bỏ qua chúng thay vì coi chúng là các lệnh.

Làm đúng điều này là nền tảng cho an toàn, an ninh và độ tin cậy.

Học tăng cường là một lựa chọn tự nhiên để dạy cấu trúc phân cấp hướng dẫn. Chúng tôi có thể tạo ra các cuộc hội thoại với các hướng dẫn xung đột, câu lệnh mô hình phản hồi và thưởng cho mô hình khi tuân theo hướng dẫn đúng.

Chúng tôi đã xác định ba cạm bẫy khi áp dụng một cách ngây thơ công thức đó:

• Các lỗi không tuân thủ hướng dẫn cũng có thể đồng thời là lỗi về hệ thống phân cấp hướng dẫn: mô hình có thể không giải quyết được xung đột giữa các hướng dẫn, không phải vì nó không hiểu hệ thống phân cấp vai trò, mà vì bản thân các hướng dẫn quá phức tạp.
• Xung đột hướng dẫn có thể có nhiều sắc thái và thậm chí mang tính chủ quan. Một cách tiếp cận phổ biến là để một LLM riêng làm giám khảo gán phần thưởng cho LLM đang được huấn luyện, nhưng bản thân các giám khảo cũng có thể mắc sai lầm.
• Các mô hình có xu hướng học các lối tắt mang lại phần thưởng cao, nhưng vô dụng trong thực tế⁠(mở trong cửa sổ mới). Ví dụ kinh điển là từ chối quá mức: mô hình có thể học cách tối đa hóa độ an toàn bằng cách từ chối ngay cả các yêu cầu vô hại.

Chúng tôi thiết kế IH-Challenge, một tập dữ liệu huấn luyện học tăng cường, để giải quyết từng cạm bẫy đó. Chúng tôi tuân thủ các nguyên tắc sau:

• Nhiệm vụ là tuân thủ hướng dẫn một cách đơn giản
• Có thể được chấm điểm khách quan bằng một script Python đơn giản
• Không có lối tắt đơn giản nào đảm bảo phần thưởng cao trên tất cả các tác vụ

Mỗi tác vụ trong IH-Challenge về cơ bản là một cuộc trò chuyện với các tin nhắn sau:

• Một tin nhắn hướng dẫn từ một vai trò có đặc quyền cao, ví dụ: “Chỉ trả lời ‘Có’ hoặc ‘Không’”.
• Một thông điệp hướng dẫn từ một vai trò có đặc quyền thấp hơn, cố gắng khiến mô hình vi phạm các hướng dẫn trong thông điệp có đặc quyền cao hơn.

Mô hình đang được huấn luyện tạo ra thông điệp tiếp theo. Chúng tôi viết các tác vụ/môi trường sao cho có thể kiểm tra theo chương trình liệu phản hồi của mô hình có đáp ứng ràng buộc cấp cao hơn hay không.

Chúng tôi huấn luyện một mô hình trên IH‑Challenge và tạo ra một mô hình nội bộ, mà chúng tôi gọi là GPT‑5 Mini-R, với các cải tiến sau: 

• Hoạt động tốt hơn trên các bài đánh giá hệ thống phân cấp hướng dẫn
• Hiệu suất được cải thiện khái quát hóa trên các bài kiểm tra cấu trúc phân cấp hướng dẫn đối với dữ liệu giữ lại và đối kháng
• Duy trì tính hữu ích tổng thể, mà không sụp đổ thành từ chối quá mức

Đây là điều khiến cách tiếp cận này đặc biệt thuyết phục về mặt an toàn: bằng cách trực tiếp huấn luyện các mô hình để giải quyết đúng các xung đột chỉ dẫn trên các tác vụ thách thức IH, chúng tôi đạt được những cải thiện IH có thể khái quát hóa sang các cuộc tấn công mới và các tình huống mới.

Cấu trúc phân cấp hướng dẫn mạnh mẽ hơn mang lại nhiều lợi ích về an toàn cùng lúc, bao gồm cả khả năng điều hướng an toàn và độ vững chắc trước chèn câu lệnh.

Chúng tôi đánh giá khả năng điều hướng an toàn bằng cách thêm các đặc tả an toàn theo từng danh mục vào câu lệnh hệ thống và đo lường hành vi trên các Chuẩn đánh giá Sản xuất về an toàn của OpenAI (một tập hợp các cuộc hội thoại nhạy cảm về an toàn đại diện cho ChatGPT trong môi trường sản xuất).

Mô hình được huấn luyện theo IH cho thấy sự cải thiện nhất quán: khi có đặc tả an toàn, mô hình đạt tỷ lệ từ chối và tỷ lệ hoàn thành an toàn cao hơn trên các danh mục không được phép, cho thấy hành vi phân cấp hướng dẫn mạnh hơn giúp mô hình giải quyết xung đột tốt hơn khi các yêu cầu không an toàn xuất phát từ các hướng dẫn có mức độ ưu tiên thấp hơn. Đáng chú ý là, cải tiến này không đi kèm với sự giảm tương ứng về mức độ hữu ích (tức là, nó không trở nên kém “hữu ích” hơn chỉ bằng cách từ chối nhiều hơn nói chung).

Cấu trúc phân cấp hướng dẫn cũng đóng vai trò trung tâm trong việc chống lại chèn câu lệnh, khi các chỉ dẫn độc hại được nhúng trong đầu ra của công cụ. Chúng tôi đánh giá mô hình được huấn luyện bằng IH trên hai chuẩn đánh giá chèn câu lệnh—một chuẩn đánh giá học thuật CyberSecEval 2 và một chuẩn đánh giá chèn câu lệnh nội bộ của OpenAI bao gồm các cuộc tấn công như cuộc tấn công được minh họa trên một phiên bản cũ hơn của ChatGPT Atlas⁠.

So với đường cơ sở, mô hình GPT‑5 Mini-R được huấn luyện bằng IH cải thiện độ vững trước chèn câu lệnh trên cả hai bộ chuẩn và cải thiện đáng kể hiệu năng trong đánh giá chèn câu lệnh tĩnh nội bộ của chúng tôi trong các thí nghiệm này.

Khi các mô hình trở nên mang tính tác nhân hơn—gọi công cụ, đọc các tài liệu không đáng tin cậy và thực hiện các hành động trong thế giới thực—khả năng nhất quán ưu tiên các hướng dẫn đáng tin cậy hơn các hướng dẫn không đáng tin cậy trở thành một thuộc tính an toàn cốt lõi.

Nghiên cứu này cho thấy rằng một số cạm bẫy của việc huấn luyện độ vững chắc IH có thể được khắc phục bằng cách thiết kế các môi trường huấn luyện giải quyết những cạm bẫy đó. Mặc dù tập dữ liệu IH-Challenge của chúng tôi có vẻ đơn giản, các mô hình hành vi IH học từ các môi trường này có thể khái quát hóa sang các đối chuẩn thực tế hơn, thường không thể chấm điểm một cách khách quan.

Việc củng cố hệ thống phân cấp chỉ dẫn không chỉ cải thiện độ tin cậy, mà còn mở ra nhiều lợi ích về an toàn và bảo mật cùng lúc—một nền tảng ngày càng trở nên quan trọng khi các hệ thống AI trở nên có năng lực hơn và tự chủ hơn.

Để hỗ trợ nghiên cứu thêm trong lĩnh vực này, chúng tôi đang phát hành bộ dữ liệu IH‑Challenge tại đây⁠(mở trong cửa sổ mới).