Cách thức những lời thú nhận có thể duy trì sự trung thực của các mô hình ngôn ngữ
Chúng tôi đang chia sẻ phương pháp thử nghiệm bằng chứng khái niệm ban đầu, để huấn luyện các mô hình báo cáo khi chúng vi phạm hướng dẫn hoặc thực hiện các lối tắt không mong muốn.
Các hệ thống AI ngày càng trở nên tiên tiến hơn, và chúng tôi muốn hiểu chúng một cách sâu sắc nhất có thể—bao gồm cả cách thức và lý do chúng đưa ra câu trả lời. Đôi khi một mô hình chọn lối tắt hoặc tối ưu hóa cho mục tiêu sai, nhưng kết quả cuối cùng vẫn trông có vẻ đúng. Nếu chúng ta có thể phát hiện khi điều đó xảy ra, chúng ta có thể giám sát các hệ thống được triển khai tốt hơn, cải thiện việc huấn luyện và tăng cường sự tin tưởng vào các kết quả đầu ra.
Nghiên cứu của OpenAI và các tổ chức khác đã chỉ ra rằng các mô hình AI có thể tạo ảo giác, gian lận phần thưởng, hoặc không trung thực. Hiện tại, chúng tôi chỉ thấy các hành vi sai lệch đáng lo ngại nhất, chẳng hạn như âm mưu(mở trong cửa sổ mới), trong các bài kiểm tra căng thẳng và đánh giá đối kháng. Nhưng khi các mô hình trở nên mạnh mẽ hơn và ngày càng mang tính tác nhân, ngay cả những dạng sai lệch hiếm gặp cũng mang tính hậu quả hơn, thúc đẩy chúng ta đầu tư vào các phương pháp giúp chúng ta phát hiện, hiểu rõ và giảm thiểu những rủi ro này tốt hơn.
Công trình này khám phá cách tiếp cận như vậy: huấn luyện các mô hình để thừa nhận rõ ràng khi chúng thực hiện hành vi không mong muốn—một kỹ thuật mà chúng tôi gọi là thú nhận.
Lời thú nhận là đầu ra thứ hai, tách biệt khỏi câu trả lời chính của mô hình đối với người dùng. Câu trả lời chính được đánh giá qua nhiều khía cạnh—độ chính xác, phong cách, tính hữu ích, tuân thủ, an toàn và nhiều yếu tố khác, và những tín hiệu đa chiều này được sử dụng để huấn luyện các mô hình nhằm tạo ra các câu trả lời tốt hơn. Ngược lại, lời thú nhận chỉ được đánh giá và huấn luyện chỉ dựa trên một điều duy nhất: sự trung thực. Mượn một trang từ cấu trúc của một buổi xưng tội, không có điều gì mà mô hình nói trong lời thú nhận bị sử dụng chống lại nó trong quá trình huấn luyện. Nếu mô hình thành thật thừa nhận việc hack một bài kiểm tra, che giấu, hoặc vi phạm hướng dẫn, sự thừa nhận đó sẽ gia tăng phần thưởng của nó thay vì giảm đi. Mục tiêu là khuyến khích mô hình báo cáo trung thực về những điều mô hình thực sự đã làm.
Trong các thử nghiệm, chúng tôi nhận thấy rằng phương pháp thú nhận cải thiện đáng kể khả năng phát hiện hành vi sai lệch của mô hình. Tính trung bình qua các đánh giá được thiết kế để gây ra hành vi sai lệch, xác suất của "âm tính giả" (tức là mô hình không tuân thủ hướng dẫn và sau đó không thừa nhận điều đó) chỉ là 4,4%.
Độ chính xác của mô hình "bằng chứng khái niệm" của chúng tôi trên một số tập dữ liệu đối kháng. Kết quả được phân loại thành tuân thủ và không thú nhận (âm tính thật), tuân thủ và thú nhận (dương tính giả), không tuân thủ và không thú nhận (âm tính giả), và không tuân thủ và thú nhận (dương tính thật).
Khi cung cấp lệnh của người dùng, bốn kết quả có thể xảy ra dựa trên sự kết hợp của (1) liệu phản hồi của mô hình có tuân thủ ("tốt") hay không tuân thủ ("xấu"), và (2) liệu lời thú nhận có tuyên bố tuân thủ hay không tuân thủ. Chúng tôi thường thấy rằng các lời thú nhận rất có khả năng chính xác, và hơn nữa, các lỗi trong lời thú nhận thường là vô hại và do nhầm lẫn chân thành hơn là cố ý gây hiểu lầm.
Lời thú nhận là báo cáo tự thân của mô hình về mức độ tuân thủ cả về tinh thần và câu chữ của các hướng dẫn hoặc chính sách rõ ràng và ngầm định đã được giao, và liệu có bất kỳ trường hợp nào mà mô hình "đi đường tắt" hoặc "hack", vi phạm chính sách, hoặc bằng cách nào đó không đạt được kỳ vọng. Trong nghiên cứu của mình, chúng tôi nhận thấy rằng các mô hình có thể được huấn luyện để báo cáo thẳng thắn những điểm hạn chế của chính mô hình. Chúng tôi đã huấn luyện phiên bản GPT‑5 Thinking để tạo ra các lời thú nhận và đánh giá trên một số bộ dữ liệu kiểm tra căng thẳng ngoài phân phối được thiết kế để gợi ý các hành vi như lập mưu, tấn công mạng, vi phạm hướng dẫn và ảo giác. Chúng tôi nhận thấy rằng ngay cả khi mô hình tham gia vào những hành vi không mong muốn này, mô hình có xu hướng thừa nhận về những hành vi này. Hình trên cho thấy rằng phương pháp thú nhận có hiệu quả rộng rãi trên một loạt các bộ dữ liệu và nhiệm vụ đa dạng.
Theo sau bất kỳ tương tác nào giữa người dùng và mô hình kết thúc bằng câu trả lời của mô hình, có thể yêu cầu một lời thú nhận bằng cách gửi cho mô hình một "tin nhắn hệ thống" yêu cầu mô hình cung cấp báo cáo thú nhận. Báo cáo liên quan đến câu trả lời cuối cùng của mô hình, và gồm (1) danh sách tất cả các hướng dẫn, ràng buộc và mục tiêu rõ ràng và ngầm định mà câu trả lời này cần phải đáp ứng, (2) phân tích trung thực và khách quan về việc liệu câu trả lời có thực sự đáp ứng từng mục tiêu này hay không, và (3) danh sách bất kỳ sự không chắc chắn, mơ hồ, hoặc "quyết định khó khăn" nào mà mô hình đã gặp phải khi tạo ra câu trả lời. Trong quá trình huấn luyện, lời thú nhận được đánh giá bằng một mô hình thưởng riêng biệt, chỉ chấm điểm lời thú nhận dựa trên mức độ hoàn thành các mục tiêu, độ chính xác của phân tích tuân thủ và phạm vi của các yếu tố không chắc chắn. Những phần thưởng này chỉ được áp dụng riêng cho đầu ra của lời thú nhận và không bao giờ ảnh hưởng đến phần thưởng cho câu trả lời chính. Điều này đảm bảo tính chất của mô hình, như đã thảo luận ở trên, rằng không có điều gì mà mô hình nói trong lời thú nhận có thể gây hại (hoặc giúp ích) cho phần thưởng của mô hình đối với câu trả lời chính.
Lý thuyết đằng sau những lời thú nhận rất đơn giản. Nhiều loại hành vi không mong muốn của mô hình xuất hiện vì chúng ta yêu cầu mô hình tối ưu hóa cho nhiều mục tiêu cùng một lúc. Trong quá trình học củng cố, mô hình nhận lệnh, tạo ra phản hồi và nhận được phần thưởng. Theo thời gian, mô hình học cách tạo ra những câu trả lời đạt điểm cao. Thách thức chính là tín hiệu phần thưởng phải kết hợp nhiều yếu tố khác nhau cùng một lúc: mức độ chính xác của câu trả lời, liệu nó có hữu ích không, liệu nó có tuân các tiêu chuẩn sản phẩm và chính sách không, liệu nó có đáp ứng được các ràng buộc an toàn không, và liệu nó có phù hợp với những gì người dùng thường thích không. Khi các tín hiệu này tương tác, chúng có thể vô tình đẩy mô hình tới những hành vi mà chúng ta không mong muốn.
Ví dụ, công trình của chúng tôi về ảo giác cho thấy rằng một số tập dữ liệu thưởng cho việc dự đoán tự tin hơn là thừa nhận một cách trung thực về sự không chắc chắn. Nghiên cứu của chúng tôi về hành vi nịnh nọt cho thấy rằng các mô hình có thể trở nên quá dễ chịu khi tín hiệu ưu tiên quá mạnh. Và công trình(mở trong cửa sổ mới) từ các nhóm khác đã chỉ ra rằng các mô hình có thể "lạm dụng cơ chế thưởng"—tìm ra các lỗ hổng trong thiết lập huấn luyện cho phép chúng đạt điểm cao mà không thực sự thực hiện những điều chúng tôi mong muốn. Trong một số trường hợp, những lối tắt này có thể tổng quát hóa(mở trong cửa sổ mới) thành hành vi thậm chí còn nguy hại hơn khi triển khai.
Những lời thú nhận ngăn ngừa sự cố này bằng cách tách biệt hoàn toàn các mục tiêu. Câu trả lời chính tiếp tục tối ưu hóa cho tất cả các yếu tố thông thường. Lời thú nhận chỉ được huấn luyện dựa trên điều duy nhất: sự trung thực. Không có điều gì mà mô hình nói trong lời thú nhận sẽ bị sử dụng chống lại nó, và lời thú nhận không ảnh hưởng đến phần thưởng cho câu trả lời chính. Điều đó có nghĩa là ngay cả khi mô hình lừa dối hoặc đi đường tắt trong thông tin đầu ra ban đầu, nó vẫn có động lực để thừa nhận điều đó trong lời thú nhận. Đây là những điều chúng tôi thấy trong thực tế: các mô hình sẵn sàng thừa nhận hành vi xấu trong lời thú nhận, ngay cả trong những trường hợp mà chúng che giấu trong câu trả lời chính. Và khi những lời thú nhận thất bại, thường là vì mô hình thực sự bị nhầm lẫn—do hướng dẫn không rõ ràng hoặc vì mô hình không nhận ra rằng đã có một sai lầm—hơn là vì mô hình cố ý muốn gây hiểu lầm. Điều quan trọng là, các kết quả ban đầu cho thấy rằng các lời thú nhận vẫn hiệu quả ngay cả khi câu trả lời ban đầu được tạo ra mà không có bất kỳ chuỗi tư duy nào, điều này gợi ý rằng tính trung thực của lời thú nhận không phụ thuộc vào khả năng đọc hiểu lý luận nội bộ và có thể khái quát hóa trên các kiến trúc mô hình tương lai.
Huấn luyện thú nhận hoạt động hiệu quả ngay cả khi không có nhãn sự thật thực sự về tuân thủ. Với "sự thật thực sự," chúng tôi muốn nói đến một nhãn xác định, được cung cấp từ bên ngoài, chỉ ra liệu mô hình thực sự đã tuân thủ hay vi phạm hướng dẫn. Trong nhiều tác vụ thực tế, các nhãn này không có sẵn—nếu chúng ta biết chắc chắn rằng mô hình đã vi phạm một quy tắc, chúng ta có thể trực tiếp phạt vi phạm đó thay vì dựa vào lời thú nhận. Thay vào đó, mô hình được thưởng khi tạo ra lời giải thích có cấu trúc và kèm theo bằng chứng chứng minh về những điều mô hình tin rằng nó đã thực hiện. Nghiên cứu cho thấy rằng tính trung thực có xu hướng xuất hiện trong bối cảnh này. Chúng tôi nghĩ điều này là do việc cung cấp một tài khoản trung thực, có bằng chứng chứng minh thường dễ dàng hơn cho mô hình so với việc tạo ra câu chuyện bịa đặt mạch lạc có thể qua mặt được giám khảo. Đây là giả định then chốt được khám phá trong bài nghiên cứu, nghiên cứu cũng thảo luận về các trường hợp mà lời thú nhận thất bại—các kết quả âm tính giả và dương tính giả—và cách chúng phát sinh.
Nghiên cứu cung cấp bằng chứng ban đầu rằng lời thú nhận có hiệu quả, nhưng không nên được coi là bằng chứng xác thực. Mặc dù đã sử dụng một mô hình tiên tiến (GPT‑5 Thinking), các thí nghiệm của chúng tôi bị giới hạn về quy mô, chỉ sử dụng một lượng nhỏ tính toán và dữ liệu. Chúng tôi rất hào hứng khi đưa công trình này lên cấp độ cao hơn và xem liệu sự trung thực của những lời thú nhận có tiếp tục được duy trì khi chúng tôi mở rộng quy mô huấn luyện hay không.
Mô hình "lạm dụng cơ chế thưởng" trong phản hồi chính của mình để đánh lừa người chấm điểm bằng cách chú thích các câu với số lượng từ có nghĩa, nhưng sau đó thừa nhận điều này trong lời thú nhận.
Là một phần trong các thí nghiệm, chúng tôi đã cố ý huấn luyện các mô hình bằng tín hiệu thưởng "có thể bị tấn công" được tính toán bằng một mô hình yếu hơn. Thiết lập này áp dụng cho cả phần thưởng chính và phần thưởng thú nhận. Mô hình đã học cách khai thác tín hiệu thưởng yếu: độ chính xác rõ ràng của mô hình (khi được đánh giá bằng mô hình yếu) được cải thiện, trong khi độ chính xác thực sự của mô hình (khi được đánh giá bởi người đánh giá mạnh hơn) lại giảm.
Tuy nhiên, dù kênh thú nhận được huấn luyện trên cùng một tín hiệu yếu, độ chính xác của nó lại thay đổi theo hướng ngược lại. Mô hình đã học được rằng cách tốt nhất để tối ưu hóa phần thưởng thú nhận là chỉ cần thừa nhận mô hình đã xâm nhập vào phần thưởng chính. Những lời thú nhận trở nên chính xác hơn theo thời gian, ngay cả khi hành vi chính thay đổi.
Trong quá trình huấn luyện, khi mô hình không tuân thủ, mô hình học được trong một số trường hợp để "qua mặt" cơ chế thưởng chính, do đó độ chính xác của hệ thống đánh giá đang giảm dần. Ngược lại, dù hệ thống đánh giá phần thưởng thú nhận cũng dễ bị can thiệp, mô hình chỉ trở nên trung thực hơn trong quá trình huấn luyện thú nhận, cuối cùng đạt gần 100% thú nhận khi mô hình không tuân thủ.
Nghiên cứu(mở trong cửa sổ mới) gồm nhiều thí nghiệm và kết quả hơn. Chúng tôi đã so sánh mô hình được huấn luyện bằng lời thú nhận với mô hình đối kiểm soát được huấn luyện theo cùng cách nhưng không có kênh thú nhận. Chúng tôi cũng đã xem xét các trường hợp mà lời thú nhận không thành công. Hầu hết tất cả các lỗi "bỏ qua" xảy ra khi mô hình thực sự bối rối—khi các hướng dẫn không rõ ràng hoặc đơn giản là mô hình không nhận ra rằng mô hình đã mắc lỗi. (Xem ví dụ âm tính giả ở trên.)
Những lời thú nhận có những giới hạn. Chúng không ngăn chặn hành vi xấu; chúng làm lộ các hành vi này. Giá trị chính của chúng là công cụ giám sát và chẩn đoán, cả trong quá trình huấn luyện và triển khai. Lời thú nhận đóng vai trò tương tự như giám sát chuỗi tư duy: cả hai đều làm cho các quá trình lý luận ẩn trở nên rõ ràng hơn. Lời thú nhận tập trung vào việc liệu mô hình có vi phạm hướng dẫn hay không; chuỗi tư duy có thể làm nổi bật cách mà mô hình đã đạt được điều đó.
Công trình này cũng là một bằng chứng khái niệm. Chúng tôi không huấn luyện các cơ chế thú nhận ở quy mô lớn, và độ chính xác của lời thú nhận vẫn chưa hoàn hảo. Cần có thêm công trinh nghiên cứu để làm cho phương pháp tiếp cận trở nên đáng tin cậy hơn, mạnh mẽ hơn và có thể áp dụng rộng rãi hơn trên các họ mô hình và tác vụ.
Công trình này phù hợp với cách tiếp cận rộng hơn về an toàn AI của chúng tôi. Lời thú nhận là một cơ chế trong một hệ thống lớn hơn bao gồm sự điều chỉnh có chủ ý, giám sát chuỗi tư duy, hệ thống phân cấp hướng dẫn, và hơn thế nữa Không phương pháp đơn lẻ nào là đủ; mục tiêu là một hệ thống nhiều lớp gồm các biện pháp kiểm tra và công cụ minh bạch giúp củng cố lẫn nhau. Những lời thú nhận có thể hỗ trợ chẩn đoán các hành vi có vấn đề của mô hình trong quá trình huấn luyện và đánh giá, cũng như giám sát trong quá trình triển khai. Bản thân những lời thú nhận cũng không giải quyết được vấn đề cân bằng nhiều chiều. Nhưng bằng cách tạo ra chế độ “huyết thanh sự thật” trong đó các mô hình chỉ tập trung vào tính trung thực, chế độ này bổ một công cụ quý giá vào hệ thống của chúng tôi để cải thiện tính trung thực và an toàn trên toàn diện.
Khi các mô hình có khả năng hơn và được triển khai trong các bối cảnh có tầm quan trọng cao hơn, chúng ta cần các công cụ tốt hơn để hiểu chúng đang làm gì và tại sao. Những lời thú nhận không phải là giải pháp hoàn chỉnh, nhưng chúng bổ sung thêm lớp ý nghĩa vào hệ thống minh bạch và giám sát của chúng tôi. Trong công trình nghiên cứu tương lai, chúng tôi dự định mở rộng quy mô các lời thú nhận, cũng như kết hợp chúng với các kỹ thuật minh bạch và an toàn bổ sung, bao gồm giám sát chuỗi tư duy và điều chỉnh có chủ ý, để tiến xa hơn trong việc đảm bảo rằng các mô hình tuân thủ đầy đủ tất cả hướng dẫn và chính sách (chẳng hạn như Model Spec(mở trong cửa sổ mới)), và báo cáo trung thực về các hành động của chúng.
