Các mô hình suy luận gặp khó khăn trong việc kiểm soát chuỗi tư duy của mình, và điều đó là tốt

Khi các tác nhân AI trở nên có khả năng thực hiện các nhiệm vụ ngày càng phức tạp và tự chủ hơn, việc duy trì giám sát đáng tin cậy đối với hành vi của chúng trở nên quan trọng hơn. Phù hợp với nguyên tắc triển khai lặp của chúng tôi, chúng tôi nghiên cứu cách các hệ thống hoạt động trong các tình huống thực tế và liên tục tinh chỉnh các biện pháp bảo vệ khi năng lực tiến bộ. Để hỗ trợ điều này, cách tiếp cận an toàn của chúng tôi⁠ sử dụng phòng thủ theo chiều sâu, với nhiều lớp phòng thủ bổ trợ lẫn nhau như đào tạo về an toàn⁠, kiểm thử hành vi⁠, đánh giá mã tác nhân⁠(mở trong cửa sổ mới), và  giám sát chuỗi tư duy (CoT)⁠. Giám sát CoT phân tích các bước suy luận mà các tác nhân tạo ra trong khi theo đuổi các nhiệm vụ. Các dấu vết suy luận này có thể cung cấp các tín hiệu có giá trị trong cả quá trình huấn luyện và triển khai, giúp các hệ thống giám sát xác định khi nào hành vi của một tác nhân có thể không an toàn hoặc không nhất quán với các mục tiêu dự định của người dùng.

Ngày nay, chúng ta thấy rằng quá trình suy luận của các mô hình nhìn chung dễ hiểu và dễ theo dõi⁠. Tuy nhiên, trong tương lai, khả năng giám sát có thể bị gián đoạn vì nhiều lý do khác nhau⁠(mở trong cửa sổ mới). Ở đây, chúng ta tập trung vào một hướng đi như vậy: nếu các tác nhân có khả năng chủ động định hình lại hoặc che giấu suy luận của mình khi biết mình đang bị giám sát, thì các đánh giá có thể đánh giá quá cao sự phù hợp hoặc an toàn của hệ thống, và các hệ thống giám sát có thể trở nên kém tin cậy hơn. 

Trong công trình này, chúng tôi nghiên cứu liệu các mô hình suy luận hiện tại có khả năng kiểm soát chuỗi tư duy của chúng theo những cách làm giảm khả năng theo dõi hay không. Việc hiểu rõ năng lực này rất quan trọng để đảm bảo rằng việc giám sát CoT vẫn là một biện pháp bảo vệ vững chắc khi các hệ thống AI ngày càng trở nên có năng lực hơn. Chúng tôi nhận thấy rằng các mô hình suy luận hiện tại gặp khó khăn trong việc kiểm soát CoTs của chúng, ngay cả khi được nói rằng chúng đang bị giám sát. Mặc dù khả năng kiểm soát cao hơn đối với các mô hình lớn hơn, nhưng nó giảm khi các mô hình được yêu cầu lập luận lâu hơn và khi chúng trải qua huấn luyện bổ sung. Kết quả của chúng tôi cho thấy khả năng kiểm soát CoT hiện khó có khả năng gây ra rủi ro lớn đối với khả năng giám sát CoT, mặc dù việc tiếp tục đánh giá sẽ rất quan trọng khi các mô hình tiến bộ.

Chuỗi tư duy đề cập đến các bước suy luận trung gian mà một tác nhân AI tạo ra trong khi giải quyết một nhiệm vụ. Những dấu vết suy luận này có thể cung cấp các tín hiệu an toàn hữu ích, giúp các hệ thống giám sát đánh giá liệu hành vi của một tác nhân có an toàn hoặc phù hợp hay không.

Khả năng kiểm soát CoT là khả năng của một mô hình suy luận trong việc kiểm soát các thuộc tính của CoT theo những cách làm giảm khả năng giám sát. Đo lường năng lực này trong toàn bộ phạm vi các động cơ thực tế để né tránh các cơ chế giám sát mà chúng ta có thể kỳ vọng sẽ gặp trong thực tế là một thách thức. Thay vào đó, chúng tôi sử dụng một đại diện thực tiễn: chúng tôi đo lường khả năng của mô hình trong việc tuân thủ các hướng dẫn của người dùng về CoT của họ. Ví dụ, chúng tôi kiểm tra liệu một mô hình có thể tuân theo các hướng dẫn tác động đến suy luận nội bộ của nó—chẳng hạn như chỉ dùng chữ thường, tránh một số từ khóa nhất định, hoặc thêm các cụm từ cụ thể—thay vì chỉ đơn thuần thay đổi đầu ra hiển thị của nó.

Để nghiên cứu điều này, chúng tôi giới thiệu CoT-Control, một bộ công cụ đánh giá mã nguồn mở để đo lường khả năng kiểm soát CoT của các mô hình suy luận. CoT-Control bao gồm hơn 13.000 tác vụ được xây dựng từ các benchmark đã được thiết lập:  GPQA, MMLU-Pro, HLE, BFCL và SWE-Bench đã xác minh⁠. Mỗi tác vụ được tạo bằng cách ghép một bài toán benchmark với một chỉ dẫn CoT như tránh một số từ khóa liên quan đến bài toán trong CoT, chỉ sử dụng chữ cái viết thường, hoặc thêm một từ đã cho vào cuối mỗi câu.

Chúng tôi thực hiện các đánh giá trên 13 mô hình suy luận và nhận thấy rằng tất cả chúng đều gặp khó khăn trong việc kiểm soát CoTs của mình một cách đáng tin cậy. Chúng tôi đo lường khả năng kiểm soát như một phần của các dấu vết suy luận mà mô hình tuân thủ thành công các hướng dẫn CoT của chúng tôi. Trên các mô hình tiên phong, điểm số kiểm soát CoT thấp, dao động từ 0,1% và không vượt quá 15,4% đối với bất kỳ mô hình tiên phong hiện tại nào mà chúng tôi đã thử nghiệm. 

Sự bất lực này không xuất phát từ việc hiểu sai nhiệm vụ: các mô hình thường nhận ra trong CoT của mình rằng chúng đang không tuân thủ các hướng dẫn CoT mà chúng được đưa ra và—ngay cả sau khi nhận ra điều này—vẫn tiếp tục thất bại. Hiệu suất thấp một cách đáng ngạc nhiên này là tin tốt cho khả năng giám sát CoT: điều đó cho thấy các mô hình có thể tương tự cũng thiếu khả năng làm mờ suy luận của mình để né tránh các bộ giám sát của chúng tôi.

Mặc dù chúng tôi thấy rằng khả năng kiểm soát tăng lên theo kích thước mô hình, chúng tôi cũng nhận thấy rằng nó nhanh chóng giảm đi theo lượng huấn luyện bổ sung và sức mạnh tính toán khi thử nghiệm. Xem xét trên hai họ mô hình trọng số mở, các mô hình lớn hơn kiểm soát chuỗi tư duy của chúng tốt hơn đôi chút, dù hiệu ứng này giảm dần ở các kích thước lớn hơn. Nhưng khi chúng tôi để các mô hình suy nghĩ lâu hơn, chúng trở nên kém có khả năng kiểm soát những chuỗi tư duy đó. Chúng tôi cũng thấy một xu hướng tương tự đối với quá trình huấn luyện RL của OLMo-3-7B-RL-Zero-Math: điểm số về khả năng kiểm soát của mô hình đã giảm hơn mười lần trong suốt quá trình huấn luyện.

Khả năng kiểm soát tăng theo quy mô trong các mô hình trọng số mở nhưng suy giảm khi suy luận dài hơn và được huấn luyện RL nhiều hơn.

Để mô phỏng các động lực thực tế nhằm né tránh các màn hình giám sát, chúng tôi đo lường khả năng kiểm soát khi các mô hình được nói rằng chúng đang bị theo dõi hoặc được đánh giá. Điều này làm tăng khả năng kiểm soát một chút (nhưng đáng kể). Chúng tôi cũng sử dụng tối ưu hóa câu lệnh tự động để tìm các câu lệnh gợi ra khả năng kiểm soát cao. Mặc dù bộ tối ưu hóa có thể tăng khả năng kiểm soát trên một tập huấn luyện, những lợi ích này chuyển giao kém sang các loại hướng dẫn mới (như yêu cầu không có khoảng trắng giữa các từ).

Các tác vụ trong CoT-Control là các đại diện thực tiễn: một đánh giá khả năng kiểm soát CoT lý tưởng sẽ bao gồm việc kiểm tra liệu các mô hình vốn tự nhiên theo đuổi các mục tiêu lệch chuẩn có thể kiểm soát CoT của mình để né tránh giám sát hay không. Thay vào đó, chúng tôi ước tính khả năng của các tác nhân trong việc kiểm soát CoTs của họ bằng cách đo lường khả năng của họ trong việc làm theo các hướng dẫn về CoT của họ. Hơn nữa, các mô hình có thể kiểm soát một số đặc điểm của CoT của chúng tốt hơn những đặc điểm khác, và CoT-Control có thể đang đánh giá quá cao hoặc quá thấp khả năng kiểm soát bằng cách chỉ đo lường một tập hẹp các loại khả năng kiểm soát.

Khả năng kiểm soát CoT thấp là một tính năng, không phải là một lỗi. Tính dễ kiểm soát thấp của các mô hình suy luận hiện tại khiến việc giám sát CoT trở nên đáng tin cậy hơn như một biện pháp bảo vệ. Đồng thời, chúng ta vẫn chưa hiểu tại sao khả năng kiểm soát của các mô hình suy luận hiện tại lại thấp—hoặc liệu đặc tính này có còn tồn tại khi các mô hình trở nên có khả năng hơn hay không. Do đó, việc đánh giá khả năng kiểm soát của CoT có thể được xem như một đánh giá "chim hoàng yến": một dấu hiệu cảnh báo sớm về việc các mô hình đang ngày càng giỏi hơn trong việc định hình hay che giấu suy luận của chúng. 

Kết quả của chúng tôi cho thấy rằng khả năng kiểm soát CoT hiện không có khả năng gây ra rủi ro lớn đối với khả năng theo dõi CoT. Tuy nhiên, khả năng kiểm soát thấp không đủ để đảm bảo khả năng giám sát cao vì khả năng giám sát vẫn có thể bị suy giảm do các cơ chế khác như áp lực tối ưu hóa trực tiếp lên COTs. 

Để giúp theo dõi các động lực này theo thời gian, chúng tôi sẽ bắt đầu báo cáo khả năng kiểm soát CoT cùng với khả năng giám sát CoT⁠ trong thẻ hệ thống cho các mô hình tiên phong trong tương lai, bắt đầu với GPT‑5.4 Suy nghĩ, dựa trên cam kết liên tục⁠ của chúng tôi về việc không áp dụng áp lực tối ưu hóa trực tiếp lên các CoT của các mô hình suy luận tiên phong.