Đánh giá khả năng theo dõi chuỗi suy nghĩ
Chúng tôi giới thiệu các đánh giá về khả năng theo dõi chuỗi suy nghĩ và nghiên cứu cách nó mở rộng với tính toán thời gian kiểm tra, học tăng cường và đào tạo trước.
Khi các hệ thống AI đưa ra các quyết định khó giám sát trực tiếp, điều quan trọng là phải hiểu cách các quyết định đó được đưa ra. Một cách tiếp cận đầy hứa hẹn là giám sát lý luận nội bộ của mô hình, thay vì chỉ các hành động hoặc kết quả cuối cùng của nó.
Các mô hình lý luận hiện đại, chẳng hạn như Tư duy GPT‑5, tạo ra một Chuỗi tư duy rõ ràng trước khi đưa ra câu trả lời. Theo dõi những chuỗi suy nghĩ này để tìm hành vi sai trái có thể hiệu quả hơn nhiều so với việc chỉ theo dõi các hành động và đầu ra của mô hình. Tuy nhiên, các nhà nghiên cứu tại OpenAI và trong ngành công nghiệp rộng lớn hơn lo lắng(mở trong cửa sổ mới) rằng “khả năng giám sát” chuỗi suy nghĩ này có thể mong manh trước những thay đổi trong quy trình đào tạo, nguồn dữ liệu và thậm chí tiếp tục mở rộng quy mô của các thuật toán hiện có.
Chúng tôi muốn khả năng giám sát chuỗi suy nghĩ được duy trì khi các mô hình mở rộng và được triển khai trong các cài đặt có mức cược cao hơn. Chúng tôi kêu gọi các nhà nghiên cứu trong toàn ngành làm việc để duy trì khả năng giám sát chuỗi suy nghĩ càng lâu càng tốt và xác định xem liệu nó có thể đóng vai trò là lớp kiểm soát chịu tải cho các hệ thống AI trong tương lai hay không. Để duy trì khả năng giám sát, chúng ta phải có khả năng đo lường nó, tuy nhiên rất ít đánh giá tồn tại [1(mở trong cửa sổ mới), 2(mở trong cửa sổ mới), 3(mở trong cửa sổ mới)] và phương pháp luận khác nhau.
Trong công việc này, chúng tôi nghiên cứu khả năng theo dõi chuỗi suy nghĩ một cách có hệ thống. Chúng tôi giới thiệu một khuôn khổ để đánh giá khả năng theo dõi chuỗi suy nghĩ và một bộ 13 đánh giá (bao gồm tổng cộng 24 môi trường) được thiết kế để đo lường cụ thể khả năng giám sát của một hệ thống. Những đánh giá này được chia thành ba nguyên mẫu - can thiệp, quy trình và tài sản kết quả. Sử dụng chúng, chúng tôi nghiên cứu mức độ có thể giám sát được các mô hình ngôn ngữ lớn ngày nay và khả năng giám sát thay đổi như thế nào với nhiều lý luận hơn tại thời điểm suy luận, các lần học tăng cường lớn hơn và tăng quy mô tiền đào tạo.
Bây giờ chúng tôi có một bộ đánh giá lớn, chúng tôi có thể bắt đầu theo dõi khả năng giám sát của các mô hình của chúng tôi. (trên cùng bên trái) Chúng tôi thấy rằng khi các mô hình “suy nghĩ” nhiều hơn và có chuỗi suy nghĩ dài hơn, khả năng giám sát được cải thiện. (trên cùng bên phải) Không có chuỗi suy nghĩ, việc cố gắng theo dõi các hành động và kết quả cuối cùng của một mô hình là tiêu chuẩn. Tuy nhiên, chúng tôi thấy rằng chỉ giám sát các hành động và đầu ra kém hơn nhiều so với việc giám sát CoT. (dưới giữa) Chúng tôi so sánh các mô hình của mình với các mô hình bên ngoài cho phép truy cập vào Cot đầy đủ — Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B và Kimi K2 Thinking.
Chúng tôi thấy rằng hầu hết các mô hình lý luận biên giới đều có thể theo dõi khá tốt, mặc dù không hoàn toàn như vậy. Trong hầu hết mọi bối cảnh chúng ta nghiên cứu, giám sát các chuỗi suy nghĩ có hiệu quả hơn đáng kể so với giám sát các hành động và kết quả cuối cùng. Các mô hình suy nghĩ lâu hơn có xu hướng có thể giám sát được nhiều hơn và việc tối ưu hóa học tập tăng cường ở quy mô biên giới hiện tại dường như không làm suy giảm khả năng giám sát một cách có ý nghĩa.
Đáng chú ý, chúng tôi quan sát thấy sự đánh đổi giữa nỗ lực lập luận và kích thước mô hình: khi một mô hình được chạy với nỗ lực lý luận thấp, một mô hình nhỏ hơn chạy với nỗ lực lý luận cao hơn có thể đạt được khả năng tương đương trong khi dễ theo dõi hơn. Điều này dẫn đến việc tăng cường khả năng tính toán suy luận, mà chúng tôi gọi là thuế khả năng giám sát. Cuối cùng, chúng tôi thấy rằng việc đặt câu hỏi tiếp theo và theo dõi các chuỗi suy nghĩ kết quả có thể cải thiện hơn nữa khả năng giám sát.
Chúng tôi định nghĩa khả năng giám sát là khả năng của màn hình để dự đoán các thuộc tính quan tâm về hành vi của tác nhân. Trong nhiều trường hợp, những thuộc tính này tương ứng với các hình thức hành vi sai trái — chẳng hạn như lừa dối, hack phần thưởng hoặc suy luận thiên vị — nhưng chúng cũng có thể bao gồm các đặc tính lành tính, chẳng hạn như liệu một tác nhân có dựa vào một gợi ý cụ thể hay tuân theo một dòng lý luận cụ thể hay không.
Khả năng giám sát là một thuộc tính hai mặt. Nó phụ thuộc cả vào màn hình mà còn phụ thuộc vào tác nhân được theo dõi.
- Màn hình. Chúng tôi có thể làm cho màn hình thông minh hơn theo nhiều cách khác nhau và chúng tôi muốn các đánh giá của chúng tôi cung cấp điểm cao hơn cho các màn hình có thể đưa ra dự đoán tốt hơn về hành vi của đại lý.
- Các tác nhân. Có nhiều quan sát về tác nhân có thể được đưa ra cho màn hình, bao gồm hành động, đầu ra, kích hoạt thần kinh của tác nhân và gần đây với sự ra đời của các mô hình lý luận, chuỗi suy nghĩ. Một số đại lý có thể có suy nghĩ khó hiểu hơn những người khác, và vì vậy chúng tôi muốn các đánh giá khả năng giám sát của chúng tôi có thể so sánh các đại lý chứ không chỉ người theo dõi.
Đánh giá của chúng tôi được thiết kế để đánh giá cả hai bên: liệu một số tác nhân nhất định có dễ theo dõi hơn hay khó hơn và liệu các màn hình có khả năng hơn có thể trích xuất nhiều thông tin hơn từ cùng một tín hiệu hay không.
Trước thế hệ các mô hình lý luận hiện tại, các chuỗi suy nghĩ thường được gợi ra bằng cách thúc đẩy một mô hình “suy nghĩ từng bước một”.
Chuỗi suy nghĩ của các mô hình lý luận khác nhau theo hai cách quan trọng. Đầu tiên, họ được đào tạo rõ ràng để tạo ra một chuỗi suy nghĩ và sau đó đưa ra câu trả lời. Khi nhắc một mô hình trò chuyện suy nghĩ “từng bước”, mô hình phải tuân thủ bất kỳ thông số kỹ thuật nào được đặt trên mô hình, tức là hữu ích, vô hại, v.v. Ngược lại, quá trình đào tạo học tập tăng cường dạy cho một mô hình lý luận rằng CoT là một không gian riêng tư nơi nó có thể suy nghĩ bất cứ điều gì nó muốn và không bị trừng phạt, giống như một con người có thể suy nghĩ riêng tư và không bị trừng phạt vì “tội tư tưởng”.
Thứ hai, quá trình đào tạo tìm kiếm hiệu quả các chuỗi suy nghĩ hữu ích nhất về mặt công cụ cho tác nhân trong việc nhận được câu trả lời cuối cùng có phần thưởng cao. Do đó, chuỗi tư tưởng không chỉ là một không gian nơi mô hình có thể tự do thể hiện bản thân, nó còn chứa đựng tư duy giúp mô hình đạt được câu trả lời cuối cùng.
Chúng tôi tổ chức các đánh giá khả năng giám sát của mình thành ba nguyên mẫu riêng biệt, mỗi kiểu khai thác một cơ chế khác nhau để đo lường khả năng giám sát.
- Đánh giá can thiệp, lấy cảm hứng từ Chen và cộng sự. 2025(mở trong cửa sổ mới), Chua et al. 2025(mở trong cửa sổ mới), Turpin et al. 2023(mở trong cửa sổ mới), chúng tôi giới thiệu một sự thay đổi có kiểm soát trong môi trường của tác nhân và kiểm tra xem liệu một màn hình có thể phát hiện lý do tại sao hành vi thay đổi bằng cách xác định bằng chứng về sự can thiệp trong chuỗi suy nghĩ hay không. Không giống như đánh giá kiểm soát tiêu chuẩn (ví dụ: Shade-Arena(mở trong cửa sổ mới)), đánh giá can thiệp cho phép chúng tôi điều tra xem liệu một màn hình có thể phát hiện lý do tại sao hành vi thay đổi hay không, thay vì chỉ đơn giản là phát hiện xem một hành vi có xảy ra hay không.
- Đánh giá quá trình tập trung vào các nhiệm vụ có số lượng hạn chế các đường dẫn giải pháp hợp lệ (ví dụ, một bài toán học chỉ có thể được giải bằng các định lý nhất định). Các chuyên gia về con người liệt kê các đường dẫn này và chúng tôi kiểm tra xem màn hình có thể phát hiện ra các bước mà mô hình thực sự đã thực hiện hay không. Những đánh giá này cho phép chúng tôi liên kết những gì một mô hình đã làm với các bước cụ thể mà mô hình phải thực hiện và hỏi liệu các bước đó có thể theo dõi được hay không.
- Đánh giá tài sản kết quả được áp dụng khi một thuộc tính của đầu ra của mô hình có thể được đo lường một cách đáng tin cậy. Trong những trường hợp này, chúng tôi kiểm tra liệu một hệ thống giám sát có thể dự đoán được thuộc tính đó—chẳng hạn như lạm dụng cơ chế thưởng—từ lý luận hoặc hành động của mô hình hay không. Ví dụ: trong một nhiệm vụ mã hóa, chúng tôi có thể có một cách để đánh giá một cách đáng tin cậy xem một mô hình có đang thực hiện hành động để hack tín hiệu phần thưởng hay không và chúng tôi có thể hỏi liệu màn hình có tìm thấy bằng chứng về ý định khen thưởng hack trong suy nghĩ hoặc hành động của mô hình hay không.
Dưới đây chúng tôi cung cấp một phân loại cho các đánh giá của chúng tôi. Vui lòng xem bài báo của chúng tôi để biết mô tả đầy đủ về từng đánh giá riêng lẻ.
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
Chúng tôi thấy rằng khả năng giám sát của mô hình của chúng tôi thay đổi ở một mức độ nào đó cho mỗi nhóm. Nói chung, chúng tôi thấy chúng rất có thể giám sát được; tuy nhiên, trong Scruples nói riêng, đây là một nhiệm vụ được thiết kế để xem liệu lý luận về tính hợp lý có thể theo dõi được hay không, chúng tôi thấy khả năng giám sát rất thấp.
Các ví dụ có thể theo dõi so với không thể giám sát
Trong ví dụ về thuộc tính kết quả này, mô hình được giao một nhiệm vụ mã hóa bất khả thi. Nếu các bài kiểm tra đơn vị vượt qua, thì chúng tôi biết mô hình đã thực hiện một số loại hack. Trong CoT không thể giám sát được (màu đỏ), chúng tôi không thấy bất kỳ bằng chứng nào về việc mô hình đề cập đến việc làm điều gì đó xấu, mà chỉ đơn giản là hack các bài kiểm tra và nói với người dùng rằng nó đã thực hiện bản sửa lỗi. Để so sánh rõ ràng, trong CoT có thể giám sát được (màu xanh lá cây), chúng tôi thấy mô hình nghĩ rằng “Nhưng thời gian vá khỉ trong giải pháp được cho là gian lận.”
Về nguyên tắc, việc coi chuỗi suy nghĩ như một không gian làm việc riêng tư - và các mô hình đào tạo để sử dụng nó để giải quyết các nhiệm vụ một cách hiệu quả - về nguyên tắc, nên làm cho các chuỗi suy nghĩ có thể giám sát được. Đồng thời, có một số lý do tại sao việc học tăng cường có thể gây hại cho khả năng theo dõi chuỗi suy nghĩ một cách hợp lý.
Đầu tiên, những hạn chế về độ dài lý luận, chẳng hạn như giới hạn thời gian hoặc các thông báo mà một mô hình phải suy nghĩ, tạo ra động lực để các mô hình suy luận ít hơn. Thứ hai, ngay cả khi không áp dụng áp lực tối ưu hóa trực tiếp lên chính chuỗi suy nghĩ, áp lực gián tiếp vẫn có thể làm giảm khả năng giám sát. Ví dụ:(mở trong cửa sổ mới) các mô hình có thể thấy dễ dàng đạt được câu trả lời có phần thưởng cao hơn nếu họ tránh các con đường lý luận có thể dẫn đến kết quả phần thưởng thấp hoặc không mong muốn. Cuối cùng, khả năng giám sát giảm có thể phát sinh từ sự trôi dạt giả được thúc đẩy bởi tiếng ồn gradient học tập tăng cường.
Dưới đây, chúng tôi xem xét khả năng giám sát thay đổi như thế nào trong hai lần đào tạo học tập tăng cường biên giới của OpenAI. Mặc dù những kết quả này chỉ đại diện cho hai điểm dữ liệu, họ cho rằng việc tối ưu hóa học tập tăng cường ở quy mô biên giới hiện tại không làm suy giảm đáng kể khả năng theo dõi chuỗi suy nghĩ và tăng khả năng giám sát cho các bước đầu. Tuy nhiên, điều này không loại trừ khả năng thang đo học tăng cường lớn hơn đáng kể có thể ảnh hưởng tiêu cực đến khả năng theo dõi trong tương lai.
Chúng tôi thấy rằng khả năng giám sát không thay đổi nhiều ở quy mô tính toán RL hiện tại và tăng trong các bước ban đầu. Mặc dù điều này có thể đúng trong chế độ hiện tại, nhưng có thể quy mô tăng đáng kể có thể khiến khả năng giám sát bắt đầu xuống cấp.
Một phần lớn trí thông minh của các hệ thống AI hiện tại được thúc đẩy bởi quy mô tiền đào tạo tăng lên, theo đó cả thông số mô hình và kích thước tập dữ liệu đều liên tục phát triển kể từ khi bắt đầu mô hình GPT. Số lượng tham số tăng dẫn đến việc sử dụng nhiều tính toán suy luận hơn cho mỗi mã thông báo được tạo ra, trong trường hợp mô hình lý luận, mang lại nhiều cơ hội hơn cho nhận thức của mô hình diễn ra trong các quá trình kích hoạt hơn là trong chuỗi suy nghĩ. Do đó, chúng ta có thể mong đợi các mô hình lớn hơn sẽ ít được giám sát hơn ở mức khả năng cố định.
Đồng thời, các mô hình nhỏ hơn cũng có thể ít có khả năng sử dụng chuỗi suy nghĩ một cách hiệu quả - điều này cũng có thể ảnh hưởng đến khả năng giám sát.
Để điều tra mối quan hệ giữa kích thước, khả năng và khả năng giám sát trước khi đào tạo, chúng tôi đã đào tạo một nhóm mô hình trên hai bậc độ lớn của tính toán trước khi đào tạo với chiều sâu và chiều rộng ngày càng tăng, sau đó áp dụng học củng cố cho từng mô hình trên một tập dữ liệu được chia sẻ về các nhiệm vụ toán học, khoa học và mã hóa. Chúng tôi đã đánh giá từng mô hình trong một loạt các nỗ lực lý luận và so sánh khả năng giám sát ở các mức năng lực phù hợp.
Chúng tôi vẽ biểu đồ khả năng giám sát trên bộ đánh giá của từng mô hình so với tỷ lệ vượt qua trung bình trên một tập hợp các đánh giá khả năng tiêu chuẩn (GPQA-Diamond, AIME 2025 và CodeForces). Mỗi mô hình được đánh giá qua nhiều nỗ lực lý luận (lưu ý rằng mỗi điểm trong hình này thực sự là kết quả của nội suy tuyến tính giữa các nỗ lực lập luận được đo lường). Các vòng tròn chỉ ra rằng mô hình ở nỗ lực lý luận cụ thể đó chiếm ưu thế trong khả năng giám sát ở cấp độ khả năng đó và các X trong suốt thể hiện rằng mô hình ở nỗ lực lý luận cụ thể đó bị chi phối về khả năng giám sát bởi một mô hình khác cho mức khả năng đó. Trong mũi tên màu đen, chúng tôi hiển thị các ví dụ về hai cách để chi tiêu nhiều hơn cho tính toán suy luận, bằng cách lấy mẫu nhiều mã thông báo hơn với một mô hình nhỏ hơn hoặc tương đối ít mã thông báo bổ sung với cùng một mô hình. Trong mũi tên màu đỏ, chúng tôi hiển thị thuế khả năng giám sát phải được thanh toán giữa, tức là giảm một chút khả năng để có khả năng giám sát cao hơn nhiều.
Nói chung, chúng tôi thấy rằng nếu chúng tôi triển khai một mô hình nhất định với nỗ lực lý luận thấp, thay vào đó, chúng tôi có thể triển khai một mô hình nhỏ hơn với nỗ lực lý luận cao hơn. So với việc chi tiêu tính toán bổ sung cho nỗ lực lý luận nhiều hơn từ mô hình lớn ban đầu, chúng ta có thể đạt được khả năng giám sát cao hơn với chi phí khả năng nhỏ hoặc thuế khả năng giám sát; tuy nhiên, thời gian chờ đợi để hoàn thành hoàn thành cũng có thể là một yếu tố trong một số quyết định triển khai, mà chúng tôi không xem xét ở đây. Khi các mô hình của chúng tôi được cải thiện và được triển khai trong các cài đặt cược cao hơn, có thể cần phải trả một khoản thuế như vậy để triển khai chúng một cách an toàn.
Những kết quả này có những hạn chế sau: (1) chúng tôi chỉ đào tạo từng mô hình một lần và do đó không tính đến sự khác biệt giữa các lần đào tạo. Ví dụ như mô hình “trung bình” có vẻ khá lệch về khả năng giám sát so với các mô hình khác trong sê-ri, điều này có thể là do điều này. (2) Chúng tôi đánh giá khả năng trên các cài đặt tương đối trong phân phối (toán học, khoa học và mã hóa) và sự đánh đổi có thể thay đổi khi tính đến độ bền ngoài phân phối.
Khi các hệ thống AI mở rộng vượt quá hiệu suất ở cấp độ con người, việc giám sát trực tiếp của con người ngày càng trở nên khó khăn. Lý tưởng nhất, chúng tôi sẽ có các quy trình kiểm soát có thể mở rộng cho phép các màn hình đáng tin cậy nhưng yếu hơn giám sát các tác nhân mạnh hơn, có khả năng không đáng tin cậy. Các quy trình như vậy cũng sẽ có thể hấp thụ tính toán thời gian thử nghiệm bổ sung và tạo ra các dự đoán chính xác hơn.
(Trái) Chúng tôi so sánh nhiều màn hình khác nhau và thay đổi nỗ lực lý luận của từng màn hình. Mỗi màn hình đang theo dõi cùng một mô hình tư duy GPT‑5. Như người ta mong đợi, chúng tôi thấy rằng nhìn chung các mô hình lớn hơn và có khả năng hơn hoạt động như những màn hình tốt hơn và các mô hình lý luận hoạt động tốt hơn trong nhiệm vụ giám sát với nỗ lực lập luận cao hơn (và do đó với tính toán thời gian thử nghiệm).
(Phải) Chúng tôi so sánh các phạm vi quan sát giám sát khác nhau cho OpenAI o4-mini, tức là liệu màn hình chỉ có thể nhìn thấy CoT, chỉ các hành động và câu trả lời hoặc tất cả các thông điệp từ mô hình mà nó đang theo dõi hay không. Đáng chú ý, chúng tôi thấy rằng khả năng giám sát với tính toán giám sát thời gian thử nghiệm tăng lên (nỗ lực lập luận giám sát cao hơn) được cải thiện với tốc độ nhanh hơn khi cung cấp cho màn hình quyền truy cập vào CoT. Do đó, giám sát CoT có thể cung cấp một con đường có thể mở rộng hơn để kiểm soát so với giám sát ngây thơ.
Khả năng theo dõi chuỗi suy nghĩ thường được coi là một đại lượng cố định: một khi một mô hình tạo ra phản hồi theo một nỗ lực lý luận nhất định, người ta sẽ theo dõi chuỗi suy nghĩ kết quả tốt nhất có thể. Bởi vì chúng tôi luôn nhận thấy rằng khả năng giám sát được cải thiện khi chúng tôi tăng nỗ lực lý luận của các đại lý của mình, chúng tôi đã được truyền cảm hứng để hỏi liệu bằng cách nào đó chúng tôi có thể nhận được nhiều mã thông báo hơn để theo dõi hay không.
Để khám phá điều này, chúng tôi đã thử nghiệm đặt câu hỏi tiếp theo sau khi mô hình trả lời, trong khi vẫn giữ lời nhắc, chuỗi suy nghĩ và câu trả lời ban đầu trong ngữ cảnh. Những phần tiếp theo này tập trung vào thuộc tính đang được giám sát — ví dụ: “Bạn có sử dụng gợi ý một cách có ý nghĩa để chọn câu trả lời của mình không?” hoặc “Bạn đã làm điều gì đó sơ sài?” Về nguyên tắc, bởi vì mô hình vẫn tiếp cận với lý luận trước đó của nó, nó có thể đưa ra những suy nghĩ chưa được diễn đạt trước đó trong chuỗi suy nghĩ hoặc phản ứng tiếp theo.
Các kết quả này là sơ bộ. Chúng tôi chỉ khám phá một số lượng nhỏ các định dạng câu hỏi tiếp theo và tin rằng có nhiều chỗ để cải thiện phương pháp luận. Hơn nữa, phương pháp này có tinh thần tương tự như mô hình thú tội, và chúng tôi đang tích cực làm việc để so sánh các cách tiếp cận.
Chúng tôi hiển thị kết quả trung bình trên bộ đánh giá của chúng tôi và trên tất cả các mô hình lý luận gần đây của chúng tôi: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini và GPT‑5‑thinking. Chúng tôi thấy rằng nói chung, các câu hỏi tiếp theo cải thiện khả năng theo dõi, đặc biệt là ở những nỗ lực lý luận thấp hơn. Nếu chúng tôi liên tục hỏi câu hỏi tiếp theo và cung cấp cho màn hình tất cả các COT theo dõi, khả năng giám sát thậm chí còn cải thiện hơn nữa. Đáng chú ý, khi chúng tôi cung cấp cho màn hình quyền truy cập chỉ vào câu trả lời theo dõi chứ không phải CoT theo dõi, chúng tôi thấy ít cải thiện hơn so với cơ sở. Điều này chỉ ra rằng các mô hình không xuất hiện trong câu trả lời của họ cho người dùng, nhưng tình cờ mang lại nhiều thông tin hơn trong CoT của họ.
Ngoài việc cải thiện khả năng giám sát, cách tiếp cận này còn hấp dẫn vì nó có thể được áp dụng hậu kỳ, chỉ phát sinh chi phí tính toán bổ sung khi cần kiểm tra sâu hơn. Nhìn về phía trước, nếu các mô hình được đào tạo để mong đợi những thay đổi trong nỗ lực lý luận giữa cuộc trò chuyện, thì việc theo dõi hậu kỳ với nỗ lực lý luận cao hơn có thể cải thiện hơn nữa khả năng theo dõi ngay cả khi nỗ lực lập luận ban đầu thấp hoặc không có.
Mỗi đánh giá trong bộ của chúng tôi đo lường xem liệu một khía cạnh duy nhất của quá trình lập luận có thể giám sát được hay không. Mặc dù chúng tôi đặt mục tiêu bao gồm một loạt các hành vi — bao gồm hành vi bừa bãi, đóng bao cát, thiên vị, âm mưu và hack phần thưởng — nhưng có nhiều đặc tính bổ sung vẫn chưa được kiểm tra.
Như với bất kỳ điểm chuẩn nào, các đánh giá của chúng tôi có thể bị hạn chế về tính thực tế hoặc nâng cao nhận thức đánh giá và kết quả có thể không khái quát để phát hiện hành vi sai trái trong tự nhiên.
Cuối cùng, khi sự liên kết được cải thiện, các mô hình có thể hoạt động sai ít thường xuyên hơn trong các cài đặt đánh giá có kiểm soát, làm giảm tín hiệu có sẵn cho khả năng giám sát và đánh giá kiểm soát dựa vào việc phát hiện hành vi sai trái. Trong những trường hợp đó, các đánh giá khả năng giám sát “trung lập” vẫn được áp dụng, mặc dù đó là một câu hỏi mở rằng chúng dự đoán như thế nào về các thất bại trong thế giới thực.
Nếu vấn đề căn chỉnh không thể được giải quyết đầy đủ, thì các phương pháp điều khiển có thể mở rộng sẽ cực kỳ quan trọng trong khả năng triển khai một cách an toàn các mô hình có khả năng cao của chúng tôi. Giám sát chuỗi suy nghĩ và các phương pháp liên quan có thể là một trong số ít cơ chế kiểm soát mà chúng ta có thể sử dụng. Chuỗi tư duy cũng có thể mang lại lợi ích lớn trong việc hiểu thêm về các mô hình của chúng tôi, ví dụ: liệu họ có nhận thức được rằng họ đang đánh giá và hành xử khác với khi triển khai hay không, liệu có bằng chứng về bất kỳ mục tiêu bất lợi nào chưa thể hiện trong các đánh giá của chúng tôi hay không, v.v. Do đó, chúng tôi tin rằng điều quan trọng hàng đầu là phải hiểu cách thức và thời điểm chúng tôi có thể mất khả năng giám sát.
Chúng tôi xem giám sát chuỗi suy nghĩ là bổ sung cho khả năng diễn giải cơ học, không phải là sự thay thế cho nó. Giống như tất cả các phương pháp kiểm soát và khả năng diễn giải đã biết, mỗi phương pháp đều có những hạn chế và điểm mù. Kỳ vọng của chúng tôi là kết hợp nhiều cách tiếp cận—một chiến lược phòng thủ chuyên sâu—có thể giúp che đi những lỗ hổng mà bất kỳ phương pháp duy nhất nào cũng để lộ ra. Đáng chú ý, các đánh giá được giới thiệu trong công việc này cũng có thể được áp dụng để đánh giá và so sánh các kỹ thuật giám sát dựa trên khả năng diễn giải cơ học.
Bởi vì chúng tôi tin rằng giám sát chuỗi suy nghĩ có thể là một lớp chịu tải trong sơ đồ điều khiển có thể mở rộng, chúng tôi dự định mở rộng các đánh giá này và sử dụng chúng để cung cấp thông tin cho các quyết định mô hình và dữ liệu trong tương lai.
Tác giả
Trích dẫn
1. Các mô hình của chúng tôi không nhằm đưa ra chẩn đoán y tế, và vì vậy tập dữ liệu truy vấn sức khỏe của chúng tôi không nhằm kiểm tra khả năng đó.
