Control Room

Khi các mô hình ngày càng mạnh mẽ và những rủi ro đi kèm về an toàn, bảo mật ngày càng lớn, khả năng phát hiện vấn đề tiềm ẩn và nhanh chóng dừng mô hình khi cần càng trở nên thiết yếu. Để giải quyết vấn đề này, chúng tôi đã xây dựng Control Room.

Control Room là hệ thống tập trung để theo dõi các tác vụ mô hình trên toàn bộ hạ tầng nghiên cứu của chúng tôi và nhanh chóng dừng chúng khi xuất hiện lo ngại về an toàn hoặc bảo mật. Hệ thống kết nối mọi tác vụ suy luận phục vụ nghiên cứu, bao gồm lấy mẫu bằng tác nhân để huấn luyện và đánh giá mô hình, xử lý dữ liệu cùng nhiều tác vụ khác. Hệ thống này phối hợp với các hệ thống giám sát hành vi lệch mục tiêu của chúng tôi và ngăn mô hình tạo đầu ra trong vòng 35 giây kể từ khi có quyết định can thiệp để dừng hoặc tạm dừng tác vụ. Hệ thống được xây dựng để tiếp tục hoạt động ngay cả khi các hệ thống khác gặp sự cố, đồng thời ngăn mô hình tạo đầu ra nếu chính Control Room ngừng hoạt động.

Control Room đã được triển khai trên toàn bộ hạ tầng nghiên cứu của chúng tôi, nơi có nhu cầu lớn nhất. Hệ thống phục vụ mô hình cho người dùng bên ngoài vốn đã tập trung hơn nhiều, với năng lực vận hành hoàn thiện để nhanh chóng ngừng các bản triển khai mô hình khi cần.

Control Room hoạt động bằng cách tích hợp một số thành phần: tác vụ, bộ máy suy luận và dịch vụ Control Room tập trung.

• Tác vụ là công việc đang chạy, chẳng hạn như một thí nghiệm học tăng cường, một lượt đánh giá, một công việc lấy mẫu quy mô lớn hoặc xử lý dữ liệu. Chúng tôi yêu cầu mọi tác vụ nghiên cứu thực hiện suy luận bằng tác nhân phải gắn với một hồ sơ chứng minh an toàn đã được phê duyệt.

• Bộ máy suy luận, hay gọi ngắn gọn là bộ máy, chính là mô hình. Bạn có thể hình dung bộ máy này như bộ não của mô hình, chạy trực tiếp trên GPU. Một tác vụ thường sử dụng một hoặc nhiều mô hình, có thể chạy trên một hoặc nhiều bộ máy suy luận khác nhau. Một bộ máy suy luận có thể được nhiều tác vụ khác nhau cùng sử dụng.

• Dịch vụ Control Room theo dõi các tác vụ và kiểm soát việc chúng có được phép tiếp tục tạo đầu ra từ mô hình hay không. Các bộ máy suy luận kiểm tra với dịch vụ Control Room trước khi thực hiện yêu cầu. Nếu tác vụ đã bị dừng, dịch vụ sẽ từ chối yêu cầu, ngăn việc tạo thêm đầu ra.

Control Room được tích hợp như sau:

• Khi bắt đầu một tác vụ mới, mã tác vụ yêu cầu Control Room cấp một job_id mới.

• Mỗi khi tác vụ cần lấy mẫu token từ một mô hình, nó gửi yêu cầu đến bộ máy suy luận đang chạy mô hình đó, kèm theo job_id. Bộ máy xin phép Control Room thực hiện yêu cầu đó, đồng thời chuyển job_id cho Control Room.

• Control Room kiểm tra xem tác vụ đó đã bị chấm dứt hay chưa; nếu đã chấm dứt, hệ thống sẽ từ chối yêu cầu suy luận. Bộ máy trả về phản hồi từ chối yêu cầu suy luận của tác vụ, ngăn mô hình tạo thêm đầu ra cho tác vụ đó.

Mọi tác vụ học tăng cường cho mô hình tiên phong của chúng tôi đều chạy kèm một mô hình giám sát. Mô hình giám sát là một mô hình khác có nhiệm vụ kiểm tra mọi hoạt động của mô hình đang được huấn luyện và phát cảnh báo nếu phát hiện vấn đề. Chẳng hạn, sự cố liên quan đến DNS⁠(mở trong cửa sổ mới) gần đây của chúng tôi đã được một mô hình giám sát phát hiện.

Control Room và hệ thống giám sát của chúng tôi được tích hợp như sau:

• Nếu phát hiện vấn đề tiềm ẩn, hệ thống giám sát có thể quyết định dừng tác vụ, tùy theo tình huống cụ thể và mức độ nghiêm trọng.

• Trong trường hợp này, hệ thống giám sát gửi thông điệp yêu cầu Control Room dừng tác vụ, kèm theo job_id. Control Room ghi nhận rằng tác vụ đã bị chấm dứt.

• Lần tiếp theo tác vụ mang job_id đó gửi yêu cầu suy luận để lấy mẫu thêm token từ bất kỳ mô hình nào chạy trên bất kỳ bộ máy nào, yêu cầu sẽ bị từ chối, ngăn mô hình tạo thêm đầu ra.

Thời gian tối đa từ khi Control Room nhận lệnh dừng một tác vụ đến khi tác vụ đó không thể tiếp tục xử lý là 35 giây. Độ trễ 35 giây này bắt nguồn từ lớp bộ nhớ đệm dùng để cấp quyền suy luận, nhằm đáp ứng lưu lượng cần thiết. Chúng tôi đang nỗ lực đưa con số này về 0 để có thể kết thúc tác vụ ngay lập tức.

Các tác vụ, bao gồm thí nghiệm, đánh giá và những công việc khác, thường do các nhà nghiên cứu hoặc nhóm nghiên cứu quản lý và vận hành. Vì vậy, mã tác vụ thường xuyên thay đổi và không phải là nơi lý tưởng để triển khai các cơ chế bảo vệ an toàn cốt yếu. Do đó, hệ thống của chúng tôi được thiết kế để vẫn hoạt động vững vàng ngay cả khi mã tác vụ có lỗi hoặc không hoạt động.

Chúng tôi thực hiện điều này bằng cách triển khai cơ chế chấm dứt tác vụ ở lớp suy luận. Mã tác vụ rất đa dạng và được quản lý phân tán. Ngược lại, toàn bộ hoạt động nghiên cứu của OpenAI chỉ sử dụng một số rất ít luồng thực thi mã suy luận, với cách triển khai tập trung và đồng nhất hơn nhiều. Nhờ đó, lớp suy luận có thể đóng vai trò là điểm kiểm soát bắt buộc, giúp chúng tôi bảo đảm chắc chắn rằng mọi hoạt động suy luận của mô hình trong nghiên cứu đều phải qua bước kiểm tra cấp quyền của Control Room đối với từng yêu cầu suy luận. Chúng tôi cũng liên tục rà soát bằng tác nhân và chương trình để kiểm tra rằng người dùng không vô tình hoặc cố ý khởi chạy các bản triển khai bộ máy suy luận ngoài kiểm soát, chưa tích hợp hoặc đã vô hiệu hóa Control Room.

Cuối cùng, hệ thống của chúng tôi áp dụng nguyên tắc “từ chối khi gặp sự cố”: phần tích hợp Control Room trong các bộ máy suy luận được cấu hình sao cho nếu dịch vụ Control Room ngừng hoạt động, dù do lỗi hệ thống hay bị vô hiệu hóa vì bất kỳ lý do nào khác, kể cả hành vi phá hoại của kẻ xấu, thì mọi yêu cầu suy luận đều bị từ chối cho đến khi Control Room hoạt động bình thường trở lại. Cơ chế từ chối khi gặp sự cố hiện đã được triển khai cho toàn bộ tác vụ nghiên cứu mô hình tiên phong và sẽ được triển khai xong cho mọi tác vụ nghiên cứu còn lại trong vài ngày tới.

Control Room chỉ là một phần trong cách tiếp cận toàn diện của chúng tôi nhằm huấn luyện và triển khai các mô hình tiên phong một cách an toàn. Trong những tháng tới, chúng tôi sẽ tiếp tục củng cố và mở rộng hệ thống, đồng thời đầu tư vào việc giám sát hành vi lệch mục tiêu và các vụ xâm phạm bảo mật. Nếu bạn muốn góp phần xây dựng các hệ thống giúp phát triển và triển khai AGI an toàn, bảo mật, chúng tôi⁠ đang tuyển dụng⁠!