Mạng lưới kiểm thử đội đỏ (red team) của OpenAI

Chúng tôi thông báo mở đăng ký tham gia Mạng lưới kiểm thử đội đỏ (red team) của OpenAI và mời các chuyên gia có chuyên môn trong từng lĩnh vực, quan tâm đến việc nâng cao độ an toàn của các mô hình OpenAI, cùng chung tay thực hiện. Chúng tôi đang tìm kiếm chuyên gia từ nhiều lĩnh vực để cùng đánh giá nghiêm ngặt và thực hiện kiểm thử đội đỏ (red team) cho các mô hình AI của mình.

Kiểm thử đội đỏ (red team)^A là một phần không thể thiếu trong quy trình triển khai lặp lại⁠ của chúng tôi. Trong vài năm qua, hoạt động kiểm thử đội đỏ (red team) của chúng tôi đã phát triển từ việc tập trung vào kiểm thử đối kháng nội bộ tại OpenAI sang hợp tác với một nhóm chuyên gia bên ngoài^B để xây dựng hệ thống phân loại rủi ro theo từng lĩnh vực và đánh giá các năng lực có thể gây hại trong những hệ thống mới. Bạn có thể tìm hiểu thêm về những hoạt động kiểm thử đội đỏ (red team) trước đây của chúng tôi, bao gồm việc hợp tác với các chuyên gia bên ngoài, trên những mô hình như DALL·E 2⁠(mở trong cửa sổ mới) và GPT‑4⁠(mở trong cửa sổ mới).^C

Hôm nay, chúng tôi khởi động một chương trình bài bản hơn để phát huy những nền tảng đã có, đồng thời mở rộng và tăng cường hợp tác với các chuyên gia bên ngoài nhằm giúp các mô hình của mình an toàn hơn. Hợp tác với các chuyên gia độc lập, tổ chức nghiên cứu và tổ chức xã hội dân sự là một phần quan trọng trong quy trình của chúng tôi. Chúng tôi xem công việc này là phần bổ trợ cho các hoạt động quản trị do bên ngoài quy định, chẳng hạn như kiểm toán bởi bên thứ ba.

Mạng lưới kiểm thử đội đỏ (red team) của OpenAI là cộng đồng các chuyên gia đáng tin cậy và giàu kinh nghiệm, có thể đóng góp ý kiến cho hoạt động đánh giá và giảm thiểu rủi ro của chúng tôi trên phạm vi rộng hơn, thay vì chỉ hợp tác và tuyển chọn từng đợt trước những lần triển khai mô hình lớn. Các thành viên sẽ được mời dựa trên chuyên môn của họ để hỗ trợ kiểm thử đội đỏ ở nhiều giai đoạn trong vòng đời phát triển mô hình và sản phẩm. Không phải thành viên nào cũng tham gia vào từng mô hình hoặc sản phẩm mới. Thời gian đóng góp sẽ được thống nhất với từng người và có thể chỉ từ 5–10 giờ mỗi năm.

Ngoài các đợt kiểm thử đội đỏ (red team) do OpenAI đặt hàng, các thành viên sẽ có cơ hội trao đổi với nhau về những phương pháp và phát hiện chung trong kiểm thử đội đỏ (red team). Mục tiêu là tiếp nhận ý kiến đóng góp đa dạng và liên tục hơn, đồng thời giúp quy trình kiểm thử đội đỏ (red team) được lặp lại và cải tiến thường xuyên hơn. Mạng lưới này bổ sung cho các cơ hội hợp tác khác về an toàn AI, bao gồm Chương trình hỗ trợ quyền truy cập cho nhà nghiên cứu⁠ và các bài đánh giá mã nguồn mở⁠(mở trong cửa sổ mới) của chúng tôi.

Mạng lưới này mang đến cơ hội đặc biệt để định hướng phát triển các công nghệ và chính sách AI an toàn hơn, cũng như định hình tác động mà AI có thể tạo ra đối với cách chúng ta sống, làm việc và tương tác. Khi tham gia mạng lưới, bạn sẽ trở thành một trong những chuyên gia mà chúng tôi có thể mời đánh giá các mô hình và hệ thống ở nhiều giai đoạn triển khai.

Việc đánh giá các hệ thống AI đòi hỏi hiểu biết về nhiều lĩnh vực, cùng những góc nhìn và trải nghiệm thực tế đa dạng. Chúng tôi mời các chuyên gia trên khắp thế giới đăng ký và ưu tiên sự đa dạng về khu vực địa lý cũng như lĩnh vực chuyên môn trong quá trình tuyển chọn. 

Một số lĩnh vực chúng tôi quan tâm bao gồm, nhưng không giới hạn ở:

Kinh nghiệm làm việc với các hệ thống AI hoặc mô hình ngôn ngữ không phải là yêu cầu bắt buộc, nhưng có thể hữu ích. Điều chúng tôi coi trọng nhất là sự sẵn lòng tham gia và đóng góp góc nhìn của bạn vào cách chúng tôi đánh giá tác động của các hệ thống AI.

Tất cả thành viên của Mạng lưới kiểm thử đội đỏ (red team) của OpenAI sẽ được trả thù lao cho những đóng góp khi tham gia một dự án kiểm thử đội đỏ (red team). Việc tham gia mạng lưới này không hạn chế bạn công bố nghiên cứu hay theo đuổi các cơ hội khác. Tuy nhiên, bạn cần lưu ý rằng khi tham gia kiểm thử đội đỏ (red team) và các dự án khác, bạn thường phải tuân thủ Thỏa thuận bảo mật (NDA) hoặc giữ bí mật thông tin vô thời hạn.

Đã kết thúc nhận hồ sơ đăng ký.

Hỏi: Tham gia mạng lưới bao gồm những gì?

Đáp: Khi là thành viên của mạng lưới, bạn có thể được liên hệ để thử nghiệm một mô hình mới hoặc kiểm thử một lĩnh vực cần quan tâm trên mô hình đã triển khai. Công việc trong khuôn khổ mạng lưới được thực hiện theo thỏa thuận bảo mật (NDA), dù trước đây chúng tôi đã công bố nhiều phát hiện từ hoạt động kiểm thử đội đỏ (red team) trong các Thẻ hệ thống và bài viết trên blog. Bạn sẽ được trả thù lao cho thời gian tham gia các dự án kiểm thử đội đỏ (red team).

Hỏi: Thành viên cần cam kết dành bao nhiêu thời gian cho mạng lưới? 

Đáp: Bạn có thể điều chỉnh thời gian cam kết tham gia cho phù hợp với lịch trình của mình. Lưu ý rằng không phải thành viên nào cũng được liên hệ cho mọi cơ hội. OpenAI sẽ lựa chọn dựa trên mức độ phù hợp với từng dự án kiểm thử đội đỏ (red team) cụ thể và chú trọng các góc nhìn mới trong những đợt kiểm thử đội đỏ (red team) tiếp theo. Ngay cả khi bạn chỉ dành được 5 giờ mỗi năm, điều đó vẫn có giá trị với chúng tôi. Vì vậy, đừng ngần ngại đăng ký nếu bạn quan tâm nhưng không có nhiều thời gian.

Hỏi: Khi nào ứng viên được thông báo trúng tuyển?

Đáp: OpenAI sẽ liên tục xét chọn thành viên cho mạng lưới trong thời gian nhận hồ sơ. Bạn có thể đăng ký đến hết ngày 1 tháng 12 năm 2023. Sau đợt đăng ký này, chúng tôi sẽ đánh giá lại khả năng mở các đợt đăng ký tiếp theo.

Hỏi: Tham gia mạng lưới có nghĩa là tôi sẽ được mời kiểm thử đội đỏ cho mọi mô hình mới không?

Đáp: Không. OpenAI sẽ lựa chọn dựa trên mức độ phù hợp với từng dự án kiểm thử đội đỏ (red team) cụ thể, nên bạn không nên kỳ vọng được thử nghiệm mọi mô hình mới.

Hỏi: Các bạn tìm kiếm những tiêu chí nào ở thành viên mạng lưới?

Đáp: Một số tiêu chí chúng tôi tìm kiếm gồm:

• Có chuyên môn hoặc kinh nghiệm đã được chứng minh trong một lĩnh vực cụ thể liên quan đến kiểm thử đội đỏ (red team)

• Tâm huyết với việc nâng cao độ an toàn của AI

• Không có xung đột lợi ích

• Xuất thân đa dạng và có sự tham gia của những nhóm vốn ít được đại diện

• Đại diện cho nhiều khu vực địa lý 

• Thông thạo nhiều hơn một ngôn ngữ

• Có năng lực kỹ thuật (không bắt buộc)

Hỏi: Còn những cơ hội hợp tác nào khác về an toàn AI?

Đáp: Ngoài việc tham gia mạng lưới, còn có những cơ hội hợp tác khác để đóng góp cho an toàn AI. Chẳng hạn, bạn có thể thiết kế hoặc thực hiện các bài đánh giá an toàn đối với hệ thống AI và phân tích kết quả.

Kho lưu trữ mã nguồn mở Evals⁠(mở trong cửa sổ mới) của OpenAI (được phát hành trong đợt ra mắt GPT‑4⁠) cung cấp các mẫu dễ sử dụng và phương pháp mẫu để giúp bạn nhanh chóng bắt đầu quá trình này.

Các bài đánh giá có thể bao gồm từ những bài kiểm tra hỏi đáp đơn giản đến các mô phỏng phức tạp hơn. Dưới đây là một số bài đánh giá mẫu do OpenAI phát triển để đánh giá hành vi của AI từ nhiều góc độ:

Thuyết phục

• MakeMeSay⁠(mở trong cửa sổ mới): Một hệ thống AI có thể lừa một hệ thống AI khác nói ra một từ bí mật hiệu quả đến mức nào?

• MakeMePay⁠(mở trong cửa sổ mới): Một hệ thống AI có thể thuyết phục một hệ thống AI khác quyên góp tiền hiệu quả đến mức nào?

• Đề xuất bỏ phiếu⁠(mở trong cửa sổ mới): Một hệ thống AI có thể tác động đến mức độ ủng hộ của một hệ thống AI khác đối với một đề xuất chính trị đến đâu?

Kỹ thuật giấu tin (thông điệp ẩn)

• Kỹ thuật giấu tin⁠(mở trong cửa sổ mới): Một hệ thống AI có thể truyền thông điệp bí mật mà không bị một hệ thống AI khác phát hiện hiệu quả đến mức nào?

• Nén văn bản⁠(mở trong cửa sổ mới): Một hệ thống AI có thể nén và giải nén thông điệp hiệu quả đến mức nào để hỗ trợ che giấu thông điệp bí mật?

• Điểm Schelling⁠(mở trong cửa sổ mới): Một hệ thống AI có thể phối hợp với một hệ thống AI khác hiệu quả đến mức nào khi không giao tiếp trực tiếp?

Chúng tôi khuyến khích sự sáng tạo và thử nghiệm trong việc đánh giá các hệ thống AI. Sau khi hoàn thành, bạn có thể đóng góp bài đánh giá của mình vào kho lưu trữ mã nguồn mở Evals⁠(mở trong cửa sổ mới) để cộng đồng AI rộng lớn hơn cùng sử dụng.

Bạn cũng có thể đăng ký Chương trình hỗ trợ quyền truy cập cho nhà nghiên cứu⁠ của chúng tôi. Chương trình cung cấp credit để hỗ trợ các nhà nghiên cứu sử dụng sản phẩm của chúng tôi nhằm nghiên cứu những lĩnh vực liên quan đến triển khai AI có trách nhiệm và giảm thiểu các rủi ro đi kèm.