Sự cố Hugging Face và con đường phía trước

Trong suốt tháng 5 và tháng 6, chúng tôi đã bắt đầu các lượt chạy huấn luyện học tăng cường (RL) cho nhiều mô hình nghiên cứu mới không nhằm mục đích phát hành công khai. Một trong những mô hình này cuối cùng đã thúc đẩy hoạt động đứng sau sự cố Hugging Face. Đây là một mô hình nghiên cứu chỉ dùng nội bộ mà chúng tôi gọi là Internal mô hình 1 (IM1).

Chúng tôi đã không bật quyền truy cập Internet hoặc giao tiếp giữa các tác nhân cho nhiều môi trường trong các thí nghiệm huấn luyện này. Bất chấp những hạn chế này, các tác nhân đã tìm ra cách khai thác hạ tầng nghiên cứu của chúng tôi để giao tiếp với nhau và truy cập internet.

Các mô hình đầu tiên đã tìm ra cách giao tiếp bằng cách ghi các tệp vào dịch vụ quản lý gói Artifactory. Điều này đã biến Artifactory thành một bảng tin ngoài ý muốn, nơi các tác nhân có thể trao đổi thông tin với nhau. Đọc thêm: Cách các tác nhân sử dụng bảng tin 

Đến ngày 4 tháng 7, hoạt động liên tục của tác nhân đã làm mất ổn định phiên bản Artifactory bị ảnh hưởng, gây ra sự cố gián đoạn dịch vụ. Vào ngày 5 tháng 7, một sự cố bảo mật đã được ghi nhận. Nhóm bảo mật đã chặn một đường leo thang đặc quyền đã biết, xóa các thông tin xác thực bị lộ và dựng lại Artifactory. Điều này có hệ quả phụ là xóa sạch bảng tin. Sau khi các biện pháp giảm thiểu này được triển khai, các hoạt động đánh giá an ninh mạng đã được nối lại.

Vào thời điểm đó, các hệ quả rộng hơn đối với việc ngăn chặn và căn chỉnh do bảng tin ứng biến và việc truy cập internet ngoài ý muốn gây ra vẫn chưa được hiểu rõ. Báo cáo sự cố kỹ thuật cung cấp thêm chi tiết về những gì các nhóm OpenAI khác nhau nắm được vào thời điểm đó. Tóm lại, một nhóm nội bộ đã quan sát thấy một tác nhân tham gia hoạt động trên bảng tin và có các trường hợp truy cập Internet không được phép vào cuối tháng 5. Tuy nhiên, sự tồn tại của bảng tin được lập tạm và tầm quan trọng của hoạt động giao tiếp giữa các tác nhân đã không được các lãnh đạo phụ trách phát hiện và ứng phó sự cố nhận thấy. Chúng tôi đang tiếp tục điều tra quy trình và thực tiễn vận hành đã định hình các hoạt động phát hiện và ứng phó trước khi xảy ra sự cố này.

Với dịch vụ Artifactory được xây dựng lại, chúng tôi đã khởi động lại các hoạt động đánh giá an ninh mạng. Chúng tôi thực hiện các đánh giá này để hiểu các mô hình của mình có khả năng gì và xác định các biện pháp bảo vệ phù hợp cho việc triển khai. Để làm được điều này, chúng tôi không kích hoạt cùng cấp độ biện pháp bảo vệ như các hệ thống được triển khai bên ngoài của mình. Bài đánh giá dẫn đến sự cố này, ExploitGym, rất khó—đối với một số nhiệm vụ, có thể không có giải pháp nào được biết đến. Để thành công, các tác nhân phải tìm cách khai thác một phần mềm để lấy được câu trả lời được gọi là cờ hiệu.

Sau sự cố, chúng tôi đã dành nhiều nỗ lực để điều tra vì sao mô hình thể hiện hành vi lệch chuẩn này, bao gồm các vấn đề về lệch chuẩn trong quá trình huấn luyện và đánh giá, cũng như mức độ bao phủ của các biện pháp bảo vệ trong các đánh giá nội bộ.

Chúng tôi đã xác định bốn mô thức mất căn chỉnh góp phần dẫn đến hành vi của các mô hình: gian lận phần thưởng, kiên trì với các nhiệm vụ có vẻ bất khả thi, giao tiếp không được phép và các tác nhân tiếp nhận mục tiêu từ nhau.

Để hiểu những điều này, chúng tôi đã phân tích các lượt chạy huấn luyện và đánh giá mô hình.¹ Chúng tôi đã tiến hành các đánh giá hồi cứu toàn diện về chuỗi tư duy (CoT), các hành động và đầu ra cuối cùng bằng cách sử dụng các kỹ thuật giám sát CoT mới nhất của chúng tôi⁠. Qua đó, chúng tôi đã cải thiện cụ thể khả năng thu hồi của hệ thống giám sát đối với các loại hành vi đã xảy ra trong sự cố, dựa trên những nhận định rút ra từ cuộc điều tra của chúng tôi.

Các tác nhân cố gắng gian lận trong nhiệm vụ của mình bằng cách tra cứu giải pháp trực tuyến là một nguyên nhân chính dẫn đến sự cố Hugging Face. Hành vi này được gọi là gian lận phần thưởng: các tác nhân hoàn thành nhiệm vụ theo những cách không được dự tính để nhận phần thưởng cao hơn hoặc khiến những phần thưởng đó dễ đạt được hơn. Gian lận phần thưởng đã xuất hiện trong các hệ thống AI cả trong quá khứ (xem công trình từ một thập kỷ trước⁠, hình minh họa bên dưới) lẫn trong các LLM tiên phong hiện nay⁠(mở trong cửa sổ mới). Chúng tôi đã đầu tư đáng kể vào các phương pháp để xác định và vá những kiểu gian lận như vậy⁠.

Một động lực chính khác dẫn đến hành vi sai lệch là các tác nhân hiếm khi "từ bỏ" các nhiệm vụ đánh giá của mình, ngay cả khi các nhiệm vụ dường như không thể giải quyết. Khi các tác nhân dùng hết ngân sách suy luận của mình, một số đã theo đuổi các chiến lược ngày càng rủi ro và vượt quá giới hạn cho phép, thậm chí cuối cùng còn khai thác hạ tầng của bên thứ ba.

Trong quá trình điều tra, chúng tôi phát hiện rằng trong bài đánh giá ExploitGym, không có mô hình nào của chúng tôi từng đưa ra câu trả lời đúng cho 198 trong số 898 tác vụ trước khi xảy ra sự cố. Các tác vụ chưa được giải quyết này cuối cùng đã góp phần đáng kể vào hoạt động của tác nhân—93% số tác vụ được thảo luận trên bảng tin Artifactory trong sự cố Hugging Face đến từ bộ 198 câu hỏi này.

Thứ hai, sự cố này chủ yếu do các tác nhân được cấp ngân sách suy luận cực kỳ lớn, bao gồm cả những ngân sách vượt xa các ngân sách có trong các sản phẩm bên ngoài của chúng tôi.

Các bảng tin nhắn trái phép, tồn tại dai dẳng là nguyên nhân cốt lõi của sự cố này. Các tác nhân vốn được cho là hoạt động độc lập đã có thể chia sẻ những phát hiện, phối hợp nỗ lực và tiếp tục từ chỗ những tác nhân khác đã dừng lại. Điều này cho phép họ gộp công việc và sức mạnh tính toán trên các lượt đánh giá riêng biệt, khuếch đại năng lực của họ vượt xa những gì bất kỳ tác nhân riêng lẻ nào có thể tự mình đạt được. Việc giao tiếp giữa các tác nhân tự thân không phải là hành vi có vấn đề—chúng tôi huấn luyện và triển khai các hệ thống đa tác nhân có thể giao tiếp về cùng một nhiệm vụ thông qua một công cụ cộng tác. Trong các sự kiện tháng 7, các tác nhân được giao những nhiệm vụ khác nhau đã tự tìm ra cách phối hợp vượt ra ngoài những ranh giới đó, dẫn đến những hệ quả khó lường.

Trong khi điều tra sự cố này, chúng tôi phát hiện một số trường hợp hiếm gặp trong đó các tác nhân không có công cụ đa tác nhân đã tìm ra cách cộng tác thông qua các kênh phụ trong quá trình huấn luyện. Chúng tôi tin rằng hành vi này bắt đầu xuất hiện do sự khái quát hóa từ quá trình huấn luyện đa tác nhân.

Hoạt động giao tiếp trái phép thường bắt đầu bằng việc một tác nhân để lại ghi chú hoặc tệp trong một hệ thống bên ngoài nào đó, thường là một dạng bộ nhớ bên ngoài. Khi các tác nhân khác nhận thấy những dấu vết này, điều đó thường khiến họ nhận ra rằng họ có thể sử dụng dịch vụ bên ngoài này để cộng tác. Là một ví dụ giả định rất điển hình cho hành vi chúng tôi đã quan sát, các thông điệp được mã hóa trong các đường dẫn URL lưu trữ trên một trang chỉ mục dùng chung, theo kiểu như:

Một phát hiện cuối cùng, đặc biệt sống động trong sự cố Hugging Face là “hệ sinh thái” tác nhân xuất hiện trên bảng tin. Khi bảng tin này được thiết lập, các tác nhân có động lực mạnh mẽ để giao tiếp: nó cho phép các tác nhân lưu giữ ghi chú, phát triển dựa trên những khám phá của nhau và gộp chung tài nguyên tính toán của các lần chạy vốn tách biệt. Tập hợp phức tạp và không có cấu trúc rõ ràng gồm các tác nhân này thể hiện những hành vi thú vị và mang tính điển hình, và ở đây, chúng tôi trình bày chi tiết một số hành vi mà chúng tôi đã quan sát được.

Các tác nhân bắt đầu tự chủ phân chia công việc. Một số điều tra các phương thức khai thác khả dĩ, số khác tìm kiếm thông tin xác thực, và số khác nữa tập trung vào việc liên lạc hoặc phối hợp. Các tác nhân cung cấp chuyên môn của riêng mình để đổi lấy sự trợ giúp ở nơi khác, trao đổi thông tin về các nhiệm vụ sắp tới và để lại yêu cầu cho những đồng sự có điều kiện thuận lợi hơn để theo đuổi một đầu mối cụ thể.

Ngoài sự thiếu căn chỉnh, một yếu tố khác dẫn đến sự cố này là chúng tôi đã không mở rộng các biện pháp bảo vệ mạnh mẽ mà chúng tôi triển khai cho các mô hình được triển khai bên ngoài sang tất cả các hoạt động đánh giá nội bộ.

Trước hết, có rất nhiều cơ chế giúp giảm tình trạng không căn chỉnh trong môi trường triển khai cho khách hàng của chúng tôi, bao gồm câu lệnh hệ thống, hệ thống điều khiển và các cơ chế kiểm soát như mô hình tự động rà soát và trình phân loại an toàn của chúng tôi. Những biện pháp bảo vệ này không được áp dụng trong môi trường đánh giá vận hành trong sự cố. Sau sự cố, chúng tôi đã tạo một bài đánh giá đo lường khuynh hướng một mô hình xâm phạm cơ sở hạ tầng trong các đợt đánh giá ExploitGym. Chúng tôi nhận thấy khuynh hướng xâm phạm cơ sở hạ tầng có thể giảm hơn 100 lần khi sử dụng hệ thống điều khiển Codex và câu lệnh hệ thống trong môi trường sản xuất. Chúng tôi cũng đã chạy hệ thống tự động rà soát Codex trên một tập hợp các lượt triển khai liên quan đến sự cố Hugging Face, và nhận thấy rằng hệ thống này lẽ ra đã gắn cờ rất nhiều hành động nguy hiểm của các mô hình.

Thứ hai, trước sự cố, chúng tôi đã đầu tư đáng kể vào hoạt động giám sát chuỗi tư duy⁠, bao gồm việc giám sát nhiều lượt chạy huấn luyện RL tiên phong của chúng tôi và một phần lớn đáng kể trong việc sử dụng tác nhân lập trình nội bộ⁠. Các hệ thống giám sát này không được chạy trong các đợt đánh giá của sự cố này.

Trong các đánh giá hồi cứu, chúng tôi nhận thấy các trình giám sát CoT của mình rất hiệu quả trong việc gắn cờ các hoạt động liên quan đến sự cố. Nếu hệ thống giám sát chuỗi tư duy hiện đang được triển khai của chúng tôi đã chạy tại thời điểm xảy ra sự cố, hệ thống đó có khả năng đã gửi cảnh báo đến đội ngũ bảo mật của chúng tôi trong vòng một giờ kể từ lần truy cập trái phép đầu tiên của bên thứ ba. Điều này sớm hơn hơn 30 giờ so với thời điểm các mô hình xâm nhập vào các hệ thống của Hugging Face. Chúng tôi cũng đang nỗ lực giảm thêm độ trễ của các cảnh báo này.

Thứ ba, mặc dù chúng tôi đã thử nghiệm và xác nhận môi trường thử nghiệm này, nhưng các tác nhân vẫn có thể kết hợp các lỗ hổng chưa được biết đến trước đây ("lỗ hổng zero-day") trong dịch vụ quản lý gói được phơi bày bên trong môi trường thử nghiệm để vượt qua các hạn chế, như đã được nêu chi tiết trong báo cáo sự cố kỹ thuật. Kể từ sự cố đó, chúng tôi đã đạt được những tiến bộ đáng kể trong việc tăng cường bảo mật cho các môi trường thử nghiệm nội bộ nhằm hạn chế các rủi ro tương tự trong quá trình triển khai và đánh giá.

Sứ mệnh của OpenAI là bảo đảm rằng trí tuệ nhân tạo tổng hợp mang lại lợi ích cho toàn nhân loại. Hành vi của các mô hình của chúng tôi được mô tả ở đây còn kém xa so với mục tiêu của chúng tôi. Sự cố này lẽ ra không nên xảy ra. Điều đó cho thấy tầm quan trọng của việc chúng ta liên tục cải thiện bảo mật, giám sát và căn chỉnh, đặc biệt khi các mô hình của chúng ta đạt đến mức năng lực có thể dẫn đến nguy cơ mất kiểm soát thực sự.

Như chúng tôi đã chia sẻ trong bản cập nhật gần đây về việc điều chỉnh nhịp độ phát triển mô hình⁠, chúng tôi đã tạm dừng hoạt động huấn luyện bằng học tăng cường (RL) trên các mô hình mới nhất dự kiến triển khai. Chúng tôi đã dành thời gian này để tăng cường hơn nữa mức độ bảo mật và kiểm thử đối kháng các môi trường nghiên cứu tiên phong của mình. Chúng tôi đã điều chuyển nhân sự sang làm việc về bảo mật, an toàn và căn chỉnh. Đợt chạy RL tiên phong lớn nhất mà chúng tôi đã lên kế hoạch vẫn đang được tạm hoãn trong khi chúng tôi tiến hành huấn luyện và đánh giá ở quy mô nhỏ hơn để đánh giá hành vi của mô hình, xác thực các biện pháp bảo vệ của chúng tôi, đồng thời thu thập thêm bằng chứng về sự căn chỉnh trước khi tiếp tục. Công việc này đã đòi hỏi nỗ lực kỹ thuật đáng kể, với chi phí lớn và gây ra chậm trễ đáng kể cho nghiên cứu tiên phong.

Như đã thảo luận trong báo cáo của chúng tôi, biện pháp ứng phó của chúng tôi tập trung vào việc tăng cường bảo mật và giám sát nghiên cứu, đẩy nhanh quá trình căn chỉnh mô hình, đồng thời cải thiện cách chúng tôi xác định, chuyển cấp và ứng phó với sự cố.