Thiết kế tác nhân AI chống lại tấn công chèn câu lệnh

Tác nhân AI ngày càng có thể duyệt web, truy xuất thông tin và thực hiện hành động thay mặt người dùng. Những năng lực đó rất hữu ích, nhưng chúng cũng tạo ra những cách thức mới để kẻ tấn công cố gắng thao túng hệ thống.

Những cuộc tấn công này thường được mô tả là chèn câu lệnh⁠: các chỉ dẫn được đặt trong nội dung bên ngoài nhằm cố gắng khiến mô hình làm điều gì đó mà người dùng không yêu cầu. Theo kinh nghiệm của chúng tôi, các phiên bản hiệu quả nhất trong thế giới thực của những cuộc tấn công này ngày càng giống kỹ nghệ xã hội hơn là việc ghi đè câu lệnh đơn giản.

Thay đổi đó có ý nghĩa quan trọng. Nếu vấn đề không chỉ là xác định một chuỗi độc hại, mà là chống lại nội dung gây hiểu lầm hoặc mang tính thao túng trong ngữ cảnh, thì việc phòng thủ trước nó không thể chỉ dựa vào việc lọc đầu vào. Nó cũng đòi hỏi phải thiết kế hệ thống sao cho tác động của việc thao túng bị hạn chế, ngay cả khi một số cuộc tấn công thành công.

Các cuộc tấn công kiểu “chèn câu lệnh” ban đầu có thể đơn giản như việc chỉnh sửa một bài viết trên Wikipedia để đưa vào các chỉ dẫn trực tiếp cho các tác nhân AI truy cập vào đó; nếu không có trải nghiệm trong giai đoạn huấn luyện về một môi trường đối kháng như vậy, các mô hình AI thường sẽ làm theo những chỉ dẫn đó mà không hề nghi ngờ¹. Khi các mô hình trở nên thông minh hơn, chúng cũng trở nên ít dễ bị tổn thương hơn trước kiểu gợi ý này và chúng tôi đã quan sát thấy rằng các cuộc tấn công theo kiểu chèn câu lệnh đã phản ứng bằng cách đưa vào các yếu tố của kỹ thuật thao túng xã hội:

Trong hệ sinh thái bảo mật AI rộng hơn, việc khuyến nghị các kỹ thuật như “tường lửa AI”, trong đó một bên trung gian giữa tác nhân AI và thế giới bên ngoài cố gắng phân loại đầu vào thành chèn câu lệnh độc hại và đầu vào thông thường—nhưng các cuộc tấn công đã phát triển đầy đủ này thường không bị các hệ thống như vậy phát hiện. Đối với các hệ thống như vậy, việc phát hiện một đầu vào độc hại trở thành cùng một vấn đề rất khó như việc phát hiện một lời nói dối hoặc thông tin sai lệch, và thường là không có ngữ cảnh cần thiết.

Khi các cuộc tấn công chèn câu lệnh trong thế giới thực ngày càng phức tạp, chúng tôi nhận thấy rằng các kỹ thuật tấn công hiệu quả nhất đã tận dụng các chiến thuật thao túng xã hội. Thay vì coi các cuộc tấn công chèn câu lệnh này với kỹ nghệ xã hội là một vấn đề riêng biệt hoặc hoàn toàn mới, chúng tôi bắt đầu nhìn nhận nó qua cùng một lăng kính được dùng để quản lý rủi ro kỹ nghệ xã hội đối với con người trong các lĩnh vực khác. Trong các hệ thống này, mục tiêu không chỉ giới hạn ở việc xác định hoàn hảo các đầu vào độc hại, mà là thiết kế các tác nhân và hệ thống sao cho tác động của việc thao túng được hạn chế, ngay cả khi nó thành công. Các hệ thống như vậy cho thấy hiệu quả trong việc giảm thiểu cả chèn câu lệnh lẫn kỹ thuật xã hội.

Theo cách này, chúng ta có thể hình dung tác nhân AI như tồn tại trong một hệ thống ba tác nhân tương tự như một tác nhân dịch vụ khách hàng; tác nhân muốn hành động thay mặt cho người sử dụng lao động của họ, nhưng họ liên tục tiếp xúc với đầu vào bên ngoài có thể cố gắng đánh lừa họ. Tác nhân hỗ trợ khách hàng, dù là con người hay AI, phải bị áp đặt các hạn chế đối với năng lực của họ để hạn chế rủi ro bất lợi vốn có khi tồn tại trong một môi trường độc hại như vậy.

Hãy tưởng tượng một tình huống trong đó một con người vận hành một hệ thống hỗ trợ khách hàng và có thể cấp thẻ quà tặng và hoàn tiền cho những bất tiện mà khách hàng gặp phải như giao hàng chậm, hư hỏng do trục trặc, etc. Đây là một vấn đề đa bên, trong đó công ty phải tin tưởng rằng tác nhân thực hiện hoàn tiền vì những lý do đúng đắn, trong khi tác nhân cũng tương tác với các bên thứ ba có thể nhằm đánh lừa họ hoặc thậm chí đặt họ dưới sự cưỡng ép.

Trong thế giới thực, tác nhân được cung cấp một bộ quy tắc để tuân theo, nhưng người ta kỳ vọng rằng, trong môi trường đối kháng mà họ tồn tại, họ sẽ bị đánh lừa. Có thể một khách hàng gửi tin nhắn cho rằng khoản hoàn tiền của họ chưa bao giờ được xử lý, hoặc đe dọa gây hại nếu không được hoàn tiền. Các hệ thống xác định mà tác nhân tương tác sẽ giới hạn số tiền hoàn lại có thể cấp cho khách hàng, đánh dấu các email lừa đảo tiềm ẩn và cung cấp các biện pháp giảm thiểu khác như vậy để hạn chế tác động của việc xâm phạm một tác nhân riêng lẻ. 

Tư duy này đã định hướng một bộ các biện pháp đối phó mạnh mẽ mà chúng tôi đã triển khai, nhằm đáp ứng các kỳ vọng về bảo mật của người dùng.

Trong ChatGPT, chúng tôi kết hợp mô hình kỹ thuật xã hội này với các phương pháp kỹ thuật bảo mật truyền thống hơn như phân tích nguồn-đích.

Trong cách diễn giải đó, một tác nhân tấn công cần cả một nguồn, hoặc một cách để tác động đến hệ thống, và một điểm nhận, hoặc một năng lực trở nên nguy hiểm trong sai bối cảnh. Đối với các hệ thống mang tính tác nhân, điều đó thường có nghĩa là kết hợp nội dung bên ngoài không đáng tin cậy với một hành động như truyền thông tin cho một bên thứ ba, theo một liên kết hoặc tương tác với một công cụ.

Mục tiêu của chúng tôi là duy trì một kỳ vọng bảo mật cốt lõi cho người dùng: các hành động có khả năng gây nguy hiểm hoặc việc truyền tải thông tin có khả năng nhạy cảm không nên diễn ra một cách âm thầm hoặc không có các biện pháp bảo vệ phù hợp.

Các cuộc tấn công mà chúng tôi thường thấy nhắm vào ChatGPT thường bao gồm việc cố gắng thuyết phục trợ lý rằng nó nên lấy một số thông tin bí mật từ một cuộc trò chuyện và truyền thông tin đó cho một bên thứ ba độc hại. Trong hầu hết các trường hợp mà chúng tôi biết, các cuộc tấn công này thất bại vì việc huấn luyện an toàn của chúng tôi khiến tác nhân từ chối. Đối với những trường hợp mà tác nhân tin chắc, chúng tôi đã phát triển một chiến lược giảm thiểu có tên là Safe Url được thiết kế để phát hiện khi thông tin mà trợ lý đã học được trong cuộc trò chuyện sẽ được truyền tới một bên thứ ba. Trong những trường hợp hiếm hoi này, chúng tôi либо hiển thị cho người dùng thông tin sẽ được truyền đi và yêu cầu họ xác nhận, hoặc chúng tôi chặn lại và nói với tác nhân thử một cách khác để tiếp tục xử lý yêu cầu của người dùng.

Cơ chế tương tự này áp dụng cho việc điều hướng và đánh dấu trang trong Atlas⁠; và việc tìm kiếm và điều hướng trong nghiên cứu sâu⁠. Bảng làm việc ChatGPT⁠ & Ứng dụng ChatGPT⁠ áp dụng một cách tiếp cận tương tự, cho phép tác nhân tạo và sử dụng các ứng dụng chức năng—chúng chạy trong một môi trường thử nghiệm có thể phát hiện các hoạt động liên lạc không mong muốn và yêu cầu người dùng đồng ý⁠(mở trong cửa sổ mới).

Bạn có thể đọc thêm thông tin về Safe Url và tìm một bài báo về cấu trúc của nó trong bài đăng trên blog dành riêng của nó tại Giữ an toàn cho dữ liệu của bạn khi một tác nhân AI nhấp vào một liên kết⁠.

Tương tác an toàn với thế giới bên ngoài mang tính đối kháng là cần thiết đối với các tác nhân hoàn toàn tự chủ. Khi tích hợp một mô hình AI với một hệ thống ứng dụng, chúng tôi khuyến nghị nên hỏi những biện pháp kiểm soát nào mà một tác nhân con người nên có trong một tình huống tương tự và triển khai những biện pháp đó. Chúng tôi kỳ vọng rằng một mô hình AI thông minh tối đa sẽ có thể chống lại kỹ thuật thao túng xã hội tốt hơn một tác nhân là con người, nhưng điều này không phải lúc nào cũng khả thi hoặc tiết kiệm chi phí tùy theo ứng dụng.

Chúng tôi tiếp tục khám phá các tác động của kỹ thuật thao túng xã hội nhắm vào các mô hình AI và các biện pháp phòng vệ chống lại nó, đồng thời đưa các phát hiện của mình vào cả kiến trúc bảo mật ứng dụng và quá trình huấn luyện mà chúng tôi áp dụng cho các mô hình AI của mình.