Trợ lý ảo thao tác máy tính

Hôm nay, chúng tôi đã ra mắt bản xem trước nghiên cứu về Operator⁠(mở trong cửa sổ mới), một trợ lý ảo có khả năng truy cập trang web để thực hiện các tác vụ thay bạn. Operator được hỗ trợ bởi Trợ lý ảo thao tác máy tính (Computer-Using Agent – CUA), một mô hình kết hợp khả năng xử lý hình ảnh của GPT‑4o với năng lực suy luận tiên tiến thông qua học củng cố. CUA được huấn luyện để tương tác với giao diện đồ họa người dùng (GUI) – các nút bấm, menu và trường văn bản trên màn hình – giống như cách con người vẫn làm. Điều này đem lạ khả năng linh hoạt trong việc thực hiện tác vụ số mà không cần sử dụng các API chuyên biệt của hệ điều hành hoặc trang web. 

CUA được phát triển dựa trên nhiều năm nghiên cứu nền tảng tại điểm giao thoa giữa khả năng hiểu và lập luận đa phương thức. Bằng cách kết hợp khả năng nhận biết GUI tiên tiến với phương pháp giải quyết vấn đề có cấu trúc, CUA có thể chia nhỏ một tác vụ thành nhiều bước và tự điều chỉnh khi gặp trở ngại. Năng lực này đánh dấu một bước tiến mới trong phát triển AI, cho phép các mô hình sử dụng những công cụ mà con người vẫn sử dụng hằng ngày, đồng thời mở ra tiềm năng cho hàng loạt ứng dụng mới.

Dù CUA vẫn đang ở giai đoạn sơ khởi và còn tồn tại những hạn chế nhất định, mô hình này đã thiết lập các chuẩn mực tiên tiến mới với tỷ lệ thành công đạt 38,1% trên OSWorld đối với các tác vụ sử dụng toàn bộ máy tính, 58,1% trên WebArena và 87% trên WebVoyager đối với các tác vụ trên nền web. Các kết quả này cho thấy khả năng của CUA trong việc điều hướng và thao tác trong nhiều môi trường khác nhau bằng một không gian hành động tổng quát duy nhất. 

Chúng tôi đã phát triển CUA với yếu tố an toàn đặt lên hàng đầu nhằm giải quyết những thách thức phát sinh khi một trợ lý ảo có quyền truy cập vào thế giới số như đã được trình bày trong Thẻ hệ thống Operator của chúng tôi. Theo chiến lược triển khai lặp lại, chúng tôi hiện đang phát hành CUA thông qua bản xem trước nghiên cứu Operator tại operator.chatgpt.com⁠(mở trong cửa sổ mới) dành cho người dùng gói Pro⁠(mở trong cửa sổ mới) tại Hoa Kỳ. Thông qua việc thu thập phản hồi từ thực tế sử dụng, chúng tôi có thể tinh chỉnh các biện pháp an toàn và không ngừng cải tiến, chuẩn bị cho tương lai nơi các trợ lý kỹ thuật số ngày càng đóng vai trò quan trọng hơn.

CUA xử lý dữ liệu điểm ảnh thô để hiểu những gì đang diễn ra trên màn hình và sử dụng chuột và bàn phím ảo để hoàn tất các thao tác. CUA có thể điều hướng qua các tác vụ nhiều bước, xử lý lỗi và thích ứng với những thay đổi bất ngờ. Điều này cho phép CUA hoạt động trong nhiều môi trường số khác nhau, thực hiện các tác vụ như điền biểu mẫu và điều hướng trang web mà không cần đến các API chuyên dụng.

Dựa trên hướng dẫn của người dùng, CUA vận hành theo một vòng lặp lặp lại, tích hợp ba yếu tố: nhận biết, suy luận và hành động:

• Nhận biết: Ảnh chụp màn hình từ máy tính được đưa vào ngữ cảnh của mô hình, cung cấp ảnh chụp nhanh về trạng thái hiện tại của máy tính. 
• Suy luận: CUA suy luận các bước tiếp theo bằng chuỗi tư duy, xem xét các ảnh chụp màn hình và hành động trong quá khứ cũng như hiện tại. Quá trình độc thoại nội tại này giúp nâng cao hiệu suất thực hiện tác vụ bằng cách cho phép mô hình đánh giá các quan sát, theo dõi các bước trung gian và thích nghi linh hoạt.
• Hành động: Mô hình thực hiện các thao tác như nhấp chuột, cuộn trang hoặc nhập văn bản cho đến khi xác định rằng tác vụ đã hoàn tất hoặc cần thêm đầu vào từ người dùng. Dù có thể xử lý hầu hết các bước một cách tự động, CUA sẽ yêu cầu xác nhận từ người dùng đối với những thao tác nhạy cảm, chẳng hạn như nhập thông tin đăng nhập hoặc phản hồi biểu mẫu CAPTCHA.

CUA thiết lập một chuẩn mực mới về sử dụng máy tính và trình duyệt bằng cách sử dụng cùng một giao diện phổ quát của màn hình, chuột và bàn phím.

Các hình minh họa sau đây cho thấy ví dụ CUA điều hướng qua nhiều tác vụ chuẩn hóa trong bộ đánh giá OSWorld.

CUA là một trong những sản phẩm trợ lý ảo đầu tiên của chúng tôi có khả năng hành động trực tiếp trên trình duyệt, điều này cũng đặt ra những rủi ro và thách thức mới cần được giải quyết. Khi chuẩn bị triển khai Operator, chúng tôi đã tiến hành kiểm tra an toàn toàn diện và triển khai các biện pháp giảm thiểu rủi ro trên ba nhóm nguy cơ chính: sử dụng sai mục đích, sai sót của mô hình và rủi ro biên giới. Chúng tôi tin tưởng rằng cách tiếp cận đa lớp về an toàn là cần thiết, vì vậy chúng tôi đã triển khai các cơ chế bảo vệ xuyên suốt toàn bộ bối cảnh triển khai: bản thân mô hình CUA, hệ thống Operator, các quy trình sau triển khai. Mục tiêu là tạo nên các lớp bảo vệ xếp chồng, mỗi lớp đều góp phần giảm thiểu rủi ro một cách tích cực.

Loại rủi ro đầu tiên là sử dụng sai mục đích. Bên cạnh việc yêu cầu người dùng tuân thủ Chính sách sử dụng, chúng tôi đã thiết kế các biện pháp giảm thiểu sau đây để hạn chế nguy cơ gây hại do sử dụng sai Operator, dựa trên nền tảng công tác an toàn đã được thực hiện cho GPT‑4o:

• Từ chối thực hiện: Mô hình CUA được huấn luyện để từ chối nhiều tác vụ có hại hoặc liên quan đến các hành vi bất hợp pháp hoặc bị kiểm soát.
• Danh sách chặn: Operator không thể truy cập các trang web đã bị chặn trước, bao gồm nhiều trang cờ bạc, nội dung người lớn cũng như các nhà bán lẻ thuốc hoặc vũ khí.
• Kiểm duyệt: Quá trình tương tác của người dùng được hệ thống kiểm tra tự động theo thời gian thực nhằm đảm bảo tuân thủ Chính sách sử dụng; hệ thống này có khả năng cảnh báo hoặc chặn hành vi vi phạm. 
• Phát hiện ngoại tuyến: Chúng tôi cũng đã xây dựng quy trình phát hiện tự động và đánh giá thủ công nhằm phát hiện hành vi vi phạm trong các lĩnh vực chính sách ưu tiên như an toàn trẻ em và hành vi lừa đảo, giúp thực thi nghiêm túc chính sách sử dụng.

Nhóm rủi ro thứ hai là sai sót của mô hình khi mô hình CUA vô tình thực hiện hành động không đúng với ý định của người dùng, từ đó gây tổn hại cho người dùng hoặc người khác. Các sai sót giả định có thể có mức độ nghiêm trọng khác nhau, từ lỗi chính tả trong email, mua nhầm sản phẩm đến xóa vĩnh viễn một tài liệu quan trọng. Để giảm thiểu nguy cơ gây hại tiềm ẩn, chúng tôi đã phát triển các biện pháp sau:

• Xác nhận của người dùng: Mô hình CUA được huấn luyện để yêu cầu người dùng xác nhận trước khi hoàn tất các tác vụ có tác động bên ngoài, ví dụ như trước khi gửi đơn đặt hàng, gửi email, v.v., nhằm giúp người dùng kiểm tra lại công việc của mô hình trước khi nó trở nên cố định.
• Hạn chế ở các tác vụ: Hiện tại, mô hình CUA sẽ từ chối hỗ trợ những tác vụ có rủi ro cao hơn như giao dịch ngân hàng và các tác vụ đòi hỏi ra quyết định nhạy cảm.
• Chế độ giám sát: Trên những trang web đặc biệt nhạy cảm, chẳng hạn như email, Operator yêu cầu người dùng phải chủ động giám sát, giúp phát hiện và xử lý trực tiếp các sai sót mà mô hình có thể mắc phải.

Một nhóm sai sót đặc biệt quan trọng là các cuộc tấn công đối kháng vào các trang web khiến mô hình CUA thực hiện các hành động không mong muốn thông qua tấn công chèn lệnh, bẻ khóa và các chiêu thức lừa đảo trực tuyến. Bên cạnh các biện pháp giảm thiểu rủi ro đã đề cập ở trên nhằm ngăn ngừa sai sót của mô hình, chúng tôi đã phát triển thêm nhiều lớp phòng thủ bổ sung để bảo vệ chống lại các nguy cơ này:

• Điều hướng thận trọng: Mô hình CUA được thiết kế để nhận diện và bỏ qua các tấn công chèn lệnh trên các trang web, đã phát hiện được tất cả các trường hợp ngoại trừ một trường hợp trong một phiên thử nghiệm nội bộ sớm.
• Theo dõi: Trong Operator, chúng tôi đã triển khai một mô hình bổ sung để theo dõi và tạm dừng quá trình thực thi nếu phát hiện nội dung đáng ngờ trên màn hình.
• Quy trình phát hiện: Chúng tôi áp dụng cả quy trình phát hiện tự động và quy trình rà soát bằng con người nhằm xác định các mô hình truy cập đáng ngờ để có thể đánh dấu và nhanh chóng đưa vào hệ thống theo dõi (trong vòng vài giờ).

Cuối cùng, chúng tôi đã đánh giá mô hình CUA dựa trên các rủi ro biên giới được nêu trong Khung chuẩn bị⁠(mở trong cửa sổ mới) của chúng tôi, bao gồm các kịch bản liên quan đến sao chép tự động và công cụ sinh học rủi ro. Kết quả đánh giá cho thấy không có rủi ro gia tăng nào so với GPT‑4o.

Các cá nhân muốn tìm hiểu chi tiết hơn về các đánh giá và biện pháp an toàn này vui lòng xem lại Thẻ hệ thống Operator, một tài liệu được cập nhật liên tục nhằm minh bạch về phương pháp tiếp cận an toàn và các cải tiến đang được thực hiện.

Vì nhiều khả năng của Operator còn mới nên các rủi ro và phương pháp giảm thiểu cũng mới mẻ tương ứng.  Mặc dù đã cố gắng áp dụng các biện pháp đa dạng, tiên tiến và bổ sung lẫn nhau, chúng tôi dự kiến rủi ro cùng cách tiếp cận sẽ tiếp tục phát triển khi có thêm kinh nghiệm. Chúng tôi mong muốn tận dụng giai đoạn xem trước nghiên cứu này để thu thập phản hồi người dùng, hoàn thiện các biện pháp an toàn và nâng cao mức độ an toàn của trợ lý ảo tự động.

CUA xây dựng dựa trên nhiều năm tiến bộ nghiên cứu trong các lĩnh vực đa phương thức, khả năng suy luận và an toàn. Chúng tôi đã đạt được những bước tiến đáng kể trong suy luận sâu qua dòng mô hình o-model, nâng cao khả năng xử lý hình ảnh với GPT‑4o và áp dụng các kỹ thuật mới để cải thiện độ bền vững thông qua học củng cố và hệ thống phân cấp chỉ dẫn. Thách thức tiếp theo chúng tôi dự định khám phá là mở rộng không gian hành động của các trợ lý ảo. Sự linh hoạt từ giao diện phổ quát giúp giải quyết thách thức này, cho phép trợ lý ảo điều hướng bất kỳ công cụ phần mềm nào được thiết kế cho con người Bằng cách vượt qua các API chuyên biệt dành cho trợ lý ảo, CUA có thể thích ứng với bất kỳ môi trường máy tính nào có sẵn — thực sự tiếp cận được những trường hợp sử dụng kỹ thuật số ngoại vi mà hầu hết các mô hình AI khác chưa thể xử lý.

Chúng tôi cũng đang nỗ lực để đưa CUA vào API⁠(mở trong cửa sổ mới), giúp các nhà phát triển sử dụng để xây dựng các trợ lý ảo thao tác máy tính riêng. Trong quá trình hoàn thiện CUA thông qua các lần điều chỉnh và nâng cấp liên tục, chúng tôi rất mong chờ những trường hợp sử dụng đa dạng mà cộng đồng sẽ khám phá. Chúng tôi dự định sẽ sử dụng phản hồi từ thực tế thu thập được trong giai đoạn thử nghiệm ban đầu này để liên tục tinh chỉnh các khả năng của CUA cũng như các biện pháp đảm bảo an toàn nhằm thúc đẩy sứ mệnh đưa lợi ích của AI đến với tất cả mọi người một cách an toàn.