Cách chúng tôi đáp ứng quy định EU về nguồn gốc văn bản
Thúc đẩy tính minh bạch trong giới hạn của công nghệ hiện nay.
Thông tin nguồn gốc nội dung giúp mọi người hiểu nội dung đến từ đâu, được tạo hoặc chỉnh sửa như thế nào và có chứa tín hiệu liên quan đến các mô hình của chúng tôi hay không. Chúng tôi đã cung cấp công khai các công cụ nhận diện hình ảnh và âm thanh do các mô hình của chúng tôi tạo ra. Hôm nay, chúng tôi chia sẻ cách tiếp cận việc gắn dấu chìm cho văn bản nhằm đáp ứng Đạo luật AI của EU, cùng vai trò của công nghệ này trong các hoạt động rộng hơn của chúng tôi.
Đạo luật AI của EU yêu cầu các nhà cung cấp AI tạo sinh phải đảm bảo văn bản được tạo ra có thể được nhận diện ở dạng máy đọc được. Công nghệ gắn và phát hiện dấu chìm trong văn bản vẫn ở giai đoạn đầu, còn nhiều hạn chế đáng kể; quan điểm về lợi ích và cách sử dụng có trách nhiệm cũng vẫn đang dần hình thành. Cách tiếp cận theo từng giai đoạn của chúng tôi tính đến cả yêu cầu của Đạo luật AI của EU lẫn những hạn chế của công nghệ, đồng thời chú trọng minh bạch về những gì dấu chìm trong văn bản có thể và không thể cho biết:
Từ hôm nay, khách hàng API trên toàn cầu có thể chọn bật tính năng gắn dấu chìm cho văn bản trên một số mô hình. Tính năng gắn dấu chìm cho văn bản trong API vẫn sẽ tắt theo mặc định.
Trong những tuần tới, chúng tôi sẽ thêm dấu chìm vô hình vào đầu ra văn bản đủ điều kiện của ChatGPT và Codex tại Liên minh châu Âu.
Chúng tôi bắt đầu nhận đơn đăng ký sử dụng công cụ phát hiện dấu chìm trong văn bản. Ban đầu, quyền truy cập sẽ chỉ dành cho các nhà nghiên cứu và tổ chức chuyên môn được phê duyệt, có khả năng giúp chúng tôi đánh giá và cải thiện công nghệ.
Những điều trên chỉ áp dụng cho việc xác định nguồn gốc văn bản. Các công cụ xác minh âm thanh và hình ảnh của chúng tôi, bao gồm công cụ web openai.com/verify và API nguồn gốc nội dung(mở trong cửa sổ mới), vẫn được cung cấp công khai cho các tổ chức muốn biết liệu một hình ảnh hay tệp âm thanh có phải do một trong các hệ thống của chúng tôi tạo ra hay không.
Công nghệ gắn dấu chìm cho văn bản textGrain của chúng tôi thêm một tín hiệu thống kê vô hình vào cách mô hình lựa chọn từ ngữ. Công cụ phát hiện của chúng tôi tìm kiếm tín hiệu đó để đánh giá xem một đoạn văn bản có chứa dấu chìm của OpenAI hay không. Bạn có thể tìm hiểu thêm về cách textGrain hoạt động trong báo cáo kỹ thuật(mở trong cửa sổ mới) của chúng tôi. Báo cáo sẽ được bổ sung thông tin chi tiết trong những tuần tới. Chúng tôi cũng dự định cung cấp công nghệ này dưới dạng mã nguồn mở để những người khác có thể phát triển dựa trên đó.
Trong các đánh giá của chúng tôi, textGrain đạt hiệu quả ngang bằng hoặc cao hơn những phương pháp khác mà chúng tôi thử nghiệm, bao gồm SynthID dành cho văn bản. Dù vậy, hiệu quả cao trong điều kiện lý tưởng không đảm bảo khả năng phát hiện đáng tin cậy trong sử dụng hằng ngày.
Công cụ phát hiện có thể mắc hai loại lỗi: báo có dấu chìm khi thực tế không có — dương tính giả — hoặc bỏ sót dấu chìm hiện có — âm tính giả. Các đánh giá dưới đây minh họa một số thách thức:
Dấu chìm khó phát hiện hơn trong văn bản ngắn hoặc có nhiều ràng buộc về cách diễn đạt. Với tỷ lệ dương tính giả mục tiêu là 1%, công cụ của chúng tôi phát hiện dấu chìm trong khoảng 80% các đoạn văn bản dài 200 token, so với khoảng 95% các đoạn dài 400 token, đối với nội dung như tâm lý học. Tỷ lệ phát hiện thấp hơn đáng kể đối với nội dung như toán học, vốn ít linh hoạt hơn trong cách lựa chọn từ ngữ.
Việc chỉnh sửa có thể làm suy yếu dấu chìm. Trong một đánh giá với các đoạn văn bản dài 400 token, việc thay 10% số từ bằng từ đồng nghĩa đã làm giảm tỷ lệ phát hiện từ khoảng 92% xuống 66%. Khi thay thế 25% số từ, tỷ lệ này giảm xuống còn 17%.
Những hạn chế này là một phần lý do chúng tôi quyết định ban đầu chỉ cấp quyền truy cập công cụ phát hiện cho các nhà nghiên cứu và tổ chức chuyên môn được phê duyệt, những bên có thể giúp đánh giá độ tin cậy và cách sử dụng có trách nhiệm.
Biểu đồ này cho thấy kết quả đối với các câu trả lời có dấu chìm cho câu hỏi về toán học và tâm lý học từ tập dữ liệu ELI5(mở trong cửa sổ mới), với tỷ lệ dương tính giả mục tiêu là 1%. Khả năng phát hiện cải thiện khi văn bản dài hơn, nhưng nhìn chung thấp hơn đáng kể đối với nội dung ít linh hoạt trong cách lựa chọn từ ngữ, chẳng hạn như toán học.
Việc chỉnh sửa có thể làm suy yếu đáng kể tín hiệu dấu chìm. Biểu đồ này cho thấy việc thay thế 10% hoặc 25% số từ trong một đoạn văn bản ảnh hưởng thế nào đến khả năng phát hiện. Kết quả dựa trên các câu trả lời bằng tiếng Anh có dấu chìm cho câu hỏi từ ELI5(mở trong cửa sổ mới).
Trên các bộ đánh giá dùng để kiểm tra Astra, mô hình tiên phong mới nhất của chúng tôi, chúng tôi không thấy khác biệt đáng kể về hiệu suất giữa đầu ra có và không có dấu chìm.
Bộ đánh giá | Văn bản không có dấu chìm (Astra, Max) | Văn bản có dấu chìm (Astra, Max) |
|---|---|---|
Chỉ số trí thông minh của Artificial Analysis | 49,57 điểm | 49,76 điểm |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Dấu chìm trong văn bản chỉ cung cấp tín hiệu hạn chế về vai trò của các hệ thống của chúng tôi đối với một đoạn văn bản. Điều quan trọng là hiểu những gì có thể và không thể kết luận từ kết quả phát hiện.
Dấu chìm không đo lường mức độ đóng góp của con người. Dấu chìm có thể cho thấy một hệ thống của OpenAI đã tạo hoặc xử lý một phần đoạn văn bản, nhưng không cho biết con người đã đóng góp bao nhiêu qua việc cân nhắc, chỉnh sửa hay sáng tạo.
Dấu chìm không xác lập quyền sở hữu hay trách nhiệm. Dấu chìm không xác định ai sở hữu văn bản, việc sử dụng văn bản có hợp pháp hay không, có bắt buộc phải công bố thông tin hay không, hoặc ai chịu trách nhiệm về văn bản đó.
Dấu chìm không xác định danh tính người dùng. Dấu chìm không liên kết văn bản với bất kỳ cá nhân, tổ chức, tài khoản, câu lệnh hay cuộc trò chuyện nào.
Dấu chìm không xác minh tính chính xác. Dấu chìm không cho biết một đoạn văn bản có đúng sự thật, gây hiểu lầm, có hại hay được trình bày đúng ngữ cảnh hay không.
Không phát hiện dấu chìm không có nghĩa là văn bản do con người viết. Văn bản được tạo bằng công cụ của OpenAI có thể quá ngắn, đã qua chỉnh sửa hoặc dịch thuật, khiến việc phát hiện không còn đáng tin cậy. Văn bản cũng có thể đến từ một mô hình chưa được hỗ trợ, được tạo trước khi triển khai dấu chìm hoặc do công cụ của công ty khác tạo ra.
Triển khai tính năng gắn dấu chìm cho văn bản tại EU. Trong những tuần tới, chúng tôi sẽ triển khai tính năng gắn dấu chìm cho văn bản đến người dùng ChatGPT và Codex đủ điều kiện thuộc mọi gói dịch vụ, chỉ tại EU. Khi ra mắt, chúng tôi sẽ không bật mặc định tính năng gắn dấu chìm cho văn bản trên toàn cầu. Cách tiếp cận theo khu vực này tạo điều kiện để chúng tôi học hỏi từ việc sử dụng và phản hồi thực tế.
Cho phép khách hàng API tùy chọn bật tính năng gắn dấu chìm. Từ hôm nay, khách hàng API trên toàn thế giới có thể chọn nhận đầu ra văn bản có dấu chìm từ một số mô hình. Nhờ đó, khách hàng có thể quyết định cách áp dụng dấu chìm sao cho phù hợp với nghĩa vụ minh bạch và trải nghiệm họ cung cấp cho người dùng. Chúng tôi cũng đang hợp tác với các đối tác đám mây để trong những tuần tới, đầu ra từ mô hình OpenAI được truy cập qua dịch vụ của họ cũng có thể sử dụng tính năng gắn dấu chìm.
Cấp quyền truy cập công cụ phát hiện cho các nhà nghiên cứu và tổ chức chuyên môn. Các nhà nghiên cứu và tổ chức chuyên môn được phê duyệt có thể đăng ký từ hôm nay. Theo Bộ quy tắc thực hành(mở trong cửa sổ mới), ban đầu quyền truy cập sẽ được cấp theo từng trường hợp nhằm hỗ trợ đánh giá và cải thiện khả năng xác định nguồn gốc văn bản. Công cụ sẽ báo cáo có phát hiện dấu chìm của OpenAI hay không, mà không xác định danh tính người dùng hoặc tiết lộ câu lệnh hay cuộc trò chuyện của họ. Do nguy cơ bỏ sót dấu chìm và báo dương tính giả, chúng tôi sẽ không cung cấp công khai công cụ này khi ra mắt.
Chúng tôi dự kiến sẽ xem xét lại từng phần của cách tiếp cận này khi công nghệ, tiêu chuẩn và bằng chứng tiếp tục phát triển.
Không một kỹ thuật xác định nguồn gốc nào là đủ khi dùng riêng lẻ, vì vậy chúng tôi áp dụng cách tiếp cận nhiều lớp, kết hợp các tiêu chuẩn mở, dấu chìm bền vững và công cụ xác minh.
Chúng tôi thêm Content Credentials vào đầu ra hình ảnh được hỗ trợ, tuân thủ C2PA(mở trong cửa sổ mới), nhúng dấu chìm vô hình SynthID(mở trong cửa sổ mới) vào hình ảnh và âm thanh được hỗ trợ, đồng thời cung cấp khả năng xác minh hình ảnh và âm thanh qua openai.com/verify và API nguồn gốc nội dung(mở trong cửa sổ mới) của chúng tôi. Các kỹ thuật này bổ trợ lẫn nhau: Content Credentials có thể ghi lại nguồn gốc và lịch sử của tệp, còn dấu chìm vô hình có thể giữ lại tín hiệu khi siêu dữ liệu bị xóa.
Như chúng tôi đã trình bày trong công tác bảo vệ bầu cử, thông tin nguồn gốc có thể giúp mọi người và các nền tảng đánh giá nội dung do AI tạo có khả năng gây hiểu lầm, bao gồm cả nội dung deepfake. Chúng tôi kết hợp các tín hiệu này với chính sách, hoạt động phát hiện hành vi lạm dụng, báo cáo, điều tra và thực thi, đồng thời hợp tác với các nhà nghiên cứu, tổ chức tiêu chuẩn, nền tảng và xã hội dân sự để thông tin nguồn gốc phát huy giá trị trong toàn hệ sinh thái.
Việc mở rộng khả năng xác định nguồn gốc sang văn bản đòi hỏi phải tính đến mức độ dễ dàng viết lại, dịch hoặc chỉnh sửa văn bản. Như đã trao đổi vào tháng 6, cách tiếp cận của chúng tôi phải tính đến những giới hạn thực tế của công nghệ hiện nay. Chúng tôi sẽ tiếp tục cải thiện khả năng phát hiện, nghiên cứu độ bền của dấu chìm khi văn bản được chỉnh sửa và dịch, đồng thời tìm cách phân biệt rõ hơn giữa văn bản có AI hỗ trợ và văn bản do AI viết. Chúng tôi sẽ điều chỉnh cách tiếp cận khi có thêm bằng chứng, cũng như khi tiêu chuẩn và yêu cầu pháp lý thay đổi, đồng thời mở rộng quyền truy cập công cụ phát hiện khi tin rằng kết quả có thể được diễn giải một cách có trách nhiệm.
Để biết thêm thông tin, vui lòng xem bài viết trong trung tâm trợ giúp(mở trong cửa sổ mới) của chúng tôi.
