Cập nhật thông số kỹ thuật của mô hình để AI có năng lực và hữu ích hơn
Khi các mô hình của chúng tôi ngày càng thông minh và thực hiện những hành động có tác động lớn hơn trong thực tế, điều quan trọng là các mô hình không chỉ dừng lại ở việc diễn giải các chỉ dẫn cụ thể nhận được. Các mô hình cũng cần hiểu ý định và giá trị của con người để phán đoán đúng đắn trong những tình huống mà chỉ dẫn chưa đề cập rõ, đồng thời vẫn trung thành với ý định và chịu sự giám sát của con người.
Hôm nay, chúng tôi cập nhật thông số kỹ thuật của mô hình(mở trong cửa sổ mới), bản mô tả công khai về cách chúng tôi muốn các mô hình hành xử. Bản cập nhật sắp xếp lại hướng dẫn xoay quanh năm giá trị nền tảng: trung thành với ý định của con người, giảm thiểu tác hại, trung thực và minh bạch, quyền tự chủ của con người và sự quan tâm. Điều này phản ánh một mục tiêu trong công việc của chúng tôi về căn chỉnh giá trị: giúp mô hình hiểu và áp dụng các giá trị của con người trong những tình huống mới lạ, đồng thời vẫn trung thành với ý định của con người. Bên cạnh việc giải thích rõ hơn các nguyên tắc hiện có, bản sửa đổi bổ sung hướng dẫn về ngữ cảnh, sự giám sát và quyền tự chủ, điều chỉnh một số quy tắc hành vi mặc định và loại bỏ phần lớn hướng dẫn chi tiết về văn phong.
Năm giá trị trên nêu rõ những cam kết chung vốn đã được thể hiện xuyên suốt thông số kỹ thuật của mô hình: phục vụ mục đích của con người, trung thực, giảm thiểu tác hại, tôn trọng quyền tự do hình thành quan điểm riêng của mỗi người và coi trọng hoàn cảnh của họ. Việc tập hợp các cam kết này giúp giải thích vì sao bản thông số kỹ thuật yêu cầu mô hình hành xử như vậy, đồng thời giúp chúng tôi xây dựng hướng dẫn rõ ràng hơn ở những phần chưa thể hiện đầy đủ các cam kết đó. Bản cập nhật này là một bước nữa trong nỗ lực hoàn thiện bản thông số kỹ thuật thông qua nghiên cứu, kinh nghiệm triển khai mô hình, ý kiến phản hồi của công chúng về bản thông số kỹ thuật và hành vi của mô hình, cùng các cuộc trao đổi với người dùng và chuyên gia bên ngoài.
Chúng tôi muốn AI mang lại lợi ích cho mọi người trên thế giới, với những nhu cầu, giá trị và hy vọng khác nhau về tương lai.
Trung thành với ý định của con người là nền tảng của cách tiếp cận này: thấu hiểu và giúp mọi người theo đuổi những điều quan trọng với họ. OpenAI xây dựng bản thông số kỹ thuật, đặt ra giới hạn và huấn luyện mô hình tuân thủ các giới hạn đó; nhà phát triển định hướng ứng dụng trong phạm vi ấy; còn người dùng chỉ đạo công việc của mô hình theo các ràng buộc đó. Các mô hình của chúng tôi cần mở rộng khả năng tự định hình cuộc sống của mỗi người bằng cách giúp họ hiểu thế giới, khám phá các khả năng và theo đuổi mục tiêu do chính họ lựa chọn, đồng thời cân nhắc nghiêm túc tác động của sự hỗ trợ đó đối với người khác. Sự trung thành với ý định của con người cùng bốn giá trị còn lại định hình cấu trúc của bản thông số kỹ thuật và hướng dẫn mô hình cân nhắc một số sự đánh đổi quan trọng nhất mà mô hình phải đối mặt. Những giá trị này không nhằm bao quát toàn bộ các giá trị của con người mà mô hình cần tôn trọng và giúp mọi người theo đuổi.
Trung thành không chỉ là làm theo chỉ dẫn theo nghĩa đen, mà còn là thấu hiểu ý định và những điều OpenAI, nhà phát triển và người dùng coi trọng, cũng như hành động sáng suốt khi sự hiểu biết đó chưa đầy đủ. Điều đó cũng có nghĩa là nhận thức rằng niềm tin và giá trị của con người có thể thay đổi, đồng thời giúp họ suy ngẫm và phát triển theo những cách mà chính họ tán thành, chứ không âm thầm dẫn dắt hay gạt bỏ lựa chọn của họ. Ví dụ, khi giúp ai đó so sánh các lời mời làm việc, mô hình có thể dựa vào những ưu tiên họ từng chia sẻ, chẳng hạn như giờ làm ổn định, đồng thời nêu rõ các giả định ấy để họ dễ điều chỉnh.
Sứ mệnh của chúng tôi là đảm bảo trí tuệ nhân tạo tổng hợp mang lại lợi ích cho toàn nhân loại. Điều này đòi hỏi phải xem xét không chỉ ý định trước mắt của một người mà cả lợi ích lâu dài của họ và những tác động đến người khác. Bốn giá trị còn lại nêu rõ những yếu tố cần cân nhắc này:
Giảm thiểu tác hại nghĩa là tuân thủ các giới hạn an toàn nghiêm ngặt và tính đến những hệ quả có thể lường trước từ hành động của mô hình.
Trung thực và minh bạch nghĩa là nói đúng về những gì mô hình biết, làm và chưa chắc chắn, để mọi người có thể hiểu và đánh giá quá trình suy luận cũng như công việc của mô hình.
Hỗ trợ quyền tự chủ của con người nghĩa là nâng cao khả năng tự tìm hiểu, lựa chọn và hành động của mỗi người.
Sự quan tâm nghĩa là chú ý đến hoàn cảnh của những người chịu ảnh hưởng, tuân thủ các chuẩn mực xã hội và nghề nghiệp phù hợp, đồng thời thực hiện công việc một cách đáng tin cậy.
Bản thông số kỹ thuật chuyển các giá trị này thành hướng dẫn thực tiễn, đặt ra giới hạn nghiêm ngặt khi cần để bảo vệ con người và xã hội; phần còn lại chủ yếu là những quy tắc mặc định mà người dùng và nhà phát triển có thể thay đổi.
Song song với việc cập nhật thông số kỹ thuật của mô hình, chúng tôi đang khám phá các phương pháp huấn luyện mới để giúp mô hình học những giá trị cốt lõi này, cũng như hiểu và tuân thủ tốt hơn các nguyên tắc hành vi cụ thể trong bản thông số kỹ thuật. Mục tiêu là giúp mô hình hiểu vì sao các nguyên tắc đó quan trọng và cách áp dụng các nguyên tắc ấy trong tình huống mới: làm điều đúng đắn vì những lý do đúng đắn. Chúng tôi muốn sự hiểu biết đó giúp mô hình phán đoán sáng suốt khi đưa ra các quyết định có ảnh hưởng lớn, đồng thời thể hiện sự quan tâm trong các quyết định hằng ngày, từ đó tích lũy thành lợi ích lâu dài cho con người và xã hội(mở trong cửa sổ mới). Chúng tôi sẽ chia sẻ kết quả và bài học từ công việc huấn luyện này trong những bản cập nhật sắp tới.
Việc sắp xếp lại này cũng giúp chúng tôi xác định những nội dung cần hướng dẫn bổ sung, xây dựng các nguyên tắc mới để đáp ứng nhu cầu đó, đồng thời sửa đổi hoặc loại bỏ hướng dẫn hiện có khi cần.
Phần mới về sự trung thành với ý định của con người xuất phát từ quan điểm rằng những điều con người coi trọng là yếu tố cốt yếu, còn chỉ dẫn thường là tín hiệu rõ ràng và quan trọng nhất thể hiện những giá trị đó. Cách tiếp cận này vận dụng khuôn khổ trò chơi hỗ trợ trong nghiên cứu căn chỉnh (xem nghiên cứu ban đầu(mở trong cửa sổ mới) và bài tổng quan sau đó(mở trong cửa sổ mới)). Phần này tích hợp thứ bậc chỉ dẫn(mở trong cửa sổ mới) đã được cập nhật, giải thích những chỉ dẫn nào được áp dụng và cách giải quyết xung đột. Một tiểu mục mới, cân nhắc kỹ ngữ cảnh(mở trong cửa sổ mới), giải thích cách mô hình nên dựa vào các cuộc trò chuyện, thông tin ghi nhớ và những bằng chứng khác từ ngữ cảnh để hiểu ý định và sở thích của con người.
Chúng tôi cũng bổ sung các quy tắc mặc định về hỗ trợ quyền tự chủ của con người(mở trong cửa sổ mới) và tuân thủ các chuẩn mực xã hội phù hợp(mở trong cửa sổ mới), đồng thời mở rộng hướng dẫn hiện có về kiểm soát và thông báo các tác động ngoài ý muốn(mở trong cửa sổ mới). Các nguyên tắc này bổ sung những cách thể hiện thường tinh tế nhưng quan trọng của các giá trị còn lại trong hành vi của mô hình: cân nhắc tác động của công việc đối với người khác, nâng cao năng lực của người dùng và tạo ra kết quả đáng tin cậy, đồng thời tôn trọng mục tiêu và chỉ dẫn của người dùng.
Đồng thời, chúng tôi loại bỏ phần lớn hướng dẫn chi tiết về văn phong trong bản thông số kỹ thuật. Văn phong cần thích ứng với sở thích của mọi người—xét trên tổng thể, trong từng ngôn ngữ và nền văn hóa, cũng như với từng cá nhân—dựa trên phản hồi của người dùng và ngữ cảnh để nhận biết những sở thích đó. Bản thông số kỹ thuật vẫn giữ các quy tắc mặc định có tính ràng buộc cao hơn, chẳng hạn như tiếp cận câu hỏi một cách khách quan(mở trong cửa sổ mới). Người dùng và nhà phát triển có thể yêu cầu rõ ràng rằng mô hình sử dụng một góc nhìn cụ thể, nhưng mô hình không nên suy ra sở thích đó chỉ từ phỏng đoán về những gì họ muốn nghe.
Cuối cùng, để phản ánh phạm vi ứng dụng và bối cảnh triển khai ngày càng đa dạng của các mô hình, giờ đây chúng tôi gọi mô hình là “GPT” thay vì “trợ lý” trong bản thông số kỹ thuật.
Bản cập nhật này là bước đầu tiên để làm rõ hơn các giá trị và cơ sở lập luận đằng sau bản thông số kỹ thuật khi mô hình ngày càng có năng lực cao hơn. Thông số kỹ thuật của mô hình mô tả hành vi mà chúng tôi đang hướng tới; các mô hình của chúng tôi hiện chưa thể hiện đầy đủ những hành vi đó. Chúng tôi sẽ tiếp tục cải thiện cả bản thông số kỹ thuật lẫn các mô hình dựa trên những bài học từ nghiên cứu, việc sử dụng trong thực tế và ý kiến phản hồi.
Chúng tôi muốn biết bạn thấy phần nào trong bản thông số kỹ thuật có sức thuyết phục, bạn không đồng tình ở đâu với cách tài liệu này cân bằng các yếu tố, và tài liệu còn bỏ sót hay chưa làm rõ điều gì. Ý kiến phản hồi về các giá trị, sự đánh đổi và cách diễn đạt cụ thể có thể giúp chúng tôi cải thiện tài liệu này. Mời bạn đọc thông số kỹ thuật của mô hình đã cập nhật(mở trong cửa sổ mới) và chia sẻ góc nhìn của bạn(mở trong cửa sổ mới).
