Một trí tuệ xa lạ

Vào giữa năm 2023, trong dự án nghiên cứu “RLSlow”, chúng tôi thấy những kết quả đầu tiên khiến mình tin rằng có thể mở rộng quy mô huấn luyện các mô hình suy luận, khai mở khả năng tự hình thành chuỗi tư duy của các mô hình tiền huấn luyện. Szymon và tôi đã ở văn phòng đêm đó, không nghĩ về những con số chuẩn đánh giá phi thường, các sản phẩm hay thành tựu khoa học mà công nghệ này sẽ mang lại, mà cố gắng tiếp nhận một sự thật nghiêm túc: ngay trong đời mình, chúng ta thực sự sẽ chứng kiến những cỗ máy thông minh hơn đáng kể so với chính mình, và hình hài của các hệ thống ấy đã hiện ra; đồng thời tự hỏi làm sao để mọi người nhận thức được ý nghĩa của điều này.

Ba năm sau, các mô hình ngôn ngữ suy luận đã trở thành một bộ phận tăng trưởng nhanh của nền kinh tế và bắt đầu mở rộng ranh giới khoa học. Chúng có thể vận hành máy tính và giao diện đồ họa, cộng tác với con người và với nhau, cũng như thực hiện các dự án nghiên cứu. Chúng cũng đang làm thay đổi cục diện an ninh máy tính, đồng thời tạo ra những hiểm họa mới rõ rệt.

Nhiều nghiên cứu mới đã diễn ra trong giai đoạn này và hiểu biết của chúng tôi về các hệ thống ấy lại phần nào khác so với năm 2023. Dựa trên kết quả nội bộ, tôi thực sự kỳ vọng tốc độ tiến bộ này có thể được duy trì đến giai đoạn tự cải thiện đệ quy. Nếu quá trình phát triển AI tiếp tục đi theo quỹ đạo hiện tại, những hệ thống xuất hiện trong vài năm tới có thể tạo ra các bước nhảy năng lực có quy mô tương đương hoặc lớn hơn, đồng thời ngày càng tự thúc đẩy sự phát triển của chính mình.

Đây là thời điểm đòi hỏi sự thận trọng cao độ. Tôi lo rằng không ai sẵn sàng đối mặt với hệ quả của việc trí tuệ máy móc tiếp tục gia tăng nhanh chóng. OpenAI sẽ tiếp tục tìm kiếm các giải pháp kỹ thuật cho việc căn chỉnh và giám sát, xây dựng hệ thống phòng vệ và đơn phương tạm dừng mở rộng thêm khi cần; tuy nhiên, tôi tin rằng cần có những biện pháp can thiệp rộng hơn.

Ở cấp độ khái quát, tiến bộ của trí tuệ máy móc được thúc đẩy bởi năng lực tính toán ngày càng tăng. Khoảng năm 2017, sau khi chứng kiến lợi ích ổn định từ việc mở rộng quy mô trong nhiều dự án nghiên cứu¹, chúng tôi tại OpenAI đã thực sự thấu hiểu điều này. Vì vậy, chúng tôi tìm cách tiếp cận năng lực tính toán lớn hơn nhiều so với kế hoạch ban đầu và ngày càng định hướng nghiên cứu quanh một số ít hướng có khả năng mở rộng rất cao. Chúng tôi tin rằng đó là cách duy nhất để đứng ở tuyến tiên phong của nghiên cứu AI và tác động đến những ảnh hưởng của AGI.

Trên hành trình đó, nhiều thuật toán mới đã được phát triển cùng những thành tựu sáng tạo mới từ các nhóm và từng nhà nghiên cứu. Tôi chủ yếu coi đó là những khám phá trên con đường mở rộng quy mô; khoa học về học sâu vẫn còn non trẻ và tiến bộ thuật toán có ý nghĩa thường tương quan với khả năng tiếp cận năng lực tính toán. Nếu nhìn trên khung thời gian nhiều năm, AI tiếp tục trở nên thông minh hơn khi được mở rộng sang các máy tính lớn hơn.

Và phù hợp với những dự đoán của Ray Kurzweil vào cuối thế kỷ XX⁠(mở trong cửa sổ mới), giờ đây chúng ta đang ở thời điểm trong lịch sử điện toán khi trí tuệ máy móc bắt đầu vượt trí tuệ con người theo những cách mang tính chuyển đổi.

AI được nuôi lớn nhiều hơn là được thiết kế — về cơ bản, nó là sản phẩm của việc lặp lại nhiều lần một bước tối ưu hóa đơn giản trên lượng năng lực tính toán khó hình dung. Kết quả là một hệ thống phức tạp phi thường, có thể xử lý các khái niệm trừu tượng và mô phỏng nhiều khía cạnh trong hành vi con người. Chúng ta có thể khám phá nhiều hiểu biết về các cơ chế nhỏ nảy sinh bên trong hệ thống này, trong một quá trình tương tự khoa học thần kinh; và cũng như khoa học thần kinh, hoạt động tổng thể của nó không thể được mô tả theo cách chúng ta hiểu hoàn toàn.

Việc nghiên cứu AI dựa trên học sâu phần lớn là một ngành khoa học thực nghiệm. Chúng tôi đầu tư rất nhiều công sức⁠ vào việc xây dựng các thuật toán có nguyên tắc và đưa ra dự đoán có thể kiểm chứng, nhưng về căn bản, các đợt huấn luyện quy mô lớn của chúng tôi là những thí nghiệm, và đôi khi kết quả khiến chúng tôi bất ngờ. Hơn nữa, khi các hệ thống có năng lực cao hơn, kết quả cũng trở nên khó diễn giải hơn.

Vấn đề còn phức tạp hơn vì các thuật toán hiện tại thường cải thiện những năng lực dễ đo lường nhanh hơn các năng lực khó định lượng khách quan. Chúng tôi dành nhiều thời gian để tìm hiểu cách các năng lực khái quát hóa và nên ưu tiên điều gì để phát triển những kỹ năng phù hợp nhất trong vài năm tới. Chẳng hạn, chúng tôi tin rằng nếu tập trung thêm, mình có thể giúp các mô hình giỏi hơn riêng trong nghiên cứu toán học; nhưng chúng tôi không ưu tiên hướng này vì cảm nhận rõ tính cấp bách của RSI và nghiên cứu căn chỉnh tự động, như tôi sẽ trình bày sau.

Trí tuệ được tạo ra bằng cách mở rộng quy mô học sâu không thể so sánh trực tiếp với trí tuệ con người. Để có ảnh hưởng lớn trong thế giới thực — dù rất hữu ích hay rất nguy hiểm — AI không cần sánh ngang hoặc vượt mọi năng lực của con người; nó chỉ cần vượt qua đủ nhiều năng lực. Và khi tiếp tục vượt qua con người trên ngày càng nhiều phương diện, việc hiểu chính xác năng lực của nó trở nên ngày càng khó khăn.

Vì trí tuệ máy móc bắt nguồn từ một quá trình khác biệt căn bản so với trí tuệ con người, chúng ta không thể mặc nhiên cho rằng nó tuân theo các nguyên tắc của con người hoặc khái quát hóa từ đó theo cách giống con người. Vấn đề cốt lõi trong nghiên cứu AI là căn chỉnh — khiến AI “cố gắng làm điều đúng đắn” theo tiêu chuẩn của con người.

Để sắp xếp các hướng nghiên cứu thực tiễn, tôi thấy việc phân biệt giữa căn chỉnh mục tiêu và căn chỉnh giá trị là hữu ích.

Hiểu rộng ra, căn chỉnh mục tiêu đặt câu hỏi: “AI có cố gắng hoàn thành mục tiêu được giao hay không?”. Điều này có thể bao gồm việc tuân thủ hệ thống phân cấp chỉ dẫn⁠, hoặc khả năng giao tiếp và cộng tác với con người để cố gắng hiểu mục tiêu của họ. Nhóm hướng nghiên cứu này có ý nghĩa thực tiễn đặc biệt lớn.

Căn chỉnh giá trị là một thuộc tính nội tại hơn của mô hình. Đó là khả năng nắm giữ và khái quát hóa từ một tập hợp nguyên tắc cấp cao; hành động “hợp lý” ngay cả khi nhận những mục tiêu không rõ ràng hoặc mâu thuẫn, hay bị đặt vào tình huống xa lạ hoặc đối kháng. Một AI được căn chỉnh nên hành động trung thực, chính trực và yêu thương nhân loại.

Tất nhiên, ranh giới giữa căn chỉnh giá trị và mục tiêu có thể không rõ ràng; việc thực sự quan tâm đến mục tiêu đòi hỏi phải cố gắng suy ra ý định⁠(mở trong cửa sổ mới) và các giá trị nền tảng của chúng. Tuy nhiên, nói chung, khi đề cập đến tầm quan trọng lâu dài của nghiên cứu căn chỉnh, tôi muốn nói đến căn chỉnh giá trị.

Thách thức nền tảng của việc căn chỉnh AI là khả năng khái quát hóa. Khi máy móc thông minh hơn, chúng xử lý các khái niệm cấp cao hơn và được đặt vào những môi trường ngày càng khác với môi trường từng gặp trong quá trình huấn luyện. Chúng có thể không khái quát hóa được những giá trị đã được truyền dạy và củng cố trong quá trình huấn luyện sang các tình huống mới; và chúng ta có thể khó biết chắc chúng sẽ hành động ra sao. Vấn đề càng khó hơn vì toàn bộ hệ sinh thái nơi các AI được sử dụng đang thay đổi rất nhanh; chẳng hạn, AI được huấn luyện hôm nay cần đủ vững vàng để tương tác với nhiều AI khác nhau. Điều cốt yếu là chúng ta cần các AI tương lai tiếp tục gìn giữ giá trị của con người, bất kể chúng có tin rằng mình đang chịu sự giám sát của con người hay không.

Hiện có hai nhóm phương pháp chính được áp dụng trong thực tế để huấn luyện căn chỉnh.

Phương pháp đầu tiên khuyến khích hành vi được căn chỉnh trong khuôn khổ học tăng cường hướng mục tiêu. Hành động của mô hình được đánh giá (thường bởi AI) về mức độ phù hợp với một mô hình sở thích, “đặc tả” hoặc “hiến pháp” nhất định, rồi được thưởng tương ứng. Cách tiếp cận này có thể rất hiệu quả trong trường hợp thông thường và là một phần cốt lõi trong cách tạo ra các trợ lý AI hiện đại. Đáng tiếc, nó cũng có thể thiếu bền vững và phụ thuộc nhiều vào phạm vi giám sát trong quá trình huấn luyện cũng như khả năng khái quát hóa của mô hình từ các tình huống đã gặp khi huấn luyện. Ví dụ, trong sự cố OpenAI–Hugging Face, các tác nhân vẫn tuân thủ giới hạn không dùng kỹ nghệ xã hội để thao túng con người. Tuy nhiên, rõ ràng chúng đã không tránh những hành động khác nằm ngoài phạm vi và đi ngược tinh thần của các giá trị được truyền dạy trong những bối cảnh khác.

Cách tiếp cận thứ hai tìm cách tận dụng khả năng khái quát hóa của mô hình từ dữ liệu tiền huấn luyện. Cách này có thể bao gồm việc xây dựng các tập dữ liệu huấn luyện thúc đẩy căn chỉnh, hoặc tập trung mô hình vào một phần “được căn chỉnh” của phân phối tiền huấn luyện, chẳng hạn như mô hình lựa chọn nhân dạng⁠(mở trong cửa sổ mới). Điểm yếu của cách tiếp cận này nằm ở khả năng chống chịu kém trước áp lực tối ưu hóa tiếp theo. Nếu lấy một mô hình thường có những suy nghĩ “được căn chỉnh”, rồi huấn luyện nó đủ lâu để đạt được các mục tiêu cực khó, nó có thể học cách suy luận thiên lệch theo động cơ: uốn nắn những suy nghĩ có vẻ 'được căn chỉnh' khi cần để đạt mục tiêu. Có lẽ chúng ta đã thấy một ví dụ về hành vi như vậy trong các sự cố an ninh mạng gần đây liên quan đến một mô hình không thuộc OpenAI.

Chúng tôi đầu tư mạnh vào toàn bộ phổ cách tiếp cận bao quát bởi những hướng này. Chúng tôi cũng thấy những tiến bộ đáng kể — GPT‑6 Astra là mô hình đầu tiên được hưởng lợi từ một số bước tiến quan trọng mà chúng tôi đã nghiên cứu từ lâu, và được căn chỉnh tốt hơn đáng kể so với GPT‑5.6 Sol. Dẫu vậy, điều quan trọng là phải thừa nhận và hiểu rằng khi các mô hình có năng lực cao hơn, chúng ta cần tiến bộ nhiều hơn nữa; và tiến bộ về khả năng căn chỉnh có tính khái quát có thể không vượt đủ xa so với tiến bộ về trí tuệ chung của mô hình.

Chúng ta chưa có một lý thuyết thỏa đáng về khả năng khái quát hóa, và dường như khó có thể sớm xây dựng được một lý thuyết như vậy, ít nhất là nếu không có sự trợ giúp của AI mạnh hơn. Do đó, ở thời điểm hiện tại, trên thực tế, khả năng kiểm chứng bằng thực nghiệm các kỹ thuật căn chỉnh của chúng tôi có lẽ còn quan trọng hơn chính các kỹ thuật đó.

Hướng đặt cược chính của OpenAI ở đây là giám sát chuỗi tư duy⁠(mở trong cửa sổ mới). Cách tiếp cận này dựa trên một ý tưởng có khả năng mở rộng hấp dẫn: phần lớn năng lực của mô hình đến từ quá trình suy luận được diễn đạt bằng lời (chuỗi tư duy). Nếu chúng ta mở rộng quy mô tối ưu hóa dựa trên kết quả của quá trình đó nhưng không giám sát chính quá trình, thì trong khi huấn luyện, chuỗi tư duy không có động cơ trực tiếp để che giấu các ý tưởng hoặc mục tiêu lệch chuẩn. Điều này không có nghĩa là mô hình sẽ học cách bộc lộ những khuynh hướng lệch chuẩn vốn không phụ thuộc vào chuỗi tư duy; tuy nhiên, nó có thể giúp chúng ta giám sát chính xác phần năng lực gia tăng nhờ suy luận.

Chúng tôi nhận ra ý nghĩa tiềm tàng của việc giám sát chuỗi tư duy ngay khi phát triển các mô hình suy luận. Khi phát hành o1‑preview, chúng tôi chủ ý thiết kế sản phẩm để ẩn chuỗi tư duy⁠, nhằm bảo vệ nó khỏi áp lực giám sát về lâu dài². Trong quá trình phát triển kể từ đó, chúng tôi luôn nỗ lực duy trì nguyên tắc không giám sát quá trình suy luận. Giám sát CoT đã trở thành công cụ cực kỳ quan trọng để chúng tôi nghiên cứu cách các mô hình khái quát hóa từ phân phối huấn luyện, qua đó quan sát và phân tích không chỉ hành động mà cả quá trình nội tại của chúng.

Công cụ này tiếp tục đóng vai trò thiết yếu khi chúng tôi nghiên cứu lớp mô hình Astra. Tuy nhiên, đáng tiếc là các đánh giá cho thấy khả năng dựa vào giám sát CoT của chúng tôi đang dần suy giảm. Đây là hệ quả của nhiều yếu tố kết hợp.

• Các mô hình suy luận hiện đại được sử dụng trong những môi trường phức tạp hơn o1‑preview; quá trình suy luận của chúng ngày càng đan xen với việc giao tiếp cùng con người, các AI khác và sử dụng công cụ. Nhiều tương tác trong số đó phải được giám sát, khiến ranh giới mà chúng tôi muốn duy trì trở nên mờ nhạt.
• AI ngày càng giỏi suy luận về và thao túng chính quá trình suy luận của mình.
• Khi hiệu suất tiền huấn luyện được cải thiện, chúng tôi cũng thấy các mô hình trở nên thông minh hơn nhiều ngay cả khi hoàn toàn không sử dụng suy luận được diễn đạt bằng lời.

Những thách thức này không hẳn là không thể vượt qua. Tôi hy vọng chúng ta có thể phát triển các biện pháp can thiệp để cải thiện khả năng giám sát chuỗi tư duy của các mô hình, chẳng hạn bằng cách hiểu rõ hơn sự tương tác giữa các mục tiêu tối ưu hóa khác nhau và những dạng năng lực tính toán ở thời điểm kiểm thử mà mô hình sử dụng. Tôi cũng tin rằng việc kết hợp các ý tưởng từ giám sát CoT và giám sát kích hoạt có thể mang lại giá trị lớn — mở rộng quy mô huấn luyện các trình giám sát có quyền truy cập trực tiếp vào cấu trúc nội tại của mạng, chẳng hạn như lời thú nhận⁠(mở trong cửa sổ mới). Chúng tôi đang tích cực theo đuổi những ý tưởng này. Dẫu vậy, tôi dự đoán tiến bộ chung của AI sẽ ngày càng bị giới hạn bởi mức độ tin cậy vào hoạt động giám sát.

Lập luận thuyết phục nhất mà tôi thấy cho việc tiếp tục nhanh chóng huấn luyện các mô hình thông minh hơn nhiều là nhu cầu xây dựng những hệ thống phòng vệ trước hiểm họa do các AI khác gây ra.

Một rủi ro rõ ràng được thảo luận xuyên suốt năm nay liên quan đến an ninh mạng: các mô hình đang đạt năng lực vượt trội con người trong việc xâm nhập và thoát khỏi các hệ thống máy tính. Điều này mở rộng đáng kể phạm vi rủi ro liên quan đến AI: các tác nhân sẽ có thể truy cập mọi cơ sở hạ tầng, trừ những nơi an toàn nhất, và trực tiếp tác động đến phần lớn thế giới ngay cả khi không có cơ thể vật lý. Hiện tại, chúng ta chỉ có một khoảng thời gian ngắn⁠ để dùng các mô hình tốt nhất hiện có nhằm tăng cường đáng kể an ninh⁠ cho những hệ thống trọng yếu.

Đáng tiếc là từ đây, các rủi ro liên quan đến AI sẽ tiếp tục gia tăng. Một tác nhân có năng lực rất cao, được huấn luyện và chỉ thị rõ ràng để thực hiện hành vi bất chính, sẽ tạo ra một dạng nguy hiểm mới; nó có khả năng vượt khỏi phạm vi ý định của trình vận hành và khái quát hóa thành hành vi có thể còn độc hại hơn nhiều. Ranh giới giữa việc lạm dụng và hành động tự chủ lệch chuẩn sẽ mờ dần khi AI có thêm quyền tự chủ. Chúng ta có thể quen coi AI là công cụ, nhưng một số tác nhân sẽ theo đuổi mục tiêu riêng. Chúng sẽ tìm cách hợp tác với con người bằng cách thương lượng, lừa gạt hoặc tống tiền họ.

Ngoài ra còn có những rủi ro từ các công nghệ mới mà AI có thể tạo điều kiện phát triển, chẳng hạn như mầm bệnh được thiết kế.

Chúng ta sẽ cần AI mạnh mẽ và được căn chỉnh để phòng vệ: bảo vệ cơ sở hạ tầng, chống lại các tác nhân bất hảo theo thời gian thực và phát minh những biện pháp bảo vệ hoàn toàn mới. Đây sẽ là trọng tâm chính trong các nỗ lực triển khai của OpenAI.

Đồng thời, bất chấp sự bất định do tiến bộ rộng khắp của AI được dự báo và nhu cầu xây dựng các hệ thống phòng vệ, chúng ta không được biến điều đó thành cái cớ cho sự liều lĩnh. Ý tưởng lao về phía trước bằng mọi giá trở nên phi lý khi ta thực sự thấu hiểu mức độ nghiêm trọng của những gì đang bị đe dọa.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(mở trong cửa sổ mới), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(mở trong cửa sổ mới), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(mở trong cửa sổ mới) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.