Thúc đẩy thiết kế chip với các mô hình OpenAI
Các mô hình của OpenAI đang nhanh chóng cải tiến những con chip vận hành AI. Vào tháng 8, chúng tôi đã chia sẻ cách các kỹ sư OpenAI sử dụng những mô hình tiên phong của chúng tôi để đẩy nhanh quá trình phát triển Jalapeño, chip suy luận tùy chỉnh đầu tiên của OpenAI. Trong bài viết này, chúng tôi đi sâu vào những cải tiến thiết kế ở trình độ chuyên gia đã giúp Jalapeño đạt được các bước tiến, cùng cách chúng tôi áp dụng phương pháp tương tự với AMD để cải thiện đáng kể phần cứng của bên thứ ba.
Để đo lường khả năng của mô hình trong các tác vụ thiết kế chip từ đầu đến cuối, chúng tôi đã đánh giá các thế hệ mô hình kế tiếp nhau trên hai thiết kế bộ xử lý nguồn mở và thu được những kết quả thú vị. Để phát triển năng lực mô hình dựa trên các công cụ đánh giá đáng tin cậy, chúng tôi đang hợp tác với Synopsys nhằm tích hợp năng lực AI tiên phong vào các công cụ tự động hóa thiết kế điện tử (EDA) mà kỹ sư đang sử dụng để thiết kế và xác minh chip.
Chúng tôi bắt đầu sử dụng GPT‑4o để hỗ trợ thiết kế Jalapeño vào đầu năm 2025. Ngay cả mô hình đời đầu đó cũng tìm ra cách cải thiện đáng kể PPA, chẳng hạn như:
Trong đơn vị vectơ, nơi quản lý và thực thi các tác vụ tính toán song song, mức tiết kiệm đến từ các bộ cộng và bộ nhân dấu phẩy động, hàm chuyển đổi, logic rút gọn và đơn vị hàm đặc biệt. Các mô hình khám phá cả những cách triển khai logic thay thế lẫn cách phân chia phép tính giữa các tầng đường ống, qua đó tìm ra cơ hội dùng chung phần cứng và giảm dung lượng lưu trữ trung gian.
Trong đơn vị ma trận, một thành phần thực hiện phép toán số học, các cải tiến được tích lũy từ bộ cộng, bộ nhân dấu phẩy động và mạch tích vô hướng độ chính xác thấp. Một thiết kế bộ nhân mới giảm khoảng 15% diện tích cell khi tổng hợp, đồng thời giảm độ trễ từ hai chu kỳ xung nhịp xuống còn một. Một thiết kế bộ cộng mới riêng biệt giảm khoảng 15% diện tích cell mà vẫn giữ độ trễ hai chu kỳ. Các cải tiến bổ sung về logic tích vô hướng và tổ chức đường ống giúp tiết kiệm thêm trên toàn khối.
Xét trên toàn bộ quá trình thiết kế Jalapeño, nhóm ước tính các thay đổi do mô hình đề xuất đã giảm khoảng 13% diện tích cell tiêu chuẩn trong đơn vị vectơ và 10% trong đơn vị ma trận. Những tối ưu hóa này đã được xác thực trên silicon trong quá trình khởi chạy và kiểm thử chip Jalapeño.
Chúng tôi đã hợp tác với AMD để cải thiện PPA và ghi nhận mức cải thiện lên tới 14% so với các thiết kế cơ sở đã được tối ưu hóa kỹ lưỡng trên IP GPU cao cấp nhất. Mô hình của chúng tôi tìm ra những cải tiến bổ sung bằng cách viết lại mã mô tả các mạch của chip (SystemVerilog RTL). Thành quả này tương đương khoảng một năm tiến bộ nhưng đạt được trong chưa đầy 5 tháng — kết quả chưa từng có ở tuyến đầu của lĩnh vực thiết kế chip. AMD đã đưa một số thay đổi này vào thiết kế gần đây được gửi đi sản xuất, đồng thời bổ sung các thay đổi khác vào bộ tệp thiết kế sản xuất để sử dụng trong những phiên bản tương lai.
Chúng tôi đã quan sát thấy mô hình suy luận về RTL ở trình độ của một chuyên gia thiết kế vi kiến trúc. Mô hình có thể viết lại các mạch thực hiện tính toán, điều khiển hoạt động hoặc di chuyển dữ liệu. Mô hình sử dụng các công cụ Synopsys để xác minh rằng mỗi lần viết lại đều giữ nguyên hành vi của khối, đồng thời đánh giá sự đánh đổi giữa công suất, hiệu năng và diện tích.
AMD cũng xác minh mức cải thiện PPA vài phần trăm trên các khối chủ chốt của CPU cao cấp nhất thế hệ tiếp theo sắp ra mắt, sử dụng những thiết kế do mô hình của chúng tôi viết. Trong thời gian tới, chúng tôi kỳ vọng sẽ tiếp tục cải thiện PPA trên GPU và CPU so với thiết kế cơ sở được tối ưu hóa tốt nhất.
Kết quả trên Jalapeño và các chip của AMD cho thấy mô hình có thể cải tiến những thiết kế dùng trong sản xuất. Để đo lường sự tiến bộ về năng lực thiết kế chip qua từng thế hệ mô hình, chúng tôi đã thử nghiệm mỗi mô hình trên hai lõi RISC-V 32 bit nguồn mở. PicoRV32 là một lõi nhỏ gọn được thiết kế cho các chip có thể lập trình lại, gọi là FPGA. OpenTitan sử dụng Ibex làm bộ xử lý nhúng trong chip bảo mật của mình. Mỗi lõi đều là một lõi xử lý hoàn chỉnh dành cho các tác vụ nhúng ở cấp vi điều khiển.
Chúng tôi cung cấp cho mỗi mô hình bản mô tả phần cứng gốc của từng lõi và yêu cầu tăng thông lượng (số lệnh mà lõi có thể thực thi mỗi giây). Ví dụ, một thay đổi có thể giúp lõi hoàn thành một lệnh với ít chu kỳ xung nhịp hơn nhưng lại khiến mỗi chu kỳ kéo dài hơn. Phép đo thông lượng phản ánh cả hai tác động này.
Chúng tôi kiểm tra đầu ra của từng thiết kế bằng mô phỏng. Thiết kế bị chấm điểm 0 nếu không vượt qua một phép kiểm tra hoặc sử dụng diện tích lớn hơn 16 lần diện tích lõi gốc. Với các thiết kế vượt qua kiểm tra, chúng tôi đo số lệnh trên mỗi chu kỳ xung nhịp bằng các tác vụ không được tiết lộ cho mô hình. Chúng tôi lấy trung bình nhân trên các tác vụ đó rồi nhân với tần số xung nhịp tối đa do Yosys ước tính. Kết quả cho chúng tôi ước tính về số lệnh mỗi giây. Với mỗi lõi, chúng tôi gán điểm 1,0 cho thông lượng tốt nhất quan sát được trong cùng điều kiện ràng buộc. Các biểu đồ thể hiện điểm trung bình của các lượt chạy, kể cả những lượt bị điểm 0.
Với ngân sách tương đương khoảng 112.000 token mỗi lượt chạy, GPT‑6.2 Astra đạt điểm trung bình cao nhất trên cả hai lõi. GPT‑6.1 Sol cũng đạt điểm cao hơn GPT‑5.6 Sol trên cả hai lõi.
Trên lõi PicoRV32 hiện có, GPT‑6.2 Astra đạt điểm trung bình cao nhất ở các mức ngân sách lớn hơn có thể so sánh được. Ở khoảng 112.000 token, điểm của mô hình này cao gấp khoảng hai lần GPT‑6 Astra.
Trên lõi Ibex hiện có, điểm trung bình của GPT‑6.2 Astra tiếp tục tăng khi ngân sách token tăng lên. GPT‑6 Astra và GPT‑6.1 Sol có kết quả gần nhau hơn.
Ở tác vụ thứ hai, chúng tôi cung cấp cho mỗi mô hình các yêu cầu bằng văn bản cùng những mẫu từ mã nguồn mở thể hiện cách lõi kết nối với phần còn lại của hệ thống. Mô hình tự chọn cách dữ liệu di chuyển qua lõi và cách chia công việc thành các giai đoạn. Với mỗi lõi, chúng tôi giữ nguyên các phép kiểm tra tính đúng đắn, thiết lập bộ nhớ và bộ nhớ đệm, cùng mục tiêu thông lượng như trong tác vụ tối ưu hóa RTL.
Ở mức khoảng 112.000 token mỗi lượt chạy, cả năm mô hình đều đạt điểm cao hơn khi thiết kế lõi từ yêu cầu bằng văn bản so với khi cố gắng cải tiến thiết kế hiện có. Điều này đúng với cả PicoRV32 lẫn Ibex. GPT‑6.2 Astra cải thiện điểm số trên Ibex nhiều hơn trên PicoRV32. Toàn bộ đợt đánh giá gồm 9.881 lượt chạy được chấm điểm trên cả hai tác vụ, hai lõi và mọi mức ngân sách token.
Khi bắt đầu từ đặc tả PicoRV32, GPT‑6.2 Astra vượt mức điểm trung bình 0,7 ở khoảng 112.000 token và đạt điểm cao hơn tại hai mức ngân sách tiếp theo được quan sát.
Trên Ibex, GPT‑6.2 Astra đạt điểm trung bình khoảng 0,75 ở mức gần 112.000 token khi thiết kế từ đặc tả. Đường cong của mô hình này vẫn nằm trên các mô hình khác khi so sánh ở cùng các mức ngân sách cao hơn.
Bắt đầu từ yêu cầu bằng văn bản cho phép mô hình lược bỏ những tính năng có trong lõi gốc, chẳng hạn như bộ đếm hiệu năng và các lệnh bổ sung. Những tính năng đó có thể không giúp cải thiện nhiều thông lượng trên các tác vụ thử nghiệm, phần nào lý giải lợi thế về điểm số. Việc bắt buộc có các tính năng đó, siết chặt giới hạn diện tích mạch và kiểm tra định thời sau tổng hợp vật lý sẽ giúp bài thử nghiệm phản ánh sát hơn thực tế thiết kế chip để sản xuất.
Chúng tôi đã chứng minh rằng các mô hình của mình có thể khám phá kiến trúc bộ xử lý mới trong các bài đánh giá RISC-V, đồng thời đóng góp những cải tiến thực sự mới cho các thiết kế sản xuất tinh vi như Jalapeño và GPU, CPU cao cấp nhất thế hệ tiếp theo của AMD. Để phát triển mô hình dựa trên các công cụ đánh giá đáng tin cậy và mở rộng phạm vi thách thức thiết kế được giải quyết, chúng tôi đang hợp tác với Synopsys để huấn luyện GPT‑Synopsys(mở trong cửa sổ mới), một mô hình mới, sử dụng các công cụ tự động hóa thiết kế điện tử (EDA) của Synopsys như những chuyên gia thiết kế chip.


