Model OpenAI dengan cepat menyempurnakan chip yang menjalankan AI. Pada bulan Agustus, kami membagikan cara para insinyur OpenAI menggunakan model terdepan kami untuk mempercepat pengembangan Jalapeño, chip inferensi khusus pertama kami. Di sini, kami mengulas lebih jauh penyempurnaan desain setingkat pakar yang mendasari peningkatan Jalapeño, serta cara kami menerapkan pendekatan yang sama bersama AMD untuk menghasilkan peningkatan signifikan pada perangkat keras pihak ketiga.
Untuk mengukur kemampuan model kami dalam tugas desain chip dari awal hingga akhir, kami mengevaluasi beberapa generasi model secara berurutan pada dua desain prosesor sumber terbuka dan memperoleh temuan menarik. Agar pengembangan kemampuan bertumpu pada alat evaluasi tepercaya, kami bekerja sama dengan Synopsys untuk mengintegrasikan kecerdasan terdepan dengan alat otomatisasi desain elektronik (EDA) yang sudah digunakan para insinyur untuk merancang dan memverifikasi chip.
Kami mulai menggunakan GPT‑4o untuk membantu merancang Jalapeño pada awal 2025. Bahkan model awal itu sudah menemukan cara untuk meningkatkan PPA secara berarti, seperti:
Pada unit vektor, yang mengelola dan menjalankan tugas komputasi paralel, penghematan diperoleh dari rangkaian penjumlah dan pengali floating-point, fungsi konversi, logika reduksi, serta unit fungsi khusus. Model-model tersebut mengeksplorasi alternatif implementasi logika serta cara membagi komputasi ke dalam tahapan pipeline, dan menemukan peluang untuk berbagi perangkat keras serta mengurangi penyimpanan hasil sementara.
Pada unit matriks, sebuah komponen aritmetika, peningkatan terakumulasi dari rangkaian penjumlah dan pengali floating-point serta rangkaian hasil kali titik berpresisi rendah. Salah satu desain ulang rangkaian pengali menggunakan luas sel sekitar 15% lebih kecil saat sintesis, sekaligus mengurangi latensi dari dua siklus clock menjadi satu. Desain ulang rangkaian penjumlah yang terpisah mengurangi luas sel sekitar 15% sembari mempertahankan latensi dua siklus. Penyempurnaan lebih lanjut pada logika hasil kali titik dan penataan pipeline memberikan penghematan tambahan di seluruh blok.
Dalam keseluruhan proses perancangan Jalapeño, tim memperkirakan bahwa perubahan yang diusulkan model mengurangi luas sel standar sekitar 13% pada unit vektor dan 10% pada unit matriks. Optimasi ini telah terbukti pada silikon selama pengujian awal silikon Jalapeño.
Kami bermitra dengan AMD untuk meningkatkan PPA dan telah melihat peningkatan hingga 14% pada IP GPU unggulannya dibandingkan dengan desain acuan yang sudah sangat dioptimalkan. Model kami menemukan penyempurnaan lebih lanjut dengan menulis ulang kode yang mendeskripsikan rangkaian chip (SystemVerilog RTL). Ini setara dengan kemajuan sekitar satu tahun yang dicapai dalam waktu kurang dari 5 bulan—hasil yang belum pernah dicapai sebelumnya di garis terdepan desain chip. AMD telah memasukkan sebagian perubahan ini ke dalam desain terbaru yang dikirim untuk diproduksi, serta menambahkan perubahan lainnya ke berkas desain produksi untuk digunakan pada versi mendatang.
Kami telah mengamati bahwa model ini mampu menalar tentang RTL setingkat ahli mikroarsitektur. Model ini dapat menulis ulang rangkaian yang melakukan perhitungan, mengendalikan operasi, atau memindahkan data. Model ini menggunakan alat Synopsys untuk memverifikasi bahwa setiap penulisan ulang tetap mempertahankan perilaku blok, serta mengevaluasi kompromi antara daya, performa, dan luas.
AMD juga memverifikasi peningkatan PPA dengan persentase satu digit pada berbagai blok utama CPU unggulan generasi berikutnya yang akan datang, menggunakan desain yang ditulis oleh model kami. Ke depan, kami memperkirakan adanya peningkatan PPA lebih lanjut pada GPU dan CPU dibandingkan dengan desain acuan yang paling optimal.
Hasil yang kami capai pada Jalapeño dan chip AMD menunjukkan bahwa model dapat menyempurnakan desain produksi. Untuk mengukur perkembangan kemampuan desain chip dari satu generasi model ke generasi berikutnya, kami menguji setiap model pada dua inti RISC-V 32-bit sumber terbuka. PicoRV32 adalah inti ringkas yang dirancang untuk chip yang dapat diprogram ulang, yang disebut FPGA. OpenTitan menggunakan Ibex sebagai prosesor tertanam di dalam chip keamanannya. Keduanya merupakan inti prosesor lengkap untuk beban kerja sistem tertanam kelas mikrokontroler.
Kami memberikan deskripsi perangkat keras asli untuk setiap inti kepada masing-masing model dan memintanya meningkatkan throughput (jumlah instruksi yang dapat dijalankan inti per detik). Misalnya, suatu perubahan mungkin memungkinkan inti menyelesaikan instruksi dalam lebih sedikit siklus clock, tetapi membuat setiap siklus berlangsung lebih lama. Pengukuran throughput memperhitungkan kedua efek tersebut.
Kami memeriksa keluaran setiap desain melalui simulasi. Desain mendapat skor nol jika gagal dalam pemeriksaan atau menggunakan luas lebih dari 16 kali luas inti asli. Untuk desain yang lolos, kami mengukur jumlah instruksi per siklus clock pada beban kerja yang tidak diperlihatkan kepada model. Kami menghitung rata-rata geometrik dari seluruh beban kerja tersebut, lalu mengalikannya dengan frekuensi clock maksimum yang diperkirakan menggunakan Yosys. Dari perhitungan itu, kami memperoleh perkiraan jumlah instruksi per detik. Untuk setiap inti, kami memberikan skor 1,0 pada throughput terbaik yang kami amati dengan batasan yang sama. Grafik menampilkan skor rata-rata dari seluruh pengujian, termasuk yang mendapat skor nol.
Dengan anggaran yang sebanding, yaitu sekitar 112.000 token per pengujian, GPT‑6.2 Astra meraih skor rata-rata tertinggi pada kedua inti. GPT‑6.1 Sol juga mengungguli GPT‑5.6 Sol pada keduanya.
Pada inti PicoRV32 yang sudah ada, GPT‑6.2 Astra meraih skor rata-rata tertinggi pada tingkat anggaran lebih besar yang sebanding. Pada sekitar 112.000 token, skornya sekitar dua kali skor GPT‑6 Astra.
Pada inti Ibex yang sudah ada, skor rata-rata GPT‑6.2 Astra terus meningkat seiring bertambahnya anggaran yang dicapainya. Skor GPT‑6 Astra dan GPT‑6.1 Sol lebih berdekatan.
Untuk tugas kedua, kami memberikan persyaratan tertulis dan templat dari kode sumber terbuka kepada setiap model, yang menunjukkan cara inti terhubung dengan bagian lain dari sistem. Model memilih cara data mengalir melalui inti dan cara membagi pekerjaan ke dalam beberapa tahap. Untuk setiap inti, kami menggunakan pemeriksaan kebenaran, pengaturan memori dan cache, serta sasaran throughput yang sama seperti pada tugas optimasi RTL.
Dengan sekitar 112.000 token per pengujian, kelima model meraih skor lebih tinggi saat merancang inti dari persyaratan tertulis daripada saat mencoba menyempurnakan desain yang sudah ada. Hal ini berlaku untuk PicoRV32 maupun Ibex. Peningkatan GPT‑6.2 Astra lebih besar pada Ibex daripada pada PicoRV32. Evaluasi lengkap mencakup 9.881 pengujian yang diberi skor untuk kedua tugas, kedua inti, dan seluruh tingkat anggaran token.
Dengan berawal dari spesifikasi PicoRV32, GPT‑6.2 Astra melampaui skor rata-rata 0,7 pada sekitar 112.000 token dan meraih skor lebih tinggi pada dua tingkat anggaran berikutnya yang diamati.
Pada Ibex, GPT‑6.2 Astra meraih skor rata-rata sekitar 0,75 pada sekitar 112.000 token saat merancang dari spesifikasi. Kurvanya tetap di atas model lain pada tingkat anggaran lebih besar yang sama-sama digunakan.
Memulai dari persyaratan tertulis memberi model keleluasaan untuk menghilangkan fitur yang ada pada inti asli, seperti penghitung performa dan instruksi tambahan. Fitur-fitur tersebut mungkin hanya sedikit meningkatkan throughput pada beban kerja pengujian, sehingga penghilangannya dapat menjelaskan sebagian keunggulan skor. Mewajibkan fitur-fitur tersebut, menetapkan batas luas rangkaian yang lebih ketat, dan memeriksa pewaktuan setelah sintesis fisik akan membuat pengujian lebih mencerminkan desain chip produksi.
Kami telah menunjukkan bahwa model kami dapat mengeksplorasi arsitektur prosesor baru dalam evaluasi RISC-V dan memberikan penyempurnaan yang benar-benar baru pada desain produksi canggih seperti Jalapeño serta GPU dan CPU unggulan generasi berikutnya dari AMD. Agar pengembangan model bertumpu pada alat evaluasi tepercaya dan mencakup lebih banyak tantangan desain, kami bermitra dengan Synopsys untuk melatih GPT‑Synopsys(terbuka di jendela baru), model baru yang akan menggunakan alat otomatisasi desain elektronik (EDA) Synopsys seperti para ahli desain chip.


