OpenAI

Chipdesign mit OpenAI-Modellen voranbringen

Die Modelle von OpenAI verbessern in hohem Tempo die Chips, auf denen KI läuft. Im August⁠ haben wir berichtet, wie das Entwicklungsteam von OpenAI unsere Frontier-Modelle nutzte, um die Entwicklung unseres ersten maßgeschneiderten Inferenzchips Jalapeño zu beschleunigen. Hier betrachten wir genauer, welche Designverbesserungen auf Fachleuteniveau die Fortschritte bei Jalapeño ermöglicht haben und wie wir mit demselben Ansatz gemeinsam mit AMD auch Hardware anderer Hersteller deutlich verbessern.

Um die Fähigkeiten unserer Modelle bei durchgängigen Chipdesign-Aufgaben zu messen, haben wir aufeinanderfolgende Generationen an zwei Open-Source-Prozessordesigns evaluiert. Dabei ergaben sich interessante Erkenntnisse. Damit die Entwicklung dieser Fähigkeiten auf zuverlässigen Bewertungswerkzeugen beruht, arbeiten wir mit Synopsys daran, Frontier-Intelligenz mit den Werkzeugen zur elektronischen Entwurfsautomatisierung (EDA) zu verbinden, die Entwicklungsteams bereits für den Entwurf und die Verifikation von Chips nutzen.

Die Rechenblöcke von Jalapeño verbessern

Anfang 2025 begannen wir, GPT‑4o zur Unterstützung beim Design von Jalapeño einzusetzen. Schon dieses frühe Modell fand Möglichkeiten für erhebliche PPA-Verbesserungen, zum Beispiel:

In der Vektoreinheit, die parallele Rechenaufgaben verwaltet und ausführt, ergaben sich die Einsparungen bei Gleitkomma-Addierern und -Multiplizierern, Konvertierungsfunktionen, Reduktionslogik und der Spezialfunktionseinheit. Die Modelle untersuchten sowohl alternative Logikimplementierungen als auch die Aufteilung von Berechnungen auf Pipeline-Stufen. Dabei fanden sie Möglichkeiten, Hardware gemeinsam zu nutzen und Zwischenspeicher zu reduzieren.

In der Matrixeinheit, einer arithmetischen Komponente, summierten sich Verbesserungen bei Gleitkomma-Addierern, Multiplizierern und Skalarproduktschaltungen mit geringer Genauigkeit. Ein überarbeitetes Multipliziererdesign benötigte bei der Synthese etwa 15 % weniger Zellfläche und senkte zugleich die Latenz von zwei Taktzyklen auf einen. Ein separat überarbeitetes Addiererdesign reduzierte die Zellfläche um etwa 15 % und behielt dabei die Latenz von zwei Taktzyklen bei. Weitere Verbesserungen an der Skalarproduktlogik und der Pipeline-Organisation brachten zusätzliche Einsparungen im gesamten Block.

Über die gesamte Designarbeit an Jalapeño hinweg haben die von Modellen vorgeschlagenen Änderungen nach Schätzung des Teams die Standardzellfläche in der Vektoreinheit um etwa 13 % und in der Matrixeinheit um 10 % reduziert. Diese Optimierungen wurden bei der Inbetriebnahme von Jalapeño⁠ am gefertigten Chip bestätigt.

Unsere Zusammenarbeit mit AMD

Gemeinsam mit AMD haben wir an PPA-Verbesserungen gearbeitet und beim IP-Design der Flaggschiff-GPU Verbesserungen von bis zu 14 % gegenüber bereits stark optimierten Ausgangsdesigns erzielt. Unser Modell fand weitere Verbesserungsmöglichkeiten, indem es den Code umschrieb, der die Schaltungen des Chips beschreibt (SystemVerilog RTL). Das entspricht ungefähr einem Jahr Fortschritt in weniger als fünf Monaten. Solche Ergebnisse sind an der Spitze der Chipentwicklung bisher beispiellos. AMD hat einige dieser Änderungen bereits in ein aktuelles Design übernommen, das zur Fertigung übergeben wurde. Weitere wurden für künftige Versionen in die Design-Dateien für die Produktion aufgenommen.

Wir haben beobachtet, dass das Modell RTL auf dem Niveau erfahrener Fachleute für Mikroarchitektur analysiert. Das Modell kann Schaltungen umschreiben, die Berechnungen ausführen, Abläufe steuern oder Daten bewegen. Es nutzte Werkzeuge von Synopsys, um zu verifizieren, dass jede Überarbeitung das Verhalten des Blocks beibehielt, und um die Zielkonflikte zwischen Leistungsaufnahme, Rechenleistung und Fläche zu bewerten.

AMD bestätigte außerdem anhand der von unserem Modell erstellten Designs PPA-Verbesserungen im einstelligen Prozentbereich bei zentralen Blöcken seiner kommenden Flaggschiff-CPU der nächsten Generation. Für die Zukunft erwarten wir weitere PPA-Verbesserungen bei GPU und CPU gegenüber dem jeweils am stärksten optimierten Ausgangsdesign.

RISC-V-Kerne optimieren

Unsere Ergebnisse bei Jalapeño und den Chips von AMD zeigen, dass Modelle produktive Chipdesigns verbessern können. Um den Fortschritt der Chipdesign-Fähigkeiten von einer Modellgeneration zur nächsten zu messen, testeten wir jedes Modell an zwei quelloffenen 32-Bit-RISC-V-Kernen. PicoRV32 ist ein kompakter Kern für umprogrammierbare Chips, sogenannte FPGAs. OpenTitan nutzt Ibex als eingebetteten Prozessor in seinem Sicherheitschip. Beide sind vollständige Prozessorkerne für eingebettete Anwendungen der Mikrocontroller-Klasse.

Wir gaben jedem Modell die ursprüngliche Hardwarebeschreibung beider Kerne und forderten es auf, den Durchsatz zu erhöhen, also die Anzahl der Befehle, die der Kern pro Sekunde ausführen kann. Eine Änderung könnte beispielsweise dazu führen, dass ein Kern einen Befehl in weniger Taktzyklen abschließt, dafür aber jeder Zyklus länger dauert. Die Durchsatzmessung erfasst beide Effekte.

Wir überprüften die Ausgaben jedes Designs in einer Simulation. Designs erhielten null Punkte, wenn sie eine Prüfung nicht bestanden oder mehr als das 16-Fache der Fläche des ursprünglichen Kerns benötigten. Bei Designs, die bestanden hatten, maßen wir die Befehle pro Taktzyklus anhand von Arbeitslasten, die den Modellen nicht bekannt waren. Wir bildeten das geometrische Mittel über diese Arbeitslasten und multiplizierten es mit der maximalen Taktfrequenz, die mit Yosys geschätzt wurde. So erhielten wir einen Schätzwert für die Befehle pro Sekunde. Für jeden Kern bewerteten wir den höchsten unter denselben Bedingungen beobachteten Durchsatz mit 1,0. Die Diagramme zeigen die durchschnittliche Bewertung über alle Durchläufe, einschließlich der mit null Punkten bewerteten.

Bei einem vergleichbaren Budget von etwa 112.000 Token pro Durchlauf erzielte GPT‑6.2 Astra auf beiden Kernen die höchste durchschnittliche Bewertung. Auch GPT‑6.1 Sol schnitt auf beiden besser ab als GPT‑5.6 Sol.

Beim bestehenden PicoRV32-Kern erzielt GPT‑6.2 Astra bei den höheren vergleichbaren Budgets die höchste mittlere Bewertung. Bei rund 112.000 Token liegt sein Wert etwa doppelt so hoch wie der von GPT‑6 Astra.

Beim bestehenden Ibex-Kern steigt die mittlere Bewertung von GPT‑6.2 Astra mit den höheren erreichten Budgets weiter an. GPT‑6 Astra und GPT‑6.1 Sol liegen näher beieinander.

Einen RISC-V-Kern anhand einer Spezifikation entwerfen

Für die zweite Aufgabe gaben wir jedem Modell schriftliche Anforderungen und Vorlagen aus dem Open-Source-Code, die zeigen, wie der Kern an das übrige System angebunden ist. Das Modell legte fest, wie Daten durch den Kern fließen und wie die Arbeit auf Stufen verteilt wird. Für jeden Kern behielten wir dieselben Korrektheitsprüfungen, Speicher- und Cache-Einstellungen sowie Durchsatzziele wie bei der RTL-Optimierungsaufgabe bei.

Bei etwa 112.000 Token pro Durchlauf erzielten alle fünf Modelle höhere Bewertungen, wenn sie einen Kern anhand schriftlicher Anforderungen entwarfen, als wenn sie das bestehende Design zu verbessern versuchten. Das galt sowohl für PicoRV32 als auch für Ibex. GPT‑6.2 Astra verbesserte sich bei Ibex stärker als bei PicoRV32. Die gesamte Evaluierung umfasste 9.881 bewertete Durchläufe über beide Aufgaben, beide Kerne und alle Token-Budgets hinweg.

Ausgehend von einer PicoRV32-Spezifikation überschreitet GPT‑6.2 Astra bei rund 112.000 Token eine mittlere Bewertung von 0,7 und erzielt bei den nächsten beiden untersuchten Budgets höhere Werte.

Beim Entwurf von Ibex anhand einer Spezifikation erzielt GPT‑6.2 Astra bei rund 112.000 Token eine mittlere Bewertung von etwa 0,75. Bei höheren Budgets, die für alle Modelle untersucht wurden, bleibt seine Kurve über den anderen.

Schriftliche Anforderungen als Ausgangspunkt lassen den Modellen Spielraum, Funktionen der ursprünglichen Kerne wegzulassen, etwa Leistungszähler und zusätzliche Befehle. Diese Funktionen tragen bei den Testarbeitslasten möglicherweise wenig zum Durchsatz bei. Das könnte einen Teil des Bewertungsvorsprungs erklären. Würde man diese Funktionen vorschreiben, die Schaltungsfläche stärker begrenzen und das Zeitverhalten nach der physischen Synthese prüfen, würde der Test das Chipdesign für die Produktion besser abbilden.

Wie es weitergeht

Wir haben gezeigt, dass unsere Modelle in RISC-V-Evaluierungen neue Prozessorarchitekturen erkunden können. Zudem haben wir zusätzliche Verbesserungen an bereits ausgefeilten produktiven Designs erzielt, etwa an Jalapeño sowie an der Flaggschiff-GPU und -CPU der nächsten Generation von AMD. Damit die Modellentwicklung auf zuverlässigen Bewertungswerkzeugen beruht und ein breiteres Spektrum an Designaufgaben abdeckt, arbeiten wir mit Synopsys zusammen. Gemeinsam trainieren wir das neue Modell GPT‑Synopsys⁠(wird in einem neuen Fenster geöffnet) darauf, die Werkzeuge von Synopsys zur elektronischen Entwurfsautomatisierung (EDA) so einzusetzen, wie es erfahrene Fachleute für Chipdesign tun.