OpenAI модельдерімен чип жобалауды жетілдіру
OpenAI модельдері ЖИ жұмысын қамтамасыз ететін чиптерді қарқынды жетілдіріп жатыр. Тамыз айында OpenAI инженерлерінің озық модельдерімізді пайдаланып, инференске арналған алғашқы арнайы чипіміз Jalapeño-ны әзірлеуді қалай жеделдеткенін баяндадық. Бұл мақалада Jalapeño көрсеткіштерін арттырған сарапшылық деңгейдегі жобалық жетілдірулерді және AMD-мен бірлесе отырып, өзге өндірушілердің жабдықтарында елеулі нәтижеге жету үшін осы тәсілді қалай қолданып жатқанымызды толығырақ қарастырамыз.
Модельдеріміздің чипті басынан аяғына дейін жобалау қабілетін өлшеу үшін олардың бірнеше буынын ашық кодты екі процессор жобасында бағалап, қызықты нәтижелер алдық. Ал қабілеттерді сенімді бағалау құралдарына сүйеніп дамыту үшін Synopsys-пен бірге озық ЖИ-ді инженерлер чиптерді жобалау мен тексеруде қолданып жүрген электрондық жобалауды автоматтандыру (EDA) құралдарымен біріктіріп жатырмыз.
Jalapeño-ны жобалауға көмектесу үшін GPT‑4o моделін 2025 жылдың басында қолдана бастадық. Тіпті сол ерте модельдің өзі қуат тұтыну, өнімділік және аудан (PPA) көрсеткіштерін едәуір жақсартудың жолдарын тапты. Мысалы:
Параллель есептеу тапсырмаларын басқарып, орындайтын векторлық блокта үнемдеуге жылжымалы үтірлі қосқыштар мен көбейткіштер, түрлендіру функциялары, редукция логикасы және арнайы функциялар блогы арқылы қол жеткізілді. Модельдер логиканы іске асырудың балама нұсқаларын да, есептеулерді конвейер кезеңдеріне бөлу жолдарын да зерттеп, аппараттық ресурстарды ортақ пайдалану және аралық сақтау көлемін азайту мүмкіндіктерін тапты.
Арифметикалық компонент болып саналатын матрицалық блокта жылжымалы үтірлі қосқыштарды, көбейткіштерді және дәлдігі төмен скалярлық көбейтінді схемаларын жетілдіру жиынтық нәтиже берді. Көбейткіштің бір қайта жобаланған нұсқасы синтез кезінде ұяшықтар ауданын шамамен 15%-ға азайтып, кідірісті екі тактіден бір тактіге қысқартты. Қосқыштың бөлек қайта жобаланған нұсқасы екі тактілік кідірісті сақтай отырып, ұяшықтар ауданын шамамен 15%-ға азайтты. Скалярлық көбейтінді логикасын және конвейер құрылымын одан әрі жетілдіру бүкіл блок бойынша қосымша үнем берді.
Команданың бағалауынша, Jalapeño-ны жобалау жұмыстарының жалпы ауқымында модель ұсынған өзгерістер стандартты ұяшықтар ауданын векторлық блокта шамамен 13%-ға, ал матрицалық блокта 10%-ға азайтқан. Бұл оңтайландырулар Jalapeño чипін бастапқы іске қосу кезінде нақты кремнийде расталды.
AMD-мен бірге PPA көрсеткіштерін жақсарту бағытында жұмыс істеп, флагмандық GPU IP-де мұқият оңтайландырылған бастапқы нұсқалармен салыстырғанда 14%-ға дейін өсімге қол жеткіздік. Моделіміз чип схемаларын сипаттайтын кодты (SystemVerilog RTL) қайта жазу арқылы қосымша жетілдірулер тапты. Осылайша, шамамен бір жылдық ілгерілеуге 5 айға жетпейтін уақытта қол жеткізілді — бұл чип жобалаудың ең алдыңғы шебінде бұрын-соңды болмаған нәтиже. AMD осы өзгерістердің бір бөлігін жуырда өндіріске жіберген жобасына енгізіп үлгерді, ал қалғандарын болашақ нұсқаларда пайдалану үшін өндірістік жоба файлдарына қосты.
Модельдің RTL туралы сарапшы микроархитектор деңгейінде пайымдайтынын байқадық. Модель есептеулерді орындайтын, операцияларды басқаратын немесе деректерді тасымалдайтын схемаларды қайта жаза алады. Ол әрбір қайта жазылған нұсқада блоктың жұмысы өзгермегенін тексеру және қуат тұтыну, өнімділік пен аудан арасындағы ымыраларды бағалау үшін Synopsys құралдарын пайдаланды.
AMD сондай-ақ моделіміз жазған жобаларды пайдаланып, алдағы жаңа буын флагмандық CPU-ының негізгі блоктарында PPA көрсеткіштерінің бір таңбалы пайыздық өсімін растады. Алдағы уақытта GPU мен CPU бойынша ең оңтайландырылған бастапқы нұсқалармен салыстырғанда PPA көрсеткіштерін одан әрі жақсартамыз деп күтеміз.
Jalapeño және AMD чиптері бойынша нәтижелеріміз модельдердің өндірістік жобаларды жетілдіре алатынын көрсетеді. Модельдің бір буынынан келесісіне өткенде чип жобалау қабілетінің қалай дамитынын өлшеу үшін әр модельді ашық кодты екі 32 биттік RISC-V ядросында сынадық. PicoRV32 — FPGA деп аталатын қайта бағдарламаланатын чиптерге арналған ықшам ядро. OpenTitan қауіпсіздік чипінде Ibex-ті ендірілген процессор ретінде қолданады. Екеуі де ендірілген жүйелердегі микроконтроллер деңгейіндегі жүктемелерге арналған толыққанды процессор ядролары.
Әр модельге әрбір ядроның бастапқы аппараттық сипаттамасын беріп, өткізу қабілетін (ядро секундына орындай алатын нұсқаулар санын) арттыруды сұрадық. Мысалы, өзгеріс ядроға нұсқауды азырақ тактіде аяқтауға мүмкіндік беруі мүмкін, бірақ әр тактінің ұзақтығын арттыруы ықтимал. Өткізу қабілетін өлшеу осы екі әсерді де ескереді.
Әр жобаның шығыс нәтижелерін симуляцияда тексердік. Тексеруден өтпеген немесе ауданы бастапқы ядро ауданынан 16 еседен артық болған жобалар нөл ұпай алды. Тексеруден өткен жобалар үшін модельдерге көрсетілмеген жүктемелерде бір тактіде орындалатын нұсқаулар санын өлшедік. Осы жүктемелер бойынша геометриялық орташа мәнді есептеп, оны Yosys арқылы бағаланған ең жоғары тактілік жиілікке көбейттік. Осылайша, секундына орындалатын нұсқаулардың болжамды санын алдық. Әр ядро үшін бірдей шектеулер жағдайында байқаған ең жоғары өткізу қабілетіне 1,0 ұпай бердік. Диаграммаларда нөл ұпай алғандарын қоса, барлық сынақтардың орташа ұпайы көрсетілген.
Бір сынаққа шамамен 112 000 токен бөлінген салыстырмалы жағдайда GPT‑6.2 Astra екі ядрода да ең жоғары орташа ұпай жинады. GPT‑6.1 Sol да екі ядрода GPT‑5.6 Sol моделінен жоғары ұпай алды.
Қолданыстағы PicoRV32 ядросында салыстырмалы түрде көбірек токен бөлінгенде, GPT‑6.2 Astra ең жоғары орташа ұпай алады. Шамамен 112 000 токенде оның ұпайы GPT‑6 Astra нәтижесінен екі еседей жоғары.
Қолданыстағы Ibex ядросында GPT‑6.2 Astra моделіне бөлінетін токен саны артқан сайын оның орташа ұпайы да өсе береді. GPT‑6 Astra мен GPT‑6.1 Sol нәтижелері бір-біріне жақынырақ.
Екінші тапсырмада әр модельге жазбаша талаптар мен ядроның жүйенің қалған бөлігіне қалай қосылатынын көрсететін ашық кодтан алынған үлгілерді бердік. Модель деректердің ядро ішінде қалай қозғалатынын және жұмыстың кезеңдерге қалай бөлінетінін өзі таңдады. Әр ядро үшін дұрыстықты тексеру шарттарын, жад пен кэш баптауларын және өткізу қабілетінің мақсатты көрсеткіштерін RTL оңтайландыру тапсырмасындағыдай қалдырдық.
Бір сынаққа шамамен 112 000 токен бөлінгенде, бес модельдің бәрі қолданыстағы жобаны жетілдіруге тырысқаннан гөрі, ядроны жазбаша талаптар негізінде жобалағанда жоғары ұпай жинады. Бұл PicoRV32 және Ibex ядроларының екеуінде де байқалды. GPT‑6.2 Astra ұпайының өсімі PicoRV32-ге қарағанда Ibex-те көбірек болды. Толық бағалау екі тапсырманы, екі ядроны және барлық токен көлемдерін қамтыған, ұпай берілген 9 881 сынақтан тұрды.
PicoRV32 спецификациясы негізінде жобалағанда GPT‑6.2 Astra шамамен 112 000 токенде 0,7 орташа ұпайдан асады және келесі екі сыналған токен көлемінде одан да жоғары ұпай алады.
Ibex-ті спецификация негізінде жобалағанда GPT‑6.2 Astra шамамен 112 000 токенде орта есеппен 0,75 ұпай жинайды. Модельдерге бірдей әрі көбірек токен бөлінгенде де оның қисығы басқаларынан жоғары болып қалады.
Жазбаша талаптардан бастау модельдерге бастапқы ядролардағы өнімділік санауыштары мен қосымша нұсқаулар сияқты мүмкіндіктерді қоспауға еркіндік береді. Бұл мүмкіндіктер сынақ жүктемелерінде өткізу қабілетін айтарлықтай арттырмауы мүмкін. Ұпайдағы басымдықтың бір бөлігін осы жайт түсіндіруі ықтимал. Бұл мүмкіндіктерді міндетті ету, схема ауданына қатаңырақ шектеу қою және физикалық синтезден кейін уақыттық параметрлерді тексеру сынақты өндірістік чип жобалау жағдайларына жақындатар еді.
Модельдеріміздің RISC-V бағалау сынақтарында жаңа процессор архитектураларын зерттей алатынын көрсеттік. Сондай-ақ Jalapeño және AMD-дің келесі буын флагмандық GPU және CPU чиптері сияқты күрделі өндірістік жобаларға тың жетілдірулер қостық. Модель әзірлеуді сенімді бағалау құралдарына негіздеу және шешілетін жобалау міндеттерінің ауқымын кеңейту үшін Synopsys-пен серіктестік орнаттық. Бірге жаңа GPT‑Synopsys(жаңа терезеде ашылады) моделін Synopsys электрондық жобалауды автоматтандыру (EDA) құралдарын тәжірибелі чип жобалаушыларындай қолдануға үйретіп жатырмыз.


