AIని నడిపించే చిప్లను OpenAI మోడళ్లు వేగంగా మెరుగుపరుస్తున్నాయి. మా తొలి ప్రత్యేక ఇన్ఫరెన్స్ చిప్ Jalapeño అభివృద్ధిని వేగవంతం చేయడానికి OpenAI ఇంజినీర్లు మా అత్యాధునిక మోడళ్లను ఎలా ఉపయోగించారో ఆగస్టులో వివరించాం. Jalapeño పురోగతికి దోహదపడిన నిపుణుల స్థాయి రూపకల్పన మెరుగుదలలను ఇక్కడ మరింత లోతుగా పరిశీలిస్తాం. AMDతో కలిసి ఇతర సంస్థల హార్డ్వేర్లో గణనీయమైన మెరుగుదలలు సాధించడానికి ఇదే విధానాన్ని ఎలా అనుసరిస్తున్నామో వివరిస్తాం.
చిప్ రూపకల్పన పనులను మొదటి నుంచి చివరి వరకు చేయడంలో మా మోడల్ సామర్థ్యాన్ని కొలిచేందుకు, రెండు ఓపెన్ సోర్స్ ప్రాసెసర్ రూపకల్పనలపై వరుస తరాల మోడళ్లను మూల్యాంకనం చేశాం. ఆసక్తికరమైన ఫలితాలు కనిపించాయి. సామర్థ్యాల అభివృద్ధికి విశ్వసనీయ మూల్యాంకన సాధనాలను ఆధారంగా చేసుకునేందుకు Synopsysతో కలిసి పనిచేస్తున్నాం. ఇంజినీర్లు చిప్ల రూపకల్పన, ధృవీకరణకు ఇప్పటికే వాడుతున్న ఎలక్ట్రానిక్ డిజైన్ ఆటోమేషన్ (EDA) సాధనాలతో అత్యాధునిక మేధస్సును అనుసంధానిస్తున్నాం.
2025 ప్రారంభంలో Jalapeño రూపకల్పనకు GPT‑4o సహాయం తీసుకోవడం మొదలుపెట్టాం. ఆ తొలినాటి మోడల్ కూడా విద్యుత్ వినియోగం, పనితీరు, విస్తీర్ణం (PPA)లో చెప్పుకోదగిన మెరుగుదలలకు మార్గాలు కనుగొంది. ఉదాహరణకు:
సమాంతర గణన పనులను నిర్వహించి, అమలు చేసే వెక్టర్ యూనిట్లో, ఫ్లోటింగ్ పాయింట్ కూడిక, గుణకార సర్క్యూట్లు, మార్పిడి ఫంక్షన్లు, రిడక్షన్ లాజిక్, ప్రత్యేక ఫంక్షన్ల యూనిట్ ద్వారా ఆదా సాధ్యమైంది. మోడళ్లు ప్రత్యామ్నాయ లాజిక్ అమలు పద్ధతులను, గణనలను పైప్లైన్ దశల మధ్య విభజించే విధానాలను పరిశీలించాయి. హార్డ్వేర్ను ఉమ్మడిగా వాడటానికి, మధ్యంతర నిల్వను తగ్గించడానికి అవకాశాలను కనుగొన్నాయి.
అంకగణిత భాగమైన మ్యాట్రిక్స్ యూనిట్లో, ఫ్లోటింగ్ పాయింట్ కూడిక, గుణకార సర్క్యూట్లు, తక్కువ ఖచ్చితత్వపు డాట్ ప్రొడక్ట్ సర్క్యూట్ల మెరుగుదలలు కలసి ఫలితాన్నిచ్చాయి. ఒక గుణకార సర్క్యూట్ పునర్రూపకల్పనతో సింథసిస్లో సెల్ విస్తీర్ణం సుమారు 15% తగ్గింది. అదే సమయంలో జాప్యం రెండు క్లాక్ సైకిళ్ల నుంచి ఒకటికి తగ్గింది. వేరొక కూడిక సర్క్యూట్ పునర్రూపకల్పనలో రెండు సైకిళ్ల జాప్యం అలాగే ఉన్నా, సెల్ విస్తీర్ణం సుమారు 15% తగ్గింది. డాట్ ప్రొడక్ట్ లాజిక్, పైప్లైన్ అమరికలో మరిన్ని మెరుగుదలలు ఆ విభాగమంతటా అదనపు ఆదాకు దోహదపడ్డాయి.
మొత్తం Jalapeño రూపకల్పనలో మోడల్ సూచించిన మార్పుల వల్ల ప్రామాణిక సెల్ల విస్తీర్ణం వెక్టర్ యూనిట్లో సుమారు 13%, మ్యాట్రిక్స్ యూనిట్లో 10% తగ్గిందని బృందం అంచనా వేసింది. Jalapeño సిలికాన్ను తొలిసారి పని చేయించి పరీక్షించినప్పుడు ఈ మెరుగుదలలు వాస్తవ చిప్పై నిరూపితమయ్యాయి.
PPA మెరుగుదలల కోసం AMDతో భాగస్వామ్యం చేసుకున్నాం. ప్రధాన GPU IPలో, ఇప్పటికే విస్తృతంగా మెరుగుపరిచిన ప్రాథమిక రూపకల్పనలతో పోలిస్తే 14% వరకు మెరుగుదల సాధించాం. చిప్ సర్క్యూట్లను వివరించే కోడ్ను (SystemVerilog RTL) తిరగరాయడం ద్వారా మా మోడల్ మరిన్ని మెరుగుదలలను కనుగొంది. సుమారు ఏడాది పట్టే పురోగతిని 5 నెలల్లోపే సాధించినట్లయింది. చిప్ రూపకల్పనలో సాంకేతిక పరిమితులను అధిగమించే కృషిలో ఇవి మునుపెన్నడూ లేని ఫలితాలు. AMD ఇటీవల తయారీకి పంపిన ఒక రూపకల్పనలో ఇప్పటికే ఈ మార్పుల్లో కొన్నింటిని చేర్చింది. భవిష్యత్ సంస్కరణల్లో వాడేందుకు మరికొన్నింటిని తన ఉత్పత్తి రూపకల్పన ఫైళ్లలో చేర్చింది.
నిపుణుడైన మైక్రోఆర్కిటెక్ట్ స్థాయిలో మోడల్ RTL గురించి తార్కికంగా ఆలోచించడాన్ని గమనించాం. గణనలు చేసే, కార్యకలాపాలను నియంత్రించే లేదా డేటాను తరలించే సర్క్యూట్లను మోడల్ తిరగరాయగలదు. ప్రతిసారి తిరగరాసిన తర్వాత విభాగం పనిచేసే తీరు మారలేదని ధృవీకరించడానికి, విద్యుత్ వినియోగం, పనితీరు, విస్తీర్ణాల్లో లాభనష్టాలను అంచనా వేయడానికి అది Synopsys సాధనాలను ఉపయోగించింది.
మా మోడల్ రాసిన రూపకల్పనలను ఉపయోగించి, త్వరలో రానున్న తన తదుపరి తరం ప్రధాన CPUలోని కీలక విభాగాల్లో PPAలో ఒక అంకె శాతం మేర మెరుగుదలలను కూడా AMD ధృవీకరించింది. ఇకముందు GPU, CPUల్లో అత్యధికంగా మెరుగుపరిచిన ప్రాథమిక రూపకల్పనతో పోలిస్తే PPAలో మరిన్ని మెరుగుదలలు సాధించగలమని ఆశిస్తున్నాం.
Jalapeño, AMD చిప్లపై మా ఫలితాలు, ఉత్పత్తిలో వాడే రూపకల్పనలను మోడళ్లు మెరుగుపరచగలవని చూపిస్తున్నాయి. ఒక తరం మోడల్ నుంచి తదుపరి తరానికి చిప్ రూపకల్పన సామర్థ్యాల్లో పురోగతిని కొలిచేందుకు, ప్రతి మోడల్ను రెండు ఓపెన్ సోర్స్ 32-బిట్ RISC-V కోర్లపై పరీక్షించాం. మళ్లీ ప్రోగ్రామ్ చేయగల FPGA చిప్ల కోసం రూపొందించిన చిన్న కోర్ PicoRV32. OpenTitan తన భద్రతా చిప్లో అంతర్నిర్మిత ప్రాసెసర్గా Ibexను వాడుతుంది. ఈ రెండూ ఎంబెడెడ్, మైక్రోకంట్రోలర్ స్థాయి పనిభారాల కోసం రూపొందించిన పూర్తి ప్రాసెసర్ కోర్లు.
ప్రతి మోడల్కు ప్రతి కోర్ అసలు హార్డ్వేర్ వివరణను ఇచ్చి, థ్రూపుట్ను (కోర్ సెకనుకు అమలు చేయగల సూచనల సంఖ్యను) పెంచమని అడిగాం. ఉదాహరణకు, ఒక మార్పు వల్ల కోర్ తక్కువ క్లాక్ సైకిళ్లలోనే సూచనను పూర్తి చేయవచ్చు. కానీ ప్రతి సైకిల్కు పట్టే సమయం పెరగవచ్చు. థ్రూపుట్ను కొలిస్తే ఈ రెండు ప్రభావాలూ లెక్కలోకి వస్తాయి.
ప్రతి రూపకల్పన ఫలితాలను అనుకరణలో తనిఖీ చేశాం. ఏదైనా తనిఖీలో విఫలమైనా, అసలు కోర్ విస్తీర్ణానికి 16 రెట్ల కంటే ఎక్కువ వాడినా ఆ రూపకల్పనలకు సున్నా స్కోరు ఇచ్చాం. ఉత్తీర్ణమైన రూపకల్పనల విషయంలో, మోడళ్లకు తెలియనివ్వని పనిభారాలపై ఒక్కో క్లాక్ సైకిల్కు అమలయ్యే సూచనలను కొలిచాం. ఆ పనిభారాలన్నింటి జ్యామితీయ సగటును తీసుకుని, Yosysతో అంచనా వేసిన గరిష్ఠ క్లాక్ ఫ్రీక్వెన్సీతో గుణించాం. దీనితో సెకనుకు అమలయ్యే సూచనల సంఖ్యపై అంచనా వచ్చింది. ప్రతి కోర్లో, ఒకే పరిమితుల్లో మేం గమనించిన అత్యుత్తమ థ్రూపుట్కు 1.0 స్కోరు కేటాయించాం. సున్నా స్కోరు వచ్చినవాటితో సహా అన్ని ప్రయోగాల సగటు స్కోరును ఈ చార్ట్లు చూపిస్తున్నాయి.
ప్రయోగానికి సుమారు 112,000 టోకెన్ల చొప్పున పోల్చదగిన కేటాయింపుతో, GPT‑6.2 Astra రెండు కోర్లలోనూ అత్యధిక సగటు స్కోరు సాధించింది. రెండింటిలోనూ GPT‑6.1 Sol కూడా GPT‑5.6 Sol కంటే ఎక్కువ స్కోరు సాధించింది.
ప్రస్తుత PicoRV32 కోర్పై, పోల్చదగిన అధిక టోకెన్ కేటాయింపుల్లో GPT‑6.2 Astra అత్యధిక సగటు స్కోరు సాధించింది. సుమారు 112,000 టోకెన్ల వద్ద దాని స్కోరు GPT‑6 Astra స్కోరుకు దాదాపు రెట్టింపు.
ప్రస్తుత Ibex కోర్పై, GPT‑6.2 Astraకు టోకెన్ల కేటాయింపు పెరిగేకొద్దీ దాని సగటు స్కోరు పెరుగుతూనే ఉంది. GPT‑6 Astra, GPT‑6.1 Sol స్కోర్లు ఒకదానికొకటి మరింత దగ్గరగా ఉన్నాయి.
రెండో పనిలో, ప్రతి మోడల్కు లిఖిత అవసరాలతో పాటు, కోర్ మిగతా వ్యవస్థతో ఎలా అనుసంధానమవుతుందో చూపే ఓపెన్ సోర్స్ కోడ్ మూసలను ఇచ్చాం. కోర్లో డేటా ఎలా కదలాలి, పనిని దశలుగా ఎలా విభజించాలి అనేది మోడల్ ఎంచుకుంది. ప్రతి కోర్కు, సరిగా పనిచేస్తోందో లేదో చూసే తనిఖీలను, మెమరీ, కాష్ సెట్టింగ్లను, థ్రూపుట్ లక్ష్యాలను RTL మెరుగుదల పనిలో ఉన్నట్లే ఉంచాం.
ప్రయోగానికి సుమారు 112,000 టోకెన్ల చొప్పున కేటాయించినప్పుడు, ఉన్న రూపకల్పనను మెరుగుపరిచేందుకు ప్రయత్నించినప్పటి కంటే లిఖిత అవసరాల నుంచి కోర్ను రూపొందించినప్పుడే ఐదు మోడళ్లూ అధిక స్కోర్లు సాధించాయి. PicoRV32, Ibex రెండింటిలోనూ ఇదే కనిపించింది. GPT‑6.2 Astra స్కోరు PicoRV32 కంటే Ibexలో ఎక్కువగా మెరుగుపడింది. రెండు పనులు, రెండు కోర్లు, అన్ని టోకెన్ కేటాయింపులను కలుపుకొని పూర్తి మూల్యాంకనంలో 9,881 ప్రయోగాలకు స్కోర్లు ఇచ్చాం.
PicoRV32 నిర్దేశాల నుంచి ప్రారంభించినప్పుడు, సుమారు 112,000 టోకెన్ల వద్ద GPT‑6.2 Astra సగటు స్కోరు 0.7ను దాటింది. ఆ తర్వాత పరిశీలించిన రెండు అధిక కేటాయింపుల్లో ఇంకా ఎక్కువ స్కోరు సాధించింది.
Ibex నిర్దేశాల ఆధారంగా రూపకల్పన చేసినప్పుడు, సుమారు 112,000 టోకెన్ల వద్ద GPT‑6.2 Astra సగటు స్కోరు దాదాపు 0.75. అన్నింటికీ సమానంగా అధిక టోకెన్లను కేటాయించినప్పుడు కూడా దాని వక్రరేఖ మిగతావాటి కంటే పైనే ఉంది.
లిఖిత అవసరాల నుంచి ప్రారంభించడం వల్ల, అసలు కోర్లలోని పనితీరు కౌంటర్లు, అదనపు సూచనలు వంటి ఫీచర్లను వదిలేయడానికి మోడళ్లకు వీలుంటుంది. పరీక్ష పనిభారాలపై థ్రూపుట్ను మెరుగుపరచడంలో ఆ ఫీచర్ల పాత్ర స్వల్పంగా ఉండవచ్చు. స్కోరులో ఆధిక్యానికి ఇది కొంతవరకు కారణం కావచ్చు. ఆ ఫీచర్లను తప్పనిసరి చేయడం, సర్క్యూట్ విస్తీర్ణంపై మరింత కఠినమైన పరిమితి పెట్టడం, భౌతిక సింథసిస్ తర్వాత సమయ కొలతలను తనిఖీ చేయడం వల్ల ఈ పరీక్ష వాస్తవ ఉత్పత్తి చిప్ రూపకల్పనకు మరింత దగ్గరగా ఉంటుంది.
RISC-V మూల్యాంకనాల్లో మా మోడళ్లు కొత్త ప్రాసెసర్ నిర్మాణాలను అన్వేషించగలవని నిరూపించాం. Jalapeño, AMD తదుపరి తరం ప్రధాన GPU, CPU వంటి అధునాతన ఉత్పత్తి రూపకల్పనలకు అదనంగా సరికొత్త మెరుగుదలలను అందించాం. విశ్వసనీయ మూల్యాంకన సాధనాల ఆధారంగా మోడల్ను అభివృద్ధి చేయడానికి, మరిన్ని రకాల రూపకల్పన సవాళ్లను పరిష్కరించడానికి Synopsysతో భాగస్వామ్యం చేసుకుంటున్నాం. నిపుణులైన చిప్ రూపకర్తల్లాగే Synopsys ఎలక్ట్రానిక్ డిజైన్ ఆటోమేషన్ (EDA) సాధనాలను ఉపయోగించేలా GPT‑Synopsys(కొత్త విండోలో తెరుచుకుంటుంది) అనే కొత్త మోడల్కు శిక్షణ ఇస్తున్నాం.


