خانواده مدل GPT‑5.6 را طوری طراحی کردیم که در گستره وظایفی که کاربران به مدلهای ما میسپارند، میان توانمندی و هزینه تعادل برقرار کند. مدل پرچمی ما، GPT‑5.6 Sol، با استدلال Max در شاخص عامل کدنویسی Artificial Analysis با هزینهای کمتر از نصف، از Claude Fable 5 بهتر عمل میکند. عملکرد Terra در معیارهای سنجش هوشمندی با نصف قیمت همسطح GPT‑5.5 است و Luna سریعترین و مقرونبهصرفهترین مدل ماست که ۸۰٪ ارزانتر از Sol قیمتگذاری شده است. برای دستیابی به این بهرهوری، تیمهای پژوهشی و فنی ما در همه لایههای اصلی پشته بهینهسازیهای چشمگیری انجام دادهاند. این بهبودها مدلها، استنتاج (نحوه اجرای مدلها برای تولید خروجی) و چارچوب اجرایی عاملمحور ما را در بر میگیرند که Codex و ChatGPT Work هر دو از آن استفاده میکنند.
در چهار سال گذشته که مدلهایمان را برای یک میلیارد کاربر فعال و بیش از دو میلیون کسبوکار مقیاس دادهایم، بهرهوری نقشی محوری در رساندن مزایای هوشمندی به همگان داشته است. مأموریت ما تضمین بهرهمندی همه بشریت از هوش مصنوعی عمومی است. در این سالها پیوسته کوشیدهایم بهینهسازیهای بیشتری را در سراسر پشته ممکن کنیم تا در هر نقطه از منحنی هزینه-هوشمندی، توانمندترین مدلها را ارائه دهیم. با GPT‑5.6 که برای انجام کار بیشتر بهازای هر توکن آموزش دیده است، به بالاترین بهرهوری هوشمندی بهازای هر توکن تا به امروز دست یافتیم. در فرایند آموزش، هم موفقیت در انجام کار و هم بهرهوری را بهینه میکنیم تا مدل مسیر مستقیمتری را برای انجام وظیفه در پیش بگیرد.
این مطلب فراتر از مدلهایمان میرود و توضیح میدهد چگونه با پیشرفت در دو بخش اصلی دیگر پشته، بهرهوری را محور طراحی قرار دادیم: ۱) استنتاج، با بهینهسازی فرایندهایی مانند متعادلسازی بار، رمزگشایی گمانهزنانه، ذخیرهسازی در حافظه نهان و بهینهسازی کرنل برای گرفتن خروجی بیشتر از همان سختافزار؛ و ۲) چارچوب اجرایی عاملمحور، با مدیریت بهتر تورم زمینه، استفاده از ابزارها و کارهای تکراری. همچنین نقش GPT‑5.6 Sol را در دستیابی خودکار به چند مورد از این دستاوردها شرح خواهیم داد. هر بهبود منفرد شاید محدود به نظر برسد، اما این دستاوردها روی هم انباشته میشوند و ما را قادر میسازند هم در هوشمندی و هم در بهرهوری پیشرو باشیم.
در جهانی با محدودیت توان محاسباتی که تقاضا برای مدل سریعتر از ظرفیت رشد میکند، بهرهوری محور اصلی طراحی هر سیستم است. این موضوع بهویژه درباره پشته استنتاج ما صدق میکند که مدلهای آموزشدیده را برای تولید پاسخ اجرا میکند. هدف اصلی ما ارائه توکنهای بیشتر با همان سختافزار است، بیآنکه هوشمندی، تأخیر، دسترسپذیری و قابلیت اطمینان مورد انتظار کاربران کاهش یابد.
دستیابی به این هدف مستلزم بهینهسازی کل سیستم است. ممکن است یک مدل بهتنهایی بسیار کارآمد باشد، اما اگر درخواستها نامناسب توزیع شوند، سختافزار بیکار بماند یا جابهجایی داده محاسبات را کند کند، ارائه آن همچنان پرهزینه خواهد بود. بهبودهای هر لایه روی هم انباشته میشوند؛ این دستاوردها از بهینهسازی مسیریابی (درخواستها کجا ارسال شوند)، زمانبندی (چه زمانی ارسال شوند)، کرنلها (نرمافزار اجراشونده روی GPUها)، ذخیرهسازی در حافظه نهان (ذخیره و استفاده مجدد از کار) و پیادهسازی مدل (ترتیب کد GPU) حاصل میشوند. GPT‑5.6 Sol در Codex نقشی کلیدی در همه این بهینهسازیها داشت.
نخستین نمونه مهم، متعادلسازی بار است. در مقیاس جهانی، درخواستها را بر اساس عواملی مانند موقعیت جغرافیایی، ظرفیت موجود و نوع شتابدهنده (نوع GPU یا تراشه تخصصی اجراکننده مدل) مسیریابی میکنیم. درون هر خوشه، کار را بر اساس بار، طول زمینه، دسترسپذیری حافظه نهان و دیگر ویژگیهای درخواست میان نمونههای مدل توزیع میکنیم. سپس درون هر نمونه، کار باید بهشکلی کارآمد میان شتابدهندهها، زیرشبکههای مدل و هستههای پردازشی تقسیم شود. GPT‑5.6 Sol در Codex به ما کمک میکند ترافیک عملیاتی را تحلیل کنیم، منابع عدمتعادلِ نادیدهمانده را بیابیم، راهبردهای مسیریابی جدید را بیازماییم و این قواعد ابتکاری را پیوسته تنظیم کنیم. همین بهبودهای متعادلسازی بار، هزینه ارائه مدلهایمان را بهشدت کاهش داد.
همچنین از GPT‑5.6 Sol برای بهینهسازی گذر روبهجلوی مدل استفاده کردیم؛ محاسباتی که ورودیها را به پیشبینی توکن بعدی تبدیل میکند. حتی اگر عملیات منفرد سریع باشند، جابهجایی بیشازحد حافظه، همگامسازی و چیدمان ناکارآمد داده میتواند GPUها را بیکار نگه دارد. برای جلوگیری از این وضعیت، GPT‑5.6 Sol کارهایی را یافت که میشد از پیش محاسبه، حذف یا موازیسازی کرد. GPT‑5.6 Sol با استفاده از Codex، کرنلهای عملیاتی ما—کد اصلی اجرای عملیات ریاضی سازنده مدل—را بهطور خودکار بازنویسی و بهینه کرد. این موفقیت تا حدی حاصل آن است که GPT‑5.6 را برای نوشتن و بهبود مؤثر کرنلها در Triton(در یک پنجره جدید باز میشود) و Gluon(در یک پنجره جدید باز میشود) آموزش دادهایم؛ دو زبان برنامهنویسی متنباز GPU که OpenAI از آنها نگهداری میکند. این تلاشها در کنار پیشرفتهای گستردهتر GPT‑5.6 Sol در زمینه کرنل، هزینه سراسری ارائه را ۲۰٪ کاهش داد. همچنین سرمایهگذاری گستردهای روی ابزارهای راستیآزمایی، مانند ابزار متنباز FpSan(در یک پنجره جدید باز میشود) (پاکساز ممیز شناور)، انجام دادهایم تا درستی کرنلهای نوشتهشده بهدست GPT‑5.6 Sol را اعتبارسنجی کنیم.
رمزگشایی گمانهزنانه اهرم دیگری برای افزایش سرعت و بهرهوری است. در این روش، مدل پیشنویس کوچکتری (یا «گمانهزن») در کنار مدل اصلی اجرا میشود و چند توکن پیشنهاد میکند تا مدل اصلی آنها را بهصورت موازی تأیید کند. با پذیرفتهشدن این پیشنهادها، سیستم میتواند در یک گذر مدل اصلی چندین توکن خروجی تولید کند و حجم محاسبات ترتیبی پرهزینه را کاهش دهد. GPT‑5.6 Sol با طراحی و اجرای صدها آزمایش روی معماری مدل پیشنویس خود و آزمودن تغییرات اندازه، ساختار و ویژگیها، آن را بهبود داد. افزون بر این، GPT‑5.6 Sol فرایند آموزش گمانهزن را راهاندازی و پایش کرد و هنگام بروز مشکلات، از جمله خرابی سختافزار و ناپایداری آموزش، بهطور خودکار مداخله کرد. بهبودهای حاصل، بهرهوری تولید توکن را بیش از ۱۵٪ افزایش داد.
هنگام پردازش توکنهای ورودیِ ذخیرهنشده، مدل حافظه نهان کلید-مقدار (KV) را در یک گذر محاسباتی سنگین میسازد؛ هنگام تولید خروجی نیز بارها از این حافظه میخواند و آن را گسترش میدهد. پیکربندی بهینه ارائه، مانند دستهبندی، شاردینگ و مدیریت KV، وابستگی زیادی به بار کاری دارد؛ از جمله طول پرامپت و خروجی، اندازه دسته، نرخ اصابت حافظه نهان، ویژگیهای پرسوجو و موارد دیگر. بااینحال، فضای پیکربندی پیشتر آنقدر بزرگ بود که تنظیم نظاممند آن ممکن نبود و مهندسان ناچار بودند به قواعد ابتکاری کلی تکیه کنند. با GPT‑5.6 Sol در Codex توانستیم بارهای کاری عملیاتی را تحلیل کنیم، پیکربندیهای پیشنهادی را بسازیم و ارزیابی کنیم و نحوه پیکربندی موتور و مدل را برای هر سناریو بهشدت بهینه سازیم. این کار سطح تازهای از بهینهسازی متناسب با بار کاری را عملی میکند و با همان سختافزار، استنتاج مفید بیشتری به دست میدهد.
بهینهسازی استنتاج یک حلقه بازخورد پیوسته است. رفتار عملیاتی را اندازه میگیریم، بزرگترین کاستیها را مییابیم، تغییرات را پیاده میکنیم و بررسی میکنیم که بهجای یک معیار سنجش منفرد، کل سیستم را بهبود دهند. GPT‑5.6 Sol و Codex به همه بخشهای این حلقه شتاب میدهند. در نتیجه، تیم ما میتواند ایدههای بیشتری را بررسی کند، سریعتر به تغییر بارهای کاری پاسخ دهد و پشته استنتاجی با تأخیر و هزینه کمتر و ظرفیت بیشتر برای کاربران بسازد.
ChatGPT Work و Codex وظایف پیچیده را از طریق مجموعهای از درخواستهای مدل و فراخوانی ابزارها انجام میدهند. در یک نوبت، از درخواست کاربر تا پاسخ نهایی، Codex ممکن است کد منبع را بررسی کند، تاریخچه استقرار را جستوجو کند، گزارشهای رخداد را بخواند، فایلی را ویرایش کند و آزمونها را اجرا کند. هر مرحله ممکن است به یک درخواست نیاز داشته باشد.
آمادهسازی زمینه، انتقال داده، اجرای استنتاج، فراخوانی ابزارها و راهاندازی فرایندها همگی زمان و توان محاسباتی مصرف میکنند. اگر کاری به ۳۰ درخواست مدل نیاز داشته باشد، یک ثانیه اضافه برای هر درخواست در مجموع چشمگیر خواهد بود. بهبود عملکرد کلی یعنی کاهش کارهای تکراری در سراسر سیستم، نه صرفاً سریعترکردن مدل.
یک نوبت کاربر میتواند شامل چندین تکرار مدل و ابزار باشد. هر هزینهای در بخش تکرارشونده ممکن است چندین بار پرداخت شود.
این ضرایب بر طراحی چارچوب اجرایی عاملمحور ما اثر گذاشتهاند؛ لایهای هماهنگکننده مبتنی بر Rust که مدلها، ابزارها و محیط کاربر را به هم متصل میکند. در ادامه توضیح میدهیم که جلوگیری از تورم زمینه، بارگذاری ابزارها و استفاده مجدد از کارهای انجامشده چگونه هر درخواست را کارآمدتر میکند.
با دسترسی عاملها به ابزارها، مهارتها، افزونهها و تاریخچه گفتوگوی بیشتر، پنجرههای زمینه بهسادگی بزرگ میشوند. این امر هزینه را افزایش میدهد، حواس مدل را پرت میکند و موجب استدلال غیرضروری میشود. چارچوب اجرایی عامل میتواند با کشف تأخیری این سربار را کاهش دهد؛ بهاینترتیب، یکپارچهسازیها، ابزارهای سفارشی MCP، مهارتها و افزونهها فقط هنگام نیاز قابل ارائه میشوند. چارچوب اجرایی عامل همچنین مانع میشود ابزارهای منفرد و یکپارچهسازیهای MCP بهطور غیرمنتظره پنجره زمینه را اشغال کنند. خروجی ابزار بهطور پیشفرض به ۱۰٬۰۰۰ توکن محدود است، مگر اینکه مدل حد دیگری درخواست کند.
همانطور که پیشتر گفته شد، یک حلقه عامل میتواند دستورالعملها، تاریخچه گفتوگو، تعریف ابزارها و نتایج قبلی را در یک نوبت چندین بار به GPUها بفرستد. پردازش این ورودیهای تکراری پرهزینه است؛ بنابراین ذخیرهسازی پرامپت در حافظه نهان، محاسبات مرتبط با پیشوند پرامپتی را که قبلاً پردازش شده است دوباره به کار میگیرد. برای حفظ این پیشوند، چارچوب اجرایی عامل، تمام تاریخچه قابلمشاهده برای مدل را فقطافزودنی در نظر میگیرد: پیامهای جدید، نتایج ابزارها و بهروزرسانیهای محیط بهجای درج در بخشهای قبلی زمینه، به انتهای آن افزوده میشوند. ابزارها نیز با ترتیبی قطعی ارائه میشوند و تنظیمات زمان اجرا، مانند سیاستهای تأیید، بهجای جاسازی در تعریف ابزارها هنگام اجرا اعمال میشوند. این تصمیم طراحی به نرخ بالای کلی اصابت حافظه نهان پرامپت در Codex و ChatGPT Work کمک میکند.
انتقال افزایشی، دادههای عبوری از شبکه را تغییر میدهد؛ ذخیرهسازی پرامپت در حافظه نهان، محاسباتی را تغییر میدهد که مدل میتواند از تکرارشان بپرهیزد. عرضها مفهومیاند و لایه فشردهسازی اضافی نمایش داده نشده است.
افزایش بهرهوری حاصلشده با GPT‑5.6، نتیجه سالها بهبود انباشته در سراسر پشته، از پژوهش و استنتاج گرفته تا چارچوب اجرایی عاملمحور ماست. نقش GPT‑5.6 در تحقق بسیاری از این بهبودها، ما را به شتابگرفتن روند بهینهسازیها امیدوار میکند. در کنار بهبودهای بنیادی پشته، بهینهسازیهای گستردهتری را در حوزههایی مانند بهینهسازی کرنل ادامه خواهیم داد. مشتاقیم این بهبودهای مداوم و زیربنایی را در قالب هوشمندی مقرونبهصرفهتر و فراگیرتر در اختیار کاربران و مشتریانمان بگذاریم.
از Matthew Ferrari، Philippe Tillet، Ahmed Ibrahim، Joe Gershenson و Steve Coffey، اعضای کادر فنی، بهدلیل مشارکتشان در این مطلب صمیمانه سپاسگزاریم.
