اجرای ۱۰٬۰۰۰ عامل برای بیش از ۳۶ ساعت در Third Moment Research

هر شرکتی گردش‌کارها، ابزارها، موارد استثنایی و تعریف‌های خاص خود را از موفقیت دارد. ⁠(در یک پنجره جدید باز می‌شود)Third Moment Research⁠(در یک پنجره جدید باز می‌شود) معتقد است بهترین عامل‌ها باید در انجام همان کار مشخص مهارت بالایی داشته باشند و هرچه بیشتر به کار گرفته می‌شوند، توانایی‌هایشان بهتر شود.

این شرکت بر پایه همین ایده در حال ساخت سامانه‌ای از هوش مصنوعی است که خود را بهبود می‌دهد. این سامانه از تازه‌ترین مدل‌های OpenAI برای درک رفتار عامل‌ها، شناسایی ضعف‌های تکرارشونده و ساخت خودکار هزاران سناریوی مصنوعی پیرامون آن مشکلات استفاده می‌کند. تیم از این سناریوها برای بهبود عامل‌ها استفاده می‌کند و با بروز مشکلات تازه، این فرایند را تکرار می‌کند.

Codex، GPT‑6 Astra، GPT‑6 Sol و GPT‑6.1 Sol کارهای پژوهشی و محاسباتی این سامانه را پشتیبانی می‌کنند و به Third Moment امکان می‌دهند ۱۰٬۰۰۰ عامل را هم‌زمان در بررسی‌هایی به مدت ۳۶ تا ۴۸ ساعت به کار بگیرد. این شرکت همچنین از Daybreak برای آزمایش امنیت محیط‌هایی استفاده می‌کند که عامل‌ها در آن‌ها کار می‌کنند.

یکی از کاربردهای اولیه فناوری Third Moment در حوزه مالی کمی است، زیرا این حوزه معیار روشنی برای سنجش موفقیت دارد. این حوزه بستری ملموس برای مطالعه شیوه کار عامل‌ها و نقاطی فراهم می‌کند که در آن‌ها به مشکل برمی‌خورند. تیم از Codex برای یافتن و رفع مشکلات محیط پژوهشی استفاده می‌کند.

در یک مورد، تیم از Codex به همراه GPT‑5.6، تازه‌ترین مدل GPT در آن زمان، استفاده کرد تا هزاران مسیر ثبت‌شده شبیه‌سازی (اقدام‌های عامل‌ها و پاسخ‌های محیط) را در کنار برچسب‌های زمانی و مجموعه کد تحلیل کند.

Codex یک گلوگاه پیدا کرد: پس‌آزمایی یک راهبرد معاملاتی بر داده‌های یک سال بازار سهام آمریکا در سطح سفارش، چندین ساعت طول می‌کشید. عامل‌ها در زمان انتظار، بارها پایان کار را استعلام می‌کردند؛ کاری که توکن‌ها را هدر می‌داد و فضای زمینه‌شان را با بررسی‌های وضعیت پر می‌کرد.

Codex پس از بررسی عملکرد پس‌آزمایی و تحلیل ورودی‌ها و نحوه استفاده از آن، راهی برای بهینه‌سازی حافظه نهان و روشی برای چیدمان فشرده داده‌ها در حافظه شناسایی کرد. راه‌حل‌ها را آزمایش و اصلاحات را در محیط عملیاتی پیاده‌سازی کرد و زمان پس‌آزمایی را از حدود ۳ ساعت به حدود ۳ تا ۵ دقیقه رساند. این کار مصرف توکن و انباشت اطلاعات اضافی در زمینه را کاهش داد و بخش بیشتری از بودجه توکن عامل‌ها را برای آزمایش‌های بعدی آزاد کرد.

Third Moment ابزارها، اطلاعات و محیط موردنیاز هر عامل را برای انجام کاری مشخص در اختیارش می‌گذارد. برای پژوهش کمی، تیم چارچوب آزمون پیش‌فرض Codex را در محیطی مبتنی بر Docker اجرا می‌کند. عامل‌ها یک ترابایت داده، مستندات و یک محل نگهداری کد پژوهشی دریافت می‌کنند که ماژول‌هایی برای مهندسی ویژگی، آموزش مدل با پشتیبانی GPU، راهبردهای معاملاتی و شبیه‌سازی دارد.

GPT‑6 Astra، GPT‑6 Sol و GPT‑6.1 Sol استدلال را بر عهده دارند و چارچوب آزمون Codex ابزارهایی در اختیار عامل‌ها می‌گذارد تا اقدام کنند، برنامه بریزند، هدف تعیین کنند، زیرعامل بسازند و با پیشرفت کار، زمینه را فشرده کنند.

برای حل مشکل عامل‌هایی که پیش از تکمیل وظیفه متوقف می‌شوند، Third Moment از Codex به‌عنوان زیرعامل درون یک چارچوب آزمون بیرونی استفاده می‌کند که با GPT‑6 Sol یا GPT‑6.1 Sol کار می‌کند. وقتی وظیفه‌ای ناتمام می‌ماند، چارچوب آزمون بیرونی مسیر طی‌شده را بررسی می‌کند و تصمیم می‌گیرد که دوباره تلاش کند، کار را خاتمه دهد یا آن را برای بررسی به انسان ارجاع دهد.

در آن محیط پژوهشی، عامل‌ها برای بهبود سامانه معاملاتی پایه‌ای کار می‌کنند که مهندسان Third Moment ساخته‌اند. آن‌ها راهبردهای معاملاتی را روی داده‌های تاریخی آزمایش می‌کنند، می‌سنجند که آیا بهبود مشاهده‌شده معنادار است یا صرفاً نویز، و از هر نتیجه برای انتخاب آزمایش بعدی استفاده می‌کنند. به گفته آدام، کار آن‌ها سامانه معاملاتی پایه را بهبود داده است.

به گفته آدام، پیش از GPT‑5.5، مدل‌ها فقط می‌توانستند آزمایش‌هایی را اجرا کنند که کاربر تعیین کرده بود. با آمدن GPT‑5.5 و GPT‑5.6، مدل‌هایی که با چارچوب آزمون Codex کار می‌کردند، توانستند از نتایج برای طراحی آزمایش‌های بعدی استفاده کنند. اکنون با GPT‑6 Astra، GPT‑6 Sol و GPT‑6.1 Sol، عامل‌ها می‌توانند با کمک زیرعامل‌ها، صدها آزمایش را به‌صورت موازی اجرا کنند و علت‌های ریشه‌ای را بررسی کنند.

این پیشرفت به عامل‌ها کمک کرده است مسیرهای پژوهشی‌ای را بررسی کنند که تیم پیش‌بینی نکرده بود. در یک جلسه، GPT‑6.1 Sol تأثیر معاملات پنهان را در بورسی شناسایی کرد که این معاملات سهمی بیش از انتظار از حجم معاملات آن داشتند. آدام می‌گوید: «این نتیجه‌ای غیرآشکار بود که تیم پژوهشی ما در ابتدا آن را در نظر نگرفته بود.»

Third Moment مدل‌ها را در زمینه بهینه‌سازی، سامانه‌های یادگیری ماشین و پژوهش کمی ارزیابی می‌کند. این شرکت نسخه‌های منتشرشده مدل‌های پیشرو را با بالاترین تنظیمات استدلال آزمایش می‌کند تا توانایی آن‌ها را در بررسی محل‌های نگهداری کد، نوشتن کد کارآمد و ادامه دادن یک بررسی بسنجد. آزمایش‌های فعلی GPT‑6 Luna را نیز در بر می‌گیرند.

در یکی از آزمون‌های سنجش، از عامل‌ها خواسته می‌شود تأخیر به‌روزرسانی یک سرویس نمایش زنده امتیازها را کاهش دهند، بدون آنکه خروجی‌های آن تغییر کند. تیم برای سنجش ضریب افزایش سرعت، میانگین زمان اجرای راه‌حل طراحی‌شده توسط متخصص را بر میانگین زمان اجرای راه‌حل مدل روی همان سخت‌افزار تقسیم می‌کند، به شرط آنکه نتیجه درست باشد. به گفته آدام، GPT‑6 Astra بیشترین افزایش سرعت را به همراه داشت.

برای کارهای هدفمند، از جمله بررسی ضعف‌های امنیتی مشخص در سامانه شبیه‌سازی، تیم از مدل‌هایی با مصرف منابع بهینه‌تر مانند GPT‑5.6 Terra استفاده می‌کند. آدام معتقد است در تحقیق عمیق، استدلال قوی‌تر می‌تواند هزینه بالاتر را توجیه کند: «در حوزه مالی کمی، یافتن یک سیگنال جالب ارزش بسیار زیادی دارد.»

با فعالیت خودگردان ۱۰٬۰۰۰ عامل، Third Moment به راهی نیاز دارد تا امنیت محیط‌های پژوهشی خود را در مقیاس گسترده آزمایش کند. تیم از پلتفرم امنیت سایبری Daybreak استفاده می‌کند تا این آزمایش‌ها را پیش از شروع شبیه‌سازی‌ها خودکار کند.

این آزمایش‌ها بررسی می‌کنند که آیا یک عامل می‌تواند از محدوده محیط پژوهشی خود خارج شود و به شبکه گسترده‌تر دسترسی پیدا کند یا نه. آدام می‌گوید: «با استفاده از Daybreak می‌توانیم آزمایش نفوذ روی شبیه‌سازی و سنجش زیرساخت و امنیت آن را به خود عامل‌ها بسپاریم.»

بلندپروازی Third Moment کارهای تخصصی روزمره شرکت‌ها را هم در بر می‌گیرد. برای یک خرده‌فروش، این می‌تواند به معنای تصمیم‌گیری بهتر درباره زنجیره تأمین باشد؛ زمانی که موجودی کم است یا تأمین‌کننده تأخیر دارد. برای یک تیم مهندسی، می‌تواند به معنای یافتن گلوگاه‌های عملکرد در یک مجموعه کد بزرگ باشد. برای کسب‌وکاری که با اسناد زیادی سروکار دارد، می‌تواند به معنای شناسایی مواردی باشد که تعهدات یک سند با نتایج ثبت‌شده در سندی دیگر مطابقت ندارند.

Third Moment قصد دارد با تکیه بر توانایی‌های استدلال GPT‑6 Astra، GPT‑6 Sol و GPT‑6.1 Sol، از بررسی‌های انفرادی فراتر برود و به همکاری صدها هزار زیرعامل برسد. در نقشه راه این شرکت، تریلیون‌ها توکن برای پشتیبانی از زنجیره‌هایی شامل ده‌ها آزمایش وابسته به هم در نظر گرفته شده است؛ با این هدف که هنگام بروز چالش‌های تازه، از این پژوهش‌ها برای بهبود خودگردان عامل‌ها استفاده شود.

از نظر آدام، این کار به افراد توان بیشتری می‌دهد تا شیوه یادگیری و کار عامل‌ها را شکل دهند: «انسان‌ها می‌توانند در جایگاه بسیار اثرگذارتری قرار بگیرند؛ جایی که به‌جای انجام خود پژوهش، به چگونگی انجام آن و بهینه‌سازی فرایند پژوهش فکر کنند.»