Cara Third Moment Research menjalankan 10,000 ejen selama 36+ jam

Setiap syarikat mempunyai aliran kerja, alat, kes pinggiran dan takrif kejayaan yang tersendiri. ⁠(dibuka dalam tetingkap baru)Third Moment Research⁠(dibuka dalam tetingkap baru) percaya bahawa ejen terbaik perlu benar-benar mahir dalam kerja khusus itu dan keupayaannya seharusnya bertambah baik dengan semakin kerap ia digunakan.

Syarikat ini sedang membangunkan sistem AI yang dapat meningkatkan keupayaannya sendiri berdasarkan idea tersebut, dengan menggunakan model terkini OpenAI untuk memahami tingkah laku ejen, mengenal pasti kelemahan yang berulang dan menjana ribuan senario sintetik secara automatik yang berkaitan dengan masalah tersebut. Pasukan itu menggunakan senario tersebut untuk menambah baik ejen, dan mengulangi proses ini apabila isu baharu timbul.

Codex, GPT‑6 Astra, GPT‑6 Sol dan GPT‑6.1 Sol menyokong kerja penyelidikan dan pengkomputeran sistem ini, membolehkan Third Moment menjalankan 10,000 ejen serentak untuk penyiasatan yang berlangsung selama 36-48 jam. Syarikat ini juga menggunakan Daybreak untuk menguji keselamatan persekitaran tempat ejen bekerja.

Salah satu penggunaan awal Third Moment adalah dalam bidang kewangan kuantitatif kerana ukuran kejayaannya yang jelas. Bidang ini menyediakan konteks nyata untuk mengkaji cara ejen bekerja dan kesukarannya. Pasukan ini menggunakan Codex untuk mencari dan menangani masalah dalam persekitaran penyelidikan.

Dalam satu kes, pasukan ini menggunakan Codex dengan GPT‑5.6, model GPT terkini pada masa itu, untuk menganalisis ribuan trajektori simulasi yang direkodkan (tindakan ejen dan respons persekitaran) bersama cap masa dan pangkalan kod.

Codex menemui punca kelewatan: proses menguji semula strategi dagangan menggunakan data ekuiti AS pada peringkat pesanan selama setahun mengambil masa beberapa jam. Sementara menunggu, ejen berulang kali menyemak sama ada proses telah selesai, sekali gus membazirkan token dan memenuhi konteks mereka dengan semakan status.

Selepas menganalisis prestasi ujian semula serta input dan penggunaannya, Codex mengenal pasti pengoptimuman cache dan teknik pemampatan memori. Codex menguji beberapa penyelesaian dan melaksanakan pembaikan tersebut dalam persekitaran produksi, sekali gus mengurangkan tempoh ujian semula daripada kira-kira 3 jam kepada kira-kira 3 hingga 5 minit. Langkah ini mengurangkan penggunaan token dan gangguan konteks, sekali gus membolehkan lebih banyak peruntukan token ejen digunakan untuk eksperimen selanjutnya.

Third Moment menyediakan setiap ejen dengan alat, maklumat dan persekitaran yang diperlukan untuk melaksanakan tugas tertentu. Bagi penyelidikan kuantitatif, pasukan itu menjalankan harnes Codex lalai dalam persekitaran berasaskan Docker. Ejen menerima data berjumlah satu terabait, dokumentasi dan repositori penyelidikan yang mengandungi modul untuk kejuruteraan ciri, latihan model yang disokong GPU, strategi dagangan dan simulasi.

GPT‑6 Astra, GPT‑6 Sol dan GPT‑6.1 Sol menyediakan keupayaan penaakulan, manakala harnes Codex membekalkan alat kepada ejen untuk bertindak, merancang, menetapkan objektif, mewujudkan subejen dan memadatkan konteks sepanjang kerja dijalankan.

Untuk menangani ejen yang berhenti sebelum menyelesaikan tugas, Third Moment menggunakan Codex sebagai subejen dalam harnes luar yang dikuasakan oleh GPT‑6 Sol atau GPT‑6.1 Sol. Harnes luar memeriksa trajektori apabila sesuatu tugas tidak diselesaikan dan menentukan sama ada perlu mencuba semula, menamatkan kerja atau merujuknya untuk semakan manusia.

Dalam persekitaran penyelidikan itu, ejen berusaha menambah baik sistem dagangan asas yang dibina oleh jurutera Third Moment. Mereka menguji strategi dagangan menggunakan data sejarah, menilai sama ada sesuatu peningkatan itu bermakna atau sekadar hingar, dan menggunakan setiap keputusan untuk memilih eksperimen seterusnya. Menurut Adam, usaha mereka telah menambah baik sistem dagangan asas itu.

Menurut Adam, sebelum GPT‑5.5, model hanya dapat menjalankan eksperimen yang ditetapkan oleh pengguna. Dengan GPT‑5.5 dan GPT‑5.6, model yang menggunakan harnes Codex dapat memanfaatkan keputusan untuk mereka bentuk eksperimen susulan. Kini, dengan GPT‑6 Astra, GPT‑6 Sol dan GPT‑6.1 Sol, ejen dapat menyiasat punca masalah melalui ratusan eksperimen yang dijalankan secara selari bersama subejen.

Kemajuan itu telah membantu ejen menerokai arah penyelidikan yang tidak dijangka oleh pasukan ini. Dalam satu sesi, GPT‑6.1 Sol mengenal pasti kesan dagangan yang tidak dipaparkan di sebuah bursa, yang menyumbang bahagian volum yang jauh lebih besar daripada jangkaan. “Ini ialah dapatan yang sukar dijangka dan tidak dipertimbangkan oleh pasukan penyelidikan kami pada awalnya,” kata Adam.

Third Moment menilai model dalam bidang pengoptimuman, sistem pembelajaran mesin dan penyelidikan kuantitatif. Syarikat ini menguji keluaran model termaju pada tetapan penaakulan tertinggi, menilai keupayaannya untuk menavigasi repositori, menulis kod yang cekap dan meneruskan penyiasatan. Ujian semasa turut merangkumi GPT‑6 Luna.

Satu penanda aras meminta ejen mengurangkan kependaman kemas kini perkhidmatan papan skor masa nyata sambil mengekalkan outputnya. Pasukan mengukur peningkatan kelajuan dengan membahagikan purata masa pelaksanaan penyelesaian yang dihasilkan oleh pakar dengan purata masa pelaksanaan penyelesaian model pada perkakasan yang sama, dengan syarat ketepatan fungsi dikekalkan. Menurut Adam, GPT‑6 Astra mencatatkan peningkatan kelajuan yang paling besar.

Untuk tugasan khusus, termasuk pemeriksaan bagi mengenal pasti kelemahan keselamatan tertentu dalam sistem simulasi, pasukan menggunakan model yang lebih cekap seperti GPT‑5.6 Terra. Untuk penyelidikan mendalam, Adam percaya bahawa penaakulan yang lebih kukuh boleh berbaloi dengan kos yang lebih tinggi: “Dalam bidang kewangan kuantitatif, penemuan isyarat yang menarik mempunyai nilai yang amat tinggi.”

Dengan 10,000 ejen dijalankan secara autonomi, Third Moment memerlukan cara untuk menguji keselamatan persekitaran penyelidikannya pada skala besar. Pasukan ini menggunakan platform keselamatan siber Daybreak untuk mengautomasikan ujian tersebut sebelum simulasi dimulakan.

Ujian itu menyemak sama ada ejen boleh melepasi batas persekitaran penyelidikannya dan mengakses rangkaian yang lebih luas. “Dengan menggunakan Daybreak, kami dapat membolehkan ejen sendiri menjalankan ujian penembusan terhadap simulasi serta menguji infrastruktur dan keselamatannya,” kata Adam.

Matlamat Third Moment juga merangkumi tugasan khusus yang dilakukan oleh syarikat setiap hari. Bagi peruncit, ini mungkin bermaksud membuat keputusan rantaian bekalan yang lebih baik apabila stok tidak mencukupi atau pembekal mengalami kelewatan. Bagi pasukan kejuruteraan, ini mungkin bermaksud mengenal pasti kesesakan prestasi dalam pangkalan kod yang besar. Bagi perniagaan yang banyak mengendalikan dokumen, ini mungkin bermaksud mengenal pasti percanggahan antara komitmen dalam satu dokumen dengan hasil yang direkodkan dalam dokumen lain.

Dengan memanfaatkan keupayaan penaakulan GPT‑6 Astra, GPT‑6 Sol dan GPT‑6.1 Sol, Third Moment merancang untuk berkembang daripada penyiasatan individu kepada kerjasama antara ratusan ribu subejen. Pelan hala tujunya merangkumi penggunaan trilion token untuk menyokong rangkaian puluhan eksperimen yang saling bergantung, dengan matlamat menggunakan penyelidikan itu untuk menambah baik ejen secara autonomi apabila cabaran baharu timbul.

Bagi Adam, ini akan memberi manusia lebih banyak keupayaan untuk membentuk cara ejen belajar dan bekerja: “Manusia boleh memainkan peranan yang memberikan impak jauh lebih besar, dengan memikirkan cara menjalankan penyelidikan dan mengoptimumkan penyelidikan itu sendiri, bukannya melakukannya sendiri.”