Third Moment Research: 10,000 ejen beroperasi selama 36+ jam

Setiap syarikat mempunyai aliran kerja, alat, kes luar biasa dan takrif kejayaannya sendiri. ⁠(dibuka dalam tetingkap baru)Third Moment Research⁠(dibuka dalam tetingkap baru) percaya bahawa ejen terbaik perlu benar-benar mahir dalam kerja khusus itu dan keupayaannya perlu meningkat semakin kerap digunakan.

Berlandaskan idea itu, syarikat ini sedang membina sistem AI yang menambah baik dirinya sendiri, menggunakan model terkini OpenAI untuk memahami tingkah laku ejen, mengenal pasti kelemahan berulang dan menjana ribuan senario sintetik secara automatik berdasarkan masalah tersebut. Pasukan ini menggunakan senario tersebut untuk menambah baik ejen dan mengulangi proses itu apabila isu baharu timbul.

Codex, GPT‑6 Astra, GPT‑6 Sol dan GPT‑6.1 Sol menyokong kerja penyelidikan dan pengkomputeran sistem ini, membolehkan Third Moment menjalankan 10,000 ejen serentak untuk penyiasatan yang berlangsung selama 36–48 jam. Syarikat ini juga menggunakan Daybreak untuk menguji keselamatan persekitaran tempat ejen bekerja.

Salah satu penggunaan awal Third Moment adalah dalam bidang kewangan kuantitatif kerana ukuran kejayaannya yang jelas. Bidang ini menyediakan konteks nyata untuk mengkaji cara ejen bekerja dan aspek yang menyukarkan mereka. Pasukan ini menggunakan Codex untuk mencari dan menangani masalah dalam persekitaran penyelidikan.

Dalam satu kes, pasukan ini menggunakan Codex dengan GPT‑5.6, model GPT terkini pada masa itu, untuk menganalisis ribuan trajektori simulasi yang direkodkan (tindakan ejen dan respons persekitaran) bersama cap masa dan pangkalan kod.

Codex menemui punca kelewatan: ujian retrospektif strategi dagangan menggunakan data ekuiti AS pada peringkat pesanan selama setahun mengambil masa beberapa jam. Sementara menunggu, ejen berulang kali menyemak sama ada ujian telah selesai, lalu membazirkan token dan memenuhi konteks mereka dengan semakan status.

Selepas memprofilkan ujian retrospektif itu serta menganalisis input dan penggunaannya, Codex mengenal pasti pengoptimuman cache dan teknik pemadatan memori. Codex bereksperimen dengan beberapa penyelesaian dan melaksanakan pembaikan dalam persekitaran pengeluaran, mengurangkan masa ujian retrospektif daripada kira-kira 3 jam kepada kira-kira 3 hingga 5 minit. Langkah ini mengurangkan penggunaan token dan pencemaran konteks, membolehkan lebih banyak peruntukan token ejen digunakan untuk eksperimen selanjutnya.

Third Moment menyediakan alat, maklumat dan persekitaran yang diperlukan oleh setiap ejen untuk sesuatu kerja khusus. Untuk penyelidikan kuantitatif, pasukan ini menjalankan harnes lalai Codex dalam persekitaran berasaskan Docker. Ejen menerima satu terabait data, dokumentasi dan repositori penyelidikan dengan modul untuk kejuruteraan ciri, latihan model dengan sokongan GPU, strategi dagangan dan simulasi.

GPT‑6 Astra, GPT‑6 Sol dan GPT‑6.1 Sol menyediakan keupayaan penaakulan, manakala harnes Codex membekalkan alat kepada ejen untuk bertindak, merancang, menetapkan objektif, mewujudkan subejen dan memadatkan konteks sepanjang kerja dijalankan.

Untuk menangani ejen yang berhenti sebelum menyelesaikan tugas, Third Moment menggunakan Codex sebagai subejen dalam harnes luar yang dikuasakan oleh GPT‑6 Sol atau GPT‑6.1 Sol. Harnes luar memeriksa trajektori apabila sesuatu tugas tidak diselesaikan dan menentukan sama ada perlu mencuba semula, menamatkan kerja atau merujuknya untuk semakan manusia.

Dalam persekitaran penyelidikan itu, ejen berusaha menambah baik sistem dagangan asas yang dibina oleh jurutera Third Moment. Mereka menguji strategi dagangan menggunakan data sejarah, menilai sama ada sesuatu peningkatan itu bermakna atau sekadar hingar, dan menggunakan setiap keputusan untuk memilih eksperimen seterusnya. Menurut Adam, usaha mereka telah menambah baik sistem dagangan asas itu.

Menurut Adam, sebelum GPT‑5.5, model hanya dapat menjalankan eksperimen yang ditetapkan oleh pengguna. Dengan GPT‑5.5 dan GPT‑5.6, model yang menggunakan harnes Codex dapat memanfaatkan keputusan untuk mereka bentuk eksperimen susulan. Kini, dengan GPT‑6 Astra, GPT‑6 Sol dan GPT‑6.1 Sol, ejen dapat menyiasat punca masalah melalui ratusan eksperimen yang dijalankan secara selari bersama subejen.

Kemajuan itu telah membantu ejen menerokai arah penyelidikan yang tidak dijangka oleh pasukan ini. Dalam satu sesi, GPT‑6.1 Sol mengenal pasti kesan dagangan yang tidak dipaparkan di sebuah bursa, yang menyumbang bahagian volum yang jauh lebih besar daripada jangkaan. “Ini ialah dapatan yang sukar dijangka dan tidak dipertimbangkan oleh pasukan penyelidikan kami pada awalnya,” kata Adam.

Third Moment menilai model dalam bidang pengoptimuman, sistem pembelajaran mesin dan penyelidikan kuantitatif. Syarikat ini menguji keluaran model perbatasan pada tetapan penaakulan tertinggi, menilai keupayaannya untuk menavigasi repositori, menulis kod yang cekap dan meneruskan penyiasatan. Ujian semasa turut merangkumi GPT‑6 Luna.

Satu penanda aras meminta ejen mengurangkan kependaman kemas kini perkhidmatan papan skor langsung sambil mengekalkan outputnya. Pasukan ini mengukur peningkatan kelajuan dengan membahagikan purata masa pelaksanaan penyelesaian yang dibina pakar dengan purata masa penyelesaian model pada perkakasan yang sama, dengan syarat hasilnya betul. Menurut Adam, GPT‑6 Astra memberikan peningkatan kelajuan terbesar.

Untuk kerja bersasaran, termasuk semakan kelemahan keselamatan tertentu dalam sistem simulasi, pasukan ini menggunakan model yang lebih cekap seperti GPT‑5.6 Terra. Untuk penyelidikan mendalam, Adam percaya bahawa penaakulan yang lebih kukuh boleh berbaloi dengan kos yang lebih tinggi: “Dalam bidang kewangan kuantitatif, penemuan isyarat yang menarik mempunyai nilai yang amat tinggi.”

Dengan 10,000 ejen beroperasi secara autonomi, Third Moment memerlukan cara untuk menguji keselamatan persekitaran penyelidikannya pada skala besar. Pasukan ini menggunakan platform keselamatan siber Daybreak untuk mengautomasikan ujian tersebut sebelum simulasi dimulakan.

Ujian itu menyemak sama ada ejen boleh melepasi batas persekitaran penyelidikannya dan mengakses rangkaian yang lebih luas. “Dengan menggunakan Daybreak, kami dapat membolehkan ejen sendiri menjalankan ujian penembusan terhadap simulasi serta menguji infrastruktur dan keselamatannya,” kata Adam.

Cita-cita Third Moment turut merangkumi kerja khusus yang dilakukan oleh syarikat setiap hari. Bagi peruncit, ini mungkin bermaksud membuat keputusan rantaian bekalan yang lebih baik apabila stok berkurangan atau pembekal lewat membuat penghantaran. Bagi pasukan kejuruteraan, ini mungkin bermaksud mencari punca yang menjejaskan prestasi dalam pangkalan kod yang besar. Bagi perniagaan yang banyak mengendalikan dokumen, ini mungkin bermaksud mengenal pasti komitmen dalam satu dokumen yang tidak sepadan dengan hasil yang direkodkan dalam dokumen lain.

Dengan memanfaatkan keupayaan penaakulan GPT‑6 Astra, GPT‑6 Sol dan GPT‑6.1 Sol, Third Moment merancang untuk berkembang daripada penyiasatan individu kepada kerjasama antara ratusan ribu subejen. Pelan hala tujunya merangkumi penggunaan trilion token untuk menyokong rangkaian puluhan eksperimen yang saling bergantung, dengan matlamat menggunakan penyelidikan itu untuk menambah baik ejen secara autonomi apabila cabaran baharu timbul.

Bagi Adam, ini akan memberi manusia lebih banyak keupayaan untuk membentuk cara ejen belajar dan bekerja: “Manusia boleh memainkan peranan yang memberi impak jauh lebih besar, dengan memikirkan cara menjalankan penyelidikan dan mengoptimumkan penyelidikan itu sendiri, bukannya melakukannya sendiri.”