Cách Third Moment Research chạy 10.000 tác nhân hơn 36 giờ

Mỗi công ty đều có quy trình làm việc, công cụ, tình huống đặc biệt và định nghĩa thành công riêng. ⁠(mở trong cửa sổ mới)Third Moment Research⁠(mở trong cửa sổ mới) tin rằng những tác nhân tốt nhất phải thực sự giỏi những công việc cụ thể đó và càng được sử dụng thì năng lực càng được cải thiện.

Dựa trên ý tưởng này, công ty đang xây dựng một hệ thống AI có khả năng tự cải thiện, sử dụng các mô hình mới nhất của OpenAI để tìm hiểu hành vi của tác nhân, xác định những điểm yếu lặp lại và tự động tạo hàng nghìn kịch bản tổng hợp xoay quanh các vấn đề đó. Nhóm dùng những kịch bản này để cải thiện tác nhân và lặp lại quy trình khi xuất hiện vấn đề mới.

Codex, GPT‑6 Astra, GPT‑6 Sol và GPT‑6.1 Sol hỗ trợ công việc nghiên cứu và tính toán của hệ thống, giúp Third Moment chạy đồng thời 10.000 tác nhân trong các đợt nghiên cứu kéo dài 36–48 giờ. Công ty cũng dùng Daybreak để kiểm thử tính bảo mật của các môi trường nơi tác nhân làm việc.

Một trong những ứng dụng ban đầu của Third Moment thuộc lĩnh vực tài chính định lượng, bởi lĩnh vực này có thước đo thành công rõ ràng. Lĩnh vực này mang đến một bối cảnh cụ thể để nghiên cứu cách tác nhân làm việc và những điểm chúng gặp khó khăn. Nhóm dùng Codex để tìm và xử lý các vấn đề trong môi trường nghiên cứu.

Trong một trường hợp, nhóm dùng Codex với GPT‑5.6, mô hình GPT mới nhất lúc bấy giờ, để phân tích hàng nghìn chuỗi diễn biến mô phỏng đã ghi lại (hành động của tác nhân và phản hồi của môi trường), cùng với dấu thời gian và cơ sở mã.

Codex phát hiện một nút thắt: việc kiểm thử một chiến lược giao dịch trên dữ liệu lịch sử cổ phiếu Mỹ ở cấp độ lệnh trong một năm mất tới vài giờ. Trong lúc chờ, các tác nhân liên tục kiểm tra xem tác vụ đã hoàn tất chưa, gây lãng phí token và khiến ngữ cảnh bị lấp đầy bởi các lần kiểm tra trạng thái.

Sau khi đo đạc hiệu năng của quá trình kiểm thử trên dữ liệu lịch sử và phân tích đầu vào cũng như cách sử dụng, Codex xác định được một phương án tối ưu bộ nhớ đệm và một kỹ thuật bố trí dữ liệu gọn hơn trong bộ nhớ. Codex thử nghiệm các giải pháp rồi triển khai bản sửa vào môi trường vận hành thực tế, rút ngắn thời gian kiểm thử từ khoảng 3 giờ xuống còn khoảng 3–5 phút. Nhờ đó, lượng token tiêu thụ và nhiễu trong ngữ cảnh đều giảm, giúp tác nhân dành được nhiều token hơn cho các thử nghiệm tiếp theo.

Third Moment cung cấp cho mỗi tác nhân các công cụ, thông tin và môi trường cần thiết cho một công việc cụ thể. Đối với nghiên cứu định lượng, nhóm chạy hệ thống điều khiển Codex mặc định trong một môi trường được đóng gói bằng Docker. Các tác nhân được cung cấp một terabyte dữ liệu, tài liệu và một kho lưu trữ nghiên cứu với các mô-đun phục vụ kỹ thuật đặc trưng, huấn luyện mô hình có hỗ trợ GPU, chiến lược giao dịch và mô phỏng.

GPT‑6 Astra, GPT‑6 Sol và GPT‑6.1 Sol đảm nhiệm việc suy luận, còn hệ thống điều khiển Codex cung cấp cho tác nhân các công cụ để hành động, lập kế hoạch, đặt mục tiêu, tạo tác nhân con và nén ngữ cảnh trong quá trình làm việc.

Để xử lý tình trạng tác nhân dừng lại khi chưa hoàn thành nhiệm vụ, Third Moment sử dụng Codex như một tác nhân con bên trong hệ thống điều khiển bên ngoài do GPT‑6 Sol hoặc GPT‑6.1 Sol vận hành. Khi một nhiệm vụ còn dang dở, hệ thống điều khiển bên ngoài xem xét chuỗi diễn biến để quyết định thử lại, chấm dứt công việc hay chuyển cho con người xem xét.

Trong môi trường nghiên cứu đó, các tác nhân tìm cách cải thiện một hệ thống giao dịch cơ sở do các kỹ sư của Third Moment xây dựng. Chúng thử nghiệm các chiến lược giao dịch trên dữ liệu lịch sử, đánh giá xem một cải thiện có thực sự có ý nghĩa hay chỉ là nhiễu, rồi dùng từng kết quả để chọn thử nghiệm tiếp theo. Theo Adam, công việc của các tác nhân đã giúp cải thiện hệ thống giao dịch cơ sở.

Theo Adam, trước GPT‑5.5, các mô hình chỉ có thể thực hiện những thử nghiệm do người dùng chỉ định. Đến GPT‑5.5 và GPT‑5.6, các mô hình hoạt động cùng hệ thống điều khiển Codex đã có thể dùng kết quả để thiết kế những thử nghiệm tiếp theo. Giờ đây, với GPT‑6 Astra, GPT‑6 Sol và GPT‑6.1 Sol, các tác nhân có thể tìm hiểu nguyên nhân gốc rễ thông qua hàng trăm thử nghiệm chạy song song với các tác nhân con.

Sự tiến bộ đó đã giúp các tác nhân khám phá những hướng nghiên cứu mà nhóm chưa từng nghĩ tới. Trong một phiên làm việc, GPT‑6.1 Sol xác định được tác động của các giao dịch không hiển thị công khai trên một sàn giao dịch, nơi những giao dịch này chiếm tỷ trọng lớn bất ngờ trong tổng khối lượng. Adam cho biết: “Đây là một kết quả khó nhận ra mà ban đầu nhóm nghiên cứu của chúng tôi chưa tính đến.”

Third Moment đánh giá các mô hình trong các lĩnh vực tối ưu hóa, hệ thống học máy và nghiên cứu định lượng. Công ty thử nghiệm các phiên bản mô hình tiên phong ở mức suy luận cao nhất, đánh giá khả năng tìm hiểu kho lưu trữ, viết mã hiệu quả và duy trì một quá trình nghiên cứu. Các thử nghiệm hiện tại cũng bao gồm GPT‑6 Luna.

Một bài đánh giá yêu cầu tác nhân giảm độ trễ cập nhật của dịch vụ bảng tỷ số trực tiếp mà vẫn giữ nguyên kết quả đầu ra. Nhóm đo mức tăng tốc bằng cách lấy thời gian chạy trung bình của giải pháp do chuyên gia xây dựng chia cho thời gian tương ứng của giải pháp do mô hình tạo ra trên cùng phần cứng, với điều kiện kết quả phải chính xác. Theo Adam, GPT‑6 Astra mang lại mức tăng tốc lớn nhất.

Với những công việc có mục tiêu cụ thể, bao gồm kiểm tra các điểm yếu bảo mật cụ thể trong hệ thống mô phỏng, nhóm sử dụng những mô hình tiết kiệm tài nguyên hơn như GPT‑5.6 Terra. Đối với nghiên cứu sâu, Adam tin rằng khả năng suy luận mạnh hơn có thể xứng đáng với chi phí cao hơn: “Trong lĩnh vực tài chính định lượng, việc tìm ra một tín hiệu đáng chú ý có giá trị cực kỳ lớn.”

Với 10.000 tác nhân hoạt động tự chủ, Third Moment cần một cách kiểm thử tính bảo mật của các môi trường nghiên cứu trên quy mô lớn. Nhóm sử dụng nền tảng an ninh mạng Daybreak để tự động hóa việc kiểm thử đó trước khi khởi chạy mô phỏng.

Các bài kiểm thử kiểm tra xem tác nhân có thể thoát khỏi môi trường nghiên cứu và truy cập vào mạng bên ngoài hay không. Adam cho biết: “Nhờ Daybreak, chúng tôi có thể để chính các tác nhân thực hiện kiểm thử xâm nhập đối với mô phỏng, đồng thời kiểm thử hạ tầng và tính bảo mật của môi trường đó.”

Tham vọng của Third Moment còn vươn tới những công việc chuyên môn mà các công ty thực hiện hằng ngày. Với một nhà bán lẻ, điều đó có thể là đưa ra quyết định tốt hơn về chuỗi cung ứng khi thiếu hàng tồn kho hoặc nhà cung cấp giao hàng chậm. Với một nhóm kỹ sư, đó có thể là tìm ra các nút thắt hiệu năng trong một cơ sở mã lớn. Với một doanh nghiệp xử lý nhiều tài liệu, đó có thể là phát hiện những điểm mà cam kết trong tài liệu này không khớp với kết quả ghi nhận trong tài liệu khác.

Dựa trên khả năng suy luận của GPT‑6 Astra, GPT‑6 Sol và GPT‑6.1 Sol, Third Moment dự định mở rộng từ các đợt nghiên cứu riêng lẻ sang hàng trăm nghìn tác nhân con cộng tác với nhau. Theo lộ trình, công ty sẽ dùng hàng nghìn tỷ token để hỗ trợ các chuỗi gồm hàng chục thử nghiệm phụ thuộc lẫn nhau, với mục tiêu dùng kết quả nghiên cứu đó để tự chủ cải thiện tác nhân khi có thách thức mới.

Với Adam, điều này sẽ giúp con người có thêm khả năng định hình cách tác nhân học hỏi và làm việc: “Con người có thể ở vị thế tạo ra tác động lớn hơn nhiều, tập trung suy nghĩ về cách nghiên cứu và tối ưu hóa chính quá trình nghiên cứu thay vì trực tiếp thực hiện nó.”