Third Moment Research : 10 000 agents actifs plus de 36 h

Chaque entreprise a ses propres processus de travail, outils, cas limites et critères de réussite. ⁠(ouverture dans une nouvelle fenêtre)Pour Third Moment Research⁠(ouverture dans une nouvelle fenêtre), les meilleurs agents doivent exceller dans ces tâches spécifiques et améliorer leurs capacités au fil de leur utilisation.

L’entreprise développe un système d’IA capable de s’améliorer lui-même autour de cette idée. Elle utilise les derniers modèles d’OpenAI pour comprendre le comportement des agents, repérer les faiblesses récurrentes et créer automatiquement des milliers de scénarios synthétiques autour de ces problèmes. L’équipe utilise ces scénarios pour améliorer les agents et répète le processus à mesure que de nouveaux problèmes apparaissent.

Codex, GPT‑6 Astra, GPT‑6 Sol et GPT‑6.1 Sol prennent en charge les travaux de recherche et de calcul du système, permettant à Third Moment de faire fonctionner 10 000 agents simultanément sur des investigations de 36 à 48 heures. L’entreprise utilise également Daybreak pour tester la sécurité des environnements dans lesquels les agents travaillent.

L’une des premières applications de Third Moment concerne la finance quantitative, un domaine où la réussite se mesure clairement. Ce domaine offre un cadre concret pour étudier le fonctionnement des agents et leurs difficultés. L’équipe utilise Codex pour détecter et résoudre les problèmes dans l’environnement de recherche.

Dans un cas, elle a utilisé Codex avec GPT‑5.6, le dernier modèle GPT à l’époque, pour analyser des milliers de trajectoires de simulation enregistrées (les actions des agents et les réponses de l’environnement), ainsi que les horodatages et la base de code.

Codex a révélé un goulot d’étranglement : le backtest d’une stratégie de trading sur un an de données d’actions américaines à l’échelle des ordres prenait plusieurs heures. Pendant l’attente, les agents vérifiaient sans cesse si l’exécution était terminée, gaspillant des tokens et remplissant leur contexte de vérifications d’état.

Après avoir profilé le backtest et analysé ses entrées et son utilisation, Codex a identifié une optimisation de la mise en cache et une technique de compactage en mémoire. Il a testé des solutions et déployé le correctif en production, ramenant la durée du backtest d’environ 3 heures à environ 3 à 5 minutes. Cela a réduit la consommation de tokens et la pollution du contexte, libérant une plus grande part du budget de tokens des agents pour d’autres expériences.

Third Moment fournit à chaque agent les outils, les informations et l’environnement nécessaires à une tâche spécifique. Pour la recherche quantitative, l’équipe exécute le harnais Codex par défaut dans un environnement conteneurisé avec Docker. Les agents reçoivent un téraoctet de données, de la documentation et un dépôt de recherche comprenant des modules d’ingénierie des caractéristiques, d’entraînement de modèles sur GPU, de stratégies de trading et de simulation.

GPT‑6 Astra, GPT‑6 Sol et GPT‑6.1 Sol assurent le raisonnement, tandis que le harnais Codex fournit aux agents des outils pour agir, élaborer des plans, fixer des objectifs, créer des sous-agents et compacter le contexte au fil du travail.

Pour gérer les agents qui s’arrêtent avant d’avoir terminé une tâche, Third Moment utilise Codex comme sous-agent au sein d’un harnais externe reposant sur GPT‑6 Sol ou GPT‑6.1 Sol. Le harnais externe examine la trajectoire lorsqu’une tâche reste inachevée et détermine s’il faut réessayer, arrêter le travail ou demander un examen humain.

Dans cet environnement de recherche, les agents travaillent à améliorer un système de trading de référence conçu par les ingénieurs de Third Moment. Ils testent des stratégies de trading sur des données historiques, évaluent si une amélioration est significative ou relève du bruit, puis utilisent chaque résultat pour choisir l’expérience suivante. Selon Adam, leur travail a amélioré le système de trading de référence.

Avant GPT‑5.5, explique Adam, les modèles ne pouvaient exécuter que les expériences prescrites par un utilisateur. Avec GPT‑5.5 et GPT‑5.6, les modèles utilisant le harnais Codex pouvaient s’appuyer sur les résultats pour concevoir des expériences complémentaires. Désormais, avec GPT‑6 Astra, GPT‑6 Sol et GPT‑6.1 Sol, les agents peuvent rechercher les causes profondes au moyen de centaines d’expériences menées en parallèle avec des sous-agents.

Cette évolution a aidé les agents à explorer des pistes de recherche que l’équipe n’avait pas envisagées. Lors d’une session, GPT‑6.1 Sol a identifié l’impact des transactions non affichées sur une place boursière où elles représentaient une part étonnamment importante du volume. « Ce résultat n’avait rien d’évident et notre équipe de recherche ne l’avait pas envisagé au départ », explique Adam.

Third Moment évalue les modèles dans les domaines de l’optimisation, des systèmes d’apprentissage automatique et de la recherche quantitative. L’entreprise teste les nouvelles versions de pointe avec leurs paramètres de raisonnement les plus élevés, évaluant leur capacité à parcourir des dépôts, à écrire du code efficace et à poursuivre une investigation dans la durée. Les tests en cours incluent également GPT‑6 Luna.

Un benchmark demande aux agents de réduire la latence de mise à jour d’un service de scores en direct tout en préservant ses sorties. L’équipe mesure l’accélération en divisant le temps d’exécution moyen d’une solution conçue par des experts par celui de la solution du modèle sur le même matériel, à condition que les résultats soient corrects. Selon Adam, GPT‑6 Astra a produit l’accélération la plus importante.

Pour les travaux ciblés, notamment la recherche de failles de sécurité spécifiques dans le système de simulation, l’équipe utilise des modèles plus économes comme GPT‑5.6 Terra. Pour la recherche approfondie, Adam estime qu’un raisonnement plus puissant peut justifier un coût plus élevé : « Dans le domaine de la finance quantitative, trouver un signal intéressant a une valeur extrêmement élevée. »

Avec 10 000 agents fonctionnant de manière autonome, Third Moment a besoin d’un moyen de tester la sécurité de ses environnements de recherche à grande échelle. L’équipe utilise la plateforme de cybersécurité Daybreak pour automatiser ces tests avant le lancement des simulations.

Les tests vérifient si un agent pourrait sortir de son environnement de recherche et accéder au reste du réseau. « Grâce à Daybreak, nous pouvons laisser les agents réaliser eux-mêmes des tests d’intrusion sur la simulation et en tester l’infrastructure et la sécurité », explique Adam.

L’ambition de Third Moment s’étend aux tâches spécialisées que les entreprises accomplissent chaque jour. Pour un détaillant, cela pourrait signifier prendre de meilleures décisions d’approvisionnement lorsque les stocks sont bas ou qu’un fournisseur a du retard. Pour une équipe d’ingénierie, cela pourrait signifier repérer les goulots d’étranglement dans une vaste base de code. Pour une entreprise qui traite de nombreux documents, cela pourrait signifier repérer les écarts entre les engagements pris dans un document et les résultats consignés dans un autre.

En s’appuyant sur les capacités de raisonnement de GPT‑6 Astra, GPT‑6 Sol et GPT‑6.1 Sol, Third Moment prévoit de passer d’investigations individuelles à des centaines de milliers de sous-agents collaborant entre eux. Sa feuille de route prévoit des milliers de milliards de tokens pour alimenter des chaînes de dizaines d’expériences interdépendantes, afin d’utiliser ces recherches pour améliorer les agents de manière autonome face aux nouveaux défis.

Pour Adam, cela donnerait aux humains davantage de moyens de façonner la manière dont les agents apprennent et travaillent : « Les humains peuvent avoir un effet de levier bien plus important, en réfléchissant à la manière de mener la recherche et d’optimiser la recherche elle-même, plutôt qu’en la réalisant directement. »