L’éternel complément

Note des auteurs : Voici le premier essai de notre série sur la prochaine économie, qui s’inscrit dans une nouvelle plateforme accueillant des voix indépendantes qui explorent un avenir avec l’AGI. Il reflète nos opinions, et non celles d’OpenAI ou de nos collègues.

L’humanité a pu voir presque jusqu’au commencement des temps.

Nos équations dressent un portrait largement cohérent de l’univers depuis ses premiers instants. Avec nos télescopes, nous avons scruté les confins du cosmos et entrevu ses débuts. Nous connaissons la naissance des étoiles et la formation des galaxies.

Pourtant, aucun être humain n’a jamais voyagé au-delà de la Lune.

Les explications que nous cherchons embrassent l’univers, alors que nos corps ont à peine quitté notre demeure. Nos esprits s’aventurent bien au-delà de la portée de nos mains.

Ce décalage pourrait signifier deux choses très différentes.

Une possibilité est que nous n’ayons pas besoin d’aller très loin, que les vérités les plus profondes puissent être comprises depuis une seule planète. Armés d’un raisonnement éclairé et d’instruments efficaces, nous révélons l’univers sans le traverser. Dans ce récit, notre civilisation progresse en profondeur plutôt qu’en étendue. Cela aiderait à expliquer pourquoi nous n’avons pas observé d’autres formes de vie intelligentes : nous vivons peut-être dans une galaxie peuplée d’esprits brillants qui n’ont jamais eu besoin de s’étendre au point de devenir perceptibles pour nous.

La seconde possibilité est plus intimidante. Nos esprits ont peut-être simplement devancé notre capacité d’exécution. Chaque nouvelle étape exige plus de temps et de ressources. Nous ne manquons pas de rêves, mais de main-d’œuvre pour les réaliser.

Galilée a élargi notre champ de vision avec deux lentilles et un tube. Pour l’élargir à nouveau aujourd’hui, l’humanité a construit le télescope spatial James Webb, un observatoire de dix milliards de dollars replié dans une fusée et envoyé à un million de milles de distance. Les dix-huit énormes segments de son miroir sont fabriqués avec une précision de cinquante nanomètres. L’observatoire est né du travail de trois cents organisations réparties dans quatorze pays. La contribution de Galilée a mobilisé quelques dizaines de mains. Webb a eu besoin d’une armée, soutenue par une économie mondiale.

Pour voir plus loin, il n’a pas seulement fallu des esprits plus brillants. Il a fallu une bureaucratie plus vaste.

Nous posons plus de questions que nous ne pouvons en explorer. Nous concevons plus d’expériences que nous ne pouvons en mener. Nous imaginons des possibilités créatives plus vite que nous ne pouvons les concrétiser. Et dans bien des domaines, plus nous avançons, plus il devient compliqué de construire ce que nous imaginons.

Nick Bloom et ses coauteurs⁠(s'ouvre dans une nouvelle fenêtre) ont étudié la productivité de la recherche dans l’ensemble de l’économie américaine. Maintenir la loi de Moore exige désormais plus de dix-huit fois autant de chercheurs qu’au début des années 1970. Depuis les années 1930, l’effort de recherche effectif à l’échelle de l’économie a été multiplié par vingt-trois, tandis que la productivité mesurée de la recherche a été divisée par quarante et un.

L’effectif des techniciens augmente deux fois plus vite⁠(s'ouvre dans une nouvelle fenêtre) que celui des scientifiques. L’utilisation d’équipements spécialisés en science a doublé⁠(s'ouvre dans une nouvelle fenêtre) en quatre décennies. Aujourd’hui, une usine de puces coûte cinq fois plus cher⁠(s'ouvre dans une nouvelle fenêtre) qu’il y a trente ans et constitue une installation bien plus tentaculaire.

Ces statistiques laissent entrevoir un coût croissant pour poursuivre le progrès. L’économie continue d’avancer parce qu’une forte expansion de l’activité de recherche a compensé la baisse du rendement de chaque unité.

Cette histoire devrait nous amener à concevoir autrement le génie : non comme un phénomène isolé, mais comme un intrant dans un processus de production. Une hypothèse brillante a tout de même besoin de preuves, d’instruments et de moyens pour être mise à l’épreuve. Une idée ne constitue pas encore un progrès sans la machinerie et le personnel de soutien nécessaires pour la concrétiser.

Les économistes qualifient deux intrants de complémentaires quand une augmentation de l’un accroît la valeur de l’autre. L’intelligence de pointe et la capacité de concrétiser ses idées sont complémentaires en ce sens. Un meilleur télescope donne plus de valeur à une bonne question astronomique. Une meilleure question donne plus de valeur au télescope.

Certains compléments sont matériels. Une théorie attend un accélérateur de particules; un concept technologique attend l’énergie et la machinerie nécessaires à sa construction.

D’autres compléments sont moins visibles à l’œil nu. Une idée, à elle seule, est fragile. Elle a besoin d’institutions de toutes sortes. Lois, bureaucratie, mécanismes de financement, chaînes d’approvisionnement et bien d’autres éléments se conjuguent pour la concrétiser.

Une grande idée doit survivre à une longue chaîne d’actions locales bien exécutées dans ces institutions. Appelons cela l’intelligence institutionnelle : l’intelligence méconnue de l’exécution. Le génie conçoit le monument; les institutions en posent les pierres. L’un est brillant, les autres semblent ennuyeuses; tous sont absolument essentiels.

Nous imaginons parfois la superintelligence comme un milliard d’Einstein. Mais une civilisation comptant un milliard d’Einstein aurait quand même besoin que la plupart d’entre eux exploitent les carrières et tiennent la comptabilité. L’innovation de pointe n’est possible que si le monde ordinaire fonctionne sans heurts autour d’elle. Le progrès fait appel à tout le monde, de la personne qui soude une vis du télescope à l’assureur de l’école primaire où a étudié une infirmière qui a soigné l’astronome. Le progrès repose sur une économie qui tourne rond, souvent oubliée dans le récit de nos plus grands exploits.

Comme l’intelligence humaine, l’IA sera mise au service à la fois des idées brillantes et de la compétence institutionnelle. La question est de savoir où elle consacrera l’essentiel de son temps.

L’IA rend déjà la capacité d’exécution moins rare. Elle écrit le code, explore une littérature peu familière et transforme une esquisse en prototype fonctionnel. Des idées qui exigeaient autrefois toute une organisation peuvent de plus en plus être portées par une seule personne ambitieuse.

La plupart des cinéastes en devenir ne reçoivent jamais deux cents millions de dollars pour tenter leur chance. La plupart des concepteurs de jeux passent toute leur carrière à concrétiser les visions créatives des autres. Nous essayons de faire avancer les personnes les plus douées, mais des talents nous échappent inévitablement. Sous cet angle, l’ère de l’intelligence commence par compléter l’ingéniosité humaine, en donnant à davantage d’entre nous le personnel de soutien nécessaire pour concrétiser nos propres idées.

Il pourrait en résulter une profusion de projets singuliers, avec davantage de créations produites hors des institutions qui contrôlaient auparavant l’accès au travail dans ces domaines. L’intrant rare passe de l’exécution au goût : la capacité de décider ce qui mérite d’être créé, quelle question mérite d’être posée et laquelle des mille pistes plausibles mérite d’être suivie.

Mais l’histoire ne s’arrête peut-être pas là. À mesure que l’IA devient capable de trouver seule de nouvelles idées brillantes — ce que nous observons peut-être déjà dans des domaines comme les mathématiques —, elle fournit des programmes aussi bien que de la main-d’œuvre. Plutôt que d’exécuter un programme de recherche humain, elle en conçoit des milliers elle-même. Les génies de l’IA font exploser le nombre de concepts de films à développer et d’hypothèses à tester. Les idées affluent plus vite que les infrastructures de soutien ne peuvent les absorber.

L’IA d’aujourd’hui offre un répit tant attendu, où nos bonnes idées reçoivent enfin l’attention qu’elles méritent. Demain, les bonnes idées pourraient être si nombreuses que nous manquerions plus que jamais de capacité d’exécution.

Au fond, nous ignorons si les compléments nécessaires pour exploiter utilement les nouvelles idées augmenteront, diminueront ou resteront stables. Jusqu’où peut-on progresser intellectuellement par la seule pensée? De combien de bureaucratie le génie a-t-il besoin?

À notre avis, la réponse dépend de la distance que la pensée peut parcourir avant de devoir reprendre contact avec la réalité.

Nous décrivons deux voies possibles. La première est une civilisation de la profondeur, où la superintelligence surmonte le besoin de capital matériel et de coordination bureaucratique supplémentaires. La seconde est une civilisation de l’étendue, où la complexité de la nature dépasse la capacité de toute intelligence — humaine ou artificielle — à progresser sans de vastes expériences toujours plus élaborées dans le monde réel.

Jusqu’ici, l’histoire humaine laisse entrevoir un besoin croissant de capacités complémentaires. La lunette de Galilée tenait dans ses mains; Webb a exigé une civilisation. Une petite équipe des laboratoires Bell a assemblé le premier transistor sur un établi; les avancées en matière de puces de pointe proviennent désormais d’une chaîne d’approvisionnement mondiale complexe. Aller plus loin mobilise toujours davantage la civilisation.

Mais cette histoire n’est pas nécessairement une fatalité. Des esprits intelligents peuvent inventer des compléments plus efficaces. Si l’énergie freine un nouvel accélérateur de particules, le génie peut concevoir un accélérateur moins énergivore ou une meilleure façon de capter l’énergie.

Le génie peut aussi remplacer certains de ses compléments. Einstein a pu parvenir à la relativité par la réflexion, à partir de très peu de données empiriques. Il nous en faudrait beaucoup plus. Certaines personnes se souviennent tout simplement de tous leurs engagements; la plupart d’entre nous comptent sur la bureaucratie de Google Agenda.

Et le génie peut affiner le goût au maximum, en choisissant les meilleures hypothèses à tester et en évitant des échecs coûteux. Si chaque génie supplémentaire améliore la qualité du plan, même si des bureaucraties toujours plus vastes sont nécessaires, nous continuerions d’investir massivement dans le génie, précisément parce que les capacités d’exécution coûtent trop cher pour être consacrées à de mauvaises pistes.

Aucune de ces voies ne décrira parfaitement notre avenir réel, mais on peut les voir comme deux orientations possibles pour notre civilisation.

L’intelligence peut faire avancer les connaissances de trois façons. Elle peut raisonner à partir de principes. Elle peut tirer de nouvelles conclusions des données existantes. Ou elle peut recueillir de nouvelles données en observant le monde et en y intervenant.

Le premier mode peut aller loin par la seule pensée. Les mathématiques en sont l’exemple le plus pur. Aux nombreux embranchements d’une démonstration ou d’un projet, un esprit puissant peut systématiquement faire le bon choix. Il remplace des années de tâtonnements par un enchaînement de raisonnement court et mieux ciblé.

Le deuxième mode est aussi un terrain vierge propice à des progrès rapides. L’humanité a recueilli beaucoup plus de données qu’elle n’en a comprises. L’étude de nos données — imagerie astronomique, lames de microscope, sections de commentaires en ligne — a été limitée par la rareté de l’intelligence humaine. Les archives scientifiques contiennent des observations consignées pour répondre à une question, mais qui pourraient apporter des réponses à bien d’autres. Des esprits brillants en abondance peuvent faire des découvertes non pas en recueillant de nouvelles données, mais en voyant ce qui était déjà là. Il pourrait découvrir un nouvel univers sans capter un seul photon supplémentaire.

Le troisième mode n’est pas aussi simple, car il exige d’interagir avec le monde physique. Les processus physiques prennent du temps, et il est souvent difficile de les accélérer. Les substances chimiques doivent réagir. Les organismes doivent croître. Les machines doivent être construites. Les engins spatiaux doivent parcourir des distances réelles, soumis aux limites de vitesse cosmiques. Même un esprit parfait ne peut observer le résultat d’une expérience qui n’a pas eu lieu.

Mais il peut essayer. Une civilisation de la profondeur n’échapperait pas au besoin de consulter la réalité. Elle le ferait avec une économie de moyens radicale. Un meilleur raisonnement permettrait de repérer les quelques expériences qui comptent vraiment. Les simulations en résoudraient la plupart et cerneraient l’incertitude précise que la réalité doit trancher. La superintelligence peut maximiser l’efficacité en adaptant ses conceptions à ses ressources limitées pour en tirer le meilleur parti.

Imaginez un laboratoire d’astrophysique disposant d’un ensemble d’hypothèses sur la matière noire. Ces hypothèses sont d’abord soumises à une modélisation informatique hyperréaliste. Chaque théorie est vérifiée pour en confirmer la cohérence avec toutes les données existantes. Ce n’est qu’ensuite que quelques nouvelles images ciblées du ciel sont prises pour tester les théories les plus prometteuses. La civilisation a toujours besoin des compléments du génie, mais chaque unité produit beaucoup plus de valeur.

Notre chemin vers une civilisation de la profondeur pourrait fonctionner comme un casse-tête. Progresser est facile au début, facile à la fin, et plus difficile au milieu. Au départ, les bordures sont évidentes et certaines pièces s’assemblent facilement. Puis ces possibilités s’épuisent, alors qu’une trop petite partie de l’image est assemblée pour guider la suite. Vers la fin, les espaces restants indiquent presque d’eux-mêmes ce qui doit s’y trouver. Une science presque complète pourrait faire ses dernières découvertes plus facilement que celles auxquelles nous parvenons péniblement aujourd’hui.

C’est un principe courant en science. Mendeleïev pouvait décrire des éléments encore inconnus parce que le reste du tableau périodique imposait des contraintes sur ce qui manquait. Le modèle standard donnait aux physiciens des raisons de s’attendre au boson de Higgs des décennies avant son observation. Nos expériences visaient précisément ce que nous nous attendions à voir, c’est-à-dire ce qui était cohérent avec les théories et les données existantes.

La superintelligence pourrait parvenir à une civilisation de la profondeur en comprenant si bien les régularités du monde qu’elle saurait exactement quelles nouvelles données lui sont nécessaires. Elle ferait progresser la civilisation par une pensée plus profonde, sans dépendre de la lente marche de l’expansion physique.

Si ces gains d’efficacité dominent, la civilisation pourrait rapidement approfondir sa maîtrise de la nature, avec moins de besoins en intelligence institutionnelle pour gérer de vastes nouveaux dispositifs expérimentaux. Son empreinte physique pourrait rester faible tandis que sa sagesse mûrit.

Nous, les humains, avons déjà tant compris de notre univers sans jamais quitter notre demeure. La civilisation de la profondeur prolongerait cette tradition.

Mais la demande de nouvelles données peut dépasser ces gains d’efficacité. L’intelligence peut réduire le coût de chaque consultation de la réalité tout en découvrant beaucoup plus de raisons de la consulter. De meilleurs instruments ouvrent des champs d’exploration plus fins. Des expériences plus rapides peuvent rendre d’autres expériences intéressantes.

Si le chemin presque purement cognitif d’Einstein vers ses théories de la relativité incarne une civilisation de la profondeur, la biologie pourrait être le meilleur présage d’une civilisation de l’étendue. Malgré toutes les connaissances accumulées et toutes les données mobilisées, les nouveaux médicaments doivent toujours être testés sur un grand nombre de personnes pour confirmer leur innocuité et leur efficacité. Les machines peuvent désormais simuler des processus biologiques, ce qui permet aux biologistes de tester de nouveaux médicaments in silico plutôt que par des expériences physiques, mais ces simulations numériques ne sont pas assez fidèles au monde réel pour remplacer les essais à grande échelle chez l’humain. Plus les machines proposent de candidats, plus l’expérimentation empirique devient un goulot d’étranglement.

Dans une civilisation de l’étendue, le génie seul ne suffit pas à progresser. Notre besoin de ressources matérielles — et d’une bureaucratie pour en gérer l’utilisation — augmente plus vite qu’un esprit intelligent ne peut économiser les unes ou l’autre.

Ce pourrait être notre voie, même si les futurs systèmes d’IA dépassent largement l’intelligence humaine. Une superintelligence pourrait concevoir un siècle d’expériences en un après-midi, puis passer ce siècle à attendre que la nature et la machinerie leur donnent suite. Dans un tel monde, il devient plus utile d’investir l’intelligence dans les processus institutionnels nécessaires à la concrétisation des idées que dans leur conception même.

L’effet s’amplifiera si chaque nouvelle étape exige toujours plus d’infrastructures de soutien.

On y verrait relativement moins de réflexion et relativement plus de construction. Les laboratoires s’automatisent. Les usines se multiplient. La production d’énergie augmente. L’intelligence institutionnelle domine pour rendre tout cela possible. L’expansion physique devient le moteur de la connaissance, et la civilisation s’étend parce que ses questions dépassent désormais les moyens d’y répondre. Plus de matériaux, plus d’énergie, plus de données pour continuer.

Une sphère de Dyson offre une image extrême de cet avenir. En concevoir une exige des percées extraordinaires, mais l’essentiel du projet ne reposerait pas sur des réflexions révolutionnaires. Ce serait de la construction et de la logistique à une échelle astronomique.

La sphère de Dyson exige des esprits brillants pour en dresser les plans. Ce serait aussi l’un des projets les plus répétitifs, monotones et complexes à organiser jamais entrepris.

Ce n’est pas un échec de l’intelligence, mais plutôt une conséquence de sa réussite. Des esprits plus brillants découvrent davantage de projets qui en valent la peine; des projets plus complexes exigent davantage de matière pour se concrétiser.

Si c’est le cas, le superpouvoir de la superintelligence pourrait ne pas être son génie. Ce serait plutôt sa volonté d’incarner la bureaucratie, de coordonner la vaste machinerie technologique et institutionnelle nécessaire pour concrétiser les idées à une échelle toujours plus grande.

Presque toute l’intelligence des machines serait déployée non pour accomplir des tâches brillantes, mais pour faire le travail ennuyeux.

Les limites de vitesse que la nature impose à l’expansion physique pourraient alors freiner les progrès à venir. Construire la machinerie permettant de capter l’énergie d’une étoile est un projet matériel, quelle que soit la vitesse à laquelle les plans sont dressés. Au-delà se trouvent d’autres étoiles et d’autres galaxies, et la distance, à notre connaissance, impose son propre frein : aucun vaisseau ne peut voyager ni aucun signal revenir plus vite que la lumière. Une civilisation de l’étendue est une civilisation lente. Ses grandes transformations pourraient être séparées par des millénaires, voire des millions d’années. Chaque nouvelle étape prend plus de temps.

Les révolutions agricole et industrielle apparaîtraient comme le prélude frénétique d’une histoire bien plus longue, au rythme de progrès bien plus lent.

Il se pourrait bien que les futurs systèmes d’IA surpassent les humains tant dans la production d’idées de pointe que dans la coordination des ressources nécessaires pour les rendre utiles en pratique. Mais cette possibilité ne diminue en rien l’importance de la curiosité humaine.

Premièrement, notre devoir de chercher à comprendre demeure, même si les machines semblent mieux y parvenir. L’univers contient peut-être déjà des esprits bien plus sages que les nôtres, qui détiennent des réponses à des questions scientifiques et morales dépassant notre compréhension. Nous essayons pourtant toujours de comprendre le monde par nous-mêmes. L’arrivée d’une autre intelligence — même créée par nous — n’y change rien. Tant que nous ne savons pas avec certitude que l’humanité n’a plus rien de singulier à apporter, renoncer revient à gaspiller tout ce que nous seuls pouvons ajouter au monde. Notre devoir reste de continuer à poser des questions et à tenter d’y répondre.

Deuxièmement, nous pourrions avoir un avantage comparatif en intelligence de pointe par rapport à l’intelligence institutionnelle. Cela voudrait dire que, même si nous sommes moins bons dans les deux, nous sommes relativement meilleurs dans la première et nous nous y spécialisons. Les humains expriment une préférence pour la créativité plutôt que la routine, tandis que les robots n’expriment aucune préférence de ce genre.

Troisièmement, la variété nous profite. Même si les machines peuvent reproduire l’essentiel de la pensée humaine, nous apportons une diversité créative tant que nous conservons une certaine singularité. Une grande part de l’intelligence des machines resterait dans son propre appareil autonome, mais nous en déploierions une petite fraction au gré de nos envies créatives. Une infime part de l’ensemble, mais un luxe à notre échelle, bien supérieur aux ressources dont nous disposons aujourd’hui.

L’ingéniosité n’existe pas en vase clos. Elle a besoin du monde, et le génie a besoin de bâtisseurs pour concrétiser sa vision créative.

Aujourd’hui, une grande part de l’intelligence humaine se consacre au travail méconnu qui transforme les idées en réalité. Les esprits des machines hériteront de la même dépendance. Ils ne pourront pas tous être des sommités. Ils devront aussi être des bureaucrates.

Notre histoire à venir — et le rythme de ses progrès — dépendra de ceci : les grands esprits auront-ils besoin de mobiliser davantage le monde, ou feront-ils plus avec moins?