Nate Soares, chercheur passé par Microsoft et Google, installé à Berkeley au Machine Intelligence Research Institute, concentre l’attention d’un débat que le monde économique ne peut plus ignorer. Figure emblématique des « doomers » de l’intelligence artificielle, il alerte sur un risque existentiel : la possible fin de l’humanité si une superintelligence échappe au contrôle humain. Le rappel est frontal et dérangeant : « laisser faire cela est une folie ». Que vaut un tel signal dans le « miroir déformant des indicateurs » où l’euphorie de productivité côtoie la tentation du court terme ? Les marchés célèbrent la course aux modèles capables d’automatiser toujours plus de décisions, tandis que la gouvernance publique peine à suivre la cadence. Faut-il s’étonner que les incitations économiques poussent, mécaniquement, vers la mise en production avant la sécurisation ? L’« effet sablier » se manifeste : en haut, quelques acteurs concentrent capital, données et calcul ; en bas, les usages se diffusent sans garde-fous robustes. Dans cette tectonique des plaques économiques, l’IA n’est plus seulement un levier d’efficacité ; elle devient un danger systémique si la maîtrise technique n’est pas au rendez-vous. À l’horizon, deux récits s’affrontent : promesse d’un boom de productivité ou course à l’abîme. Qui gagne l’argument compte moins que la question clé : quelles institutions pour ralentir, vérifier et, si nécessaire, arrêter ?
Nate Soares, Berkeley et la trajectoire d’un « doomer » de l’IA
À la tête du Machine Intelligence Research Institute, Nate Soares assume une position radicale : tant que la sûreté des systèmes n’est pas démontrée, accélérer revient à parier contre notre propre survie. Son parcours dans la Big Tech nourrit cette conviction, entre ingénierie à grande échelle et limites de la vérification en conditions réelles.
Son livre coécrit avec Eliezer Yudkowsky, If Anyone Builds It, Everyone Dies, prolonge une décennie de travaux sur l’alignement. La synthèse proposée a enflammé le débat, comme en témoigne cette discussion approfondie du Carnegie Endowment : un échange sur la faisabilité d’un gel mondial. Pour situer l’itinéraire du chercheur, son profil public est instructif : parcours et publications de Nate Soares.
Les controverses s’accumulent : un panorama synthétique des critiques des « doomers » figure dans une analyse publiée par Bloomberg, tandis qu’un long format revient sur sa tribune et son influence : le débat suscité en France. La presse généraliste suit également : l’IA finira-t-elle par nous exterminer ? ; et les agences rapportent l’intensification des alertes : une dépêche de Reuters.
Pourquoi évoquer la fin de l’humanité change l’analyse économique
La perspective d’une fin de l’humanité bouleverse le calcul coût-bénéfice : les gains de productivité deviennent secondaires si la probabilité d’un accident majeur n’est pas négligeable. Cette approche de « risque extrême » s’observe déjà dans les politiques nucléaires ou biologiques.
Le faisceau de signaux est conséquent : des experts médiatisés agrègent leurs mises en garde, comme le montre un état des lieux des craintes existentielles. D’autres analyses insistent sur l’absence de preuve de contrôlabilité : une étude sur le dépassement humain. Même la littérature polémique fait mouche : un ouvrage qui prône l’arrêt des recherches avancées. L’insight : lorsque la perte potentielle est totale, la prudence devient rationnelle.
Dans ce contexte, les propos de Soares — « laisser faire cela est une folie » — agissent comme un principe de précaution articulé au plus haut niveau. Le débat ne se résume pas à une opposition pro/anti-innovation ; il interroge la séquence optimale entre découverte, expérimentation et déploiement.
Le risque systémique de la superintelligence : quand les incitations poussent au danger
La compétition pour l’IA générale révèle une dynamique classique : ceux qui ralentissent perdent des parts de marché, ceux qui accélèrent prennent des risques. Plusieurs dirigeants du secteur ont quantifié ce risque de façon inhabituelle pour une industrie : 10 à 20 % de chances que « les choses tournent mal » selon certaines déclarations, et jusqu’à 25 % envisagés par d’autres. Dans un marché à rendements croissants, la prime à la vitesse domine la prime à la sûreté.
Ces tiraillements transparaissent dans le débat public sur les “doomers”. Or, tant que l’assurance, la responsabilité civile et les stress tests techniques n’intègrent pas les scénarios extrêmes, l’arbitrage reste biaisé. L’économie s’expose à un « effet sablier » où les gains se concentrent avant que les coûts, s’ils surviennent, ne se diffusent à l’ensemble du système.
Moratoires, gouvernance et coordination internationale
Les lettres ouvertes de 2023, réitérées ensuite, ont posé l’idée d’un moratoire temporaire pour synchroniser recherche et garde-fous. L’enjeu est diplomatique autant que scientifique : comment faire converger États-Unis, Chine et Europe ? Le sujet est débattu en profondeur dans un podcast consacré aux propositions de Soares.
Sur le front européen, la normalisation est contestée : des créateurs dénoncent une dérive de l’AI Act. Parallèlement, la montée en puissance d’acteurs privés, à l’image d’une licorne française valorisée à deux chiffres, alimente la pression concurrentielle : l’ascension d’un champion européen illustre ce dilemme : réguler sans tuer l’élan.
- Mettre en place des “licences de calcul” au-delà d’un seuil de puissance, avec audits indépendants et journalisation obligatoire.
- Exiger des « cartes noires » de sécurité (kill switches vérifiables), testées par des équipes rouges externes avant tout déploiement public.
- Créer une capacité publique de tests mutualisée à l’échelle transatlantique pour réduire l’asymétrie entre régulateurs et laboratoires privés.
Ces leviers ne remplacent pas la coordination internationale, mais ils la rendent crédible en réduisant l’écart entre alerte scientifique et instruments opérationnels.
Reste la souveraineté industrielle : la sécurisation des chaînes d’approvisionnement en puces et équipements est devenue un impératif, comme le rappellent les débats autour de Nexperia. Sans maîtrise matérielle, la gouvernance logicielle demeure partielle.
Productivité, marchés et « tectonique des plaques économiques » de l’IA
À court terme, l’IA promet des gains mesurables. Mais au-delà d’un certain seuil d’autonomie, la « tectonique des plaques économiques » se déplace : contrôle de l’attention, optimisation publicitaire, automatisation des décisions de crédit… Toute la chaîne de valeur se recompose. Les entreprises s’y préparent, comme le montre l’insistance sur leur rôle dans le redressement.
Certains voient déjà l’organisation classique de l’entreprise s’effacer au profit de réseaux plus fluides, thèse développée dans une réflexion sur l’entreprise décentralisée. Si cet horizon se confirme, les institutions du marché du travail, de la concurrence et de la fiscalité devront évoluer à marche forcée.
Exemple de terrain : une PME face à l’« effet sablier »
Imaginons « Octave Robotics », PME industrielle sous-traitante. En quête d’efficacité, elle adopte des modèles d’IA externes pour piloter la maintenance prédictive. Rapidement, la dépendance à des API propriétaires accroît sa productivité mais aussi son exposition au risque : mises à jour non documentées, hallucinations coûtant des arrêts de ligne, et incertitude juridique sur la responsabilité.
Pour reprendre la main, la direction combine trois outils : un coffre-fort numérique pour tracer les versions et preuves de tests — à l’image d’approches décrites par la sécurisation documentaire ; une politique d’audit externe inspirée de retours d’expérience sectoriels ; et un comité de risques qui simule des scénarios extrêmes, dans l’esprit des propositions défendues par les « doomers ».
Ce cas illustre un point saillant : sans outillage procédural et technique, le « miroir déformant des indicateurs » masque les coûts latents. Or, en présence d’un danger de queue de distribution, la discipline de marché ne suffit pas. D’où la pertinence de dispositifs publics et privés convergents, du laboratoire au terrain.
Le débat n’est pas clos, et c’est sans doute la meilleure nouvelle. Entre plaidoyer pour un gel temporaire et exigence de preuves de sûreté, une voie médiane s’esquisse : faire primer la vérification sur la vitesse. Pour approfondir l’argumentaire « doomer » et ses critiques, on pourra lire un contrechamp synthétique sur le rapport de force intellectuel ou un portrait plus engagé sur l’investigateur de Berkeley. Entre accélération et précaution, la boussole reste la même : démontrer, tester, puis seulement déployer.
Louis Murgia est un journaliste économique chevronné, reconnu pour sa capacité à décrypter les enjeux complexes de l’économie contemporaine. Après des études en sciences économiques et politiques, il a débuté sa carrière dans la presse spécialisée avant de rejoindre la rédaction de plusieurs grands quotidiens nationaux. Au fil des années, Louis a couvert une vaste gamme de sujets, allant des politiques budgétaires aux dynamiques des marchés financiers, en passant par les réformes structurelles. Son approche rigoureuse et pédagogique lui a valu une réputation d’excellence dans le journalisme économique.
