Un homme se décrivant comme sceptique à l'égard de l'IA avait averti le monde que Mythos était trop dangereux pour être déployé. Aujourd'hui, c'est lui qui fait pression sur la Maison-Blanche pour qu'une version de ce système soit remise en ligne.
Réponse en bref : Anthropic a dépêché Nicholas Carlini, chercheur en sécurité de haut niveau, à Washington pour faire pression sur l’administration Trump afin qu’elle lève les restrictions à l’exportation qui ont contraint l’entreprise à retirer du marché ses deux modèles les plus performants, Mythos 5 et Fable 5. Ironie du sort : Carlini est le même chercheur qui, quelques mois auparavant, avait exhorté Anthropic à ne pas commercialiser Mythos. Le différend porte sur un rapport d’Amazon affirmant que les mécanismes de sécurité de Fable pouvaient être partiellement contournés, révélant ainsi des failles de sécurité logicielles. Anthropic conteste la gravité de la situation et soutient que cette même fonctionnalité est déjà disponible dans des modèles concurrents disponibles sur le marché.
Le sceptique qui a changé de camp
Nicholas Carlini, 35 ans, s'est forgé une réputation de « sceptique professionnel » du secteur de la cybersécurité, celui qui a dénoncé pendant des années les affirmations exagérées concernant la sécurité de l'IA. En 2019, il estimait qu'OpenAI se comportait de manière déraisonnable en suggérant que GPT-2 était trop dangereux pour être diffusé. Puis il a mis la main sur Mythos.
En mars, Carlini s'est adressé à 700 chercheurs en sécurité à San Francisco et leur a montré comment il avait utilisé l'IA d'Anthropic pour découvrir et exploiter des failles critiques dans Ghost, un outil de publication web, et dans Linux, l'un des systèmes d'exploitation les plus scrutés au monde. Il n'avait jamais trouvé de faille dans aucun des deux auparavant. Soudain, il en découvrait de nombreuses. Deux jours plus tard, il a envoyé une note à Anthropic : « Je ne pense pas que nous devrions publier Mythos pour le moment. »
Cette conférence, visionnée aujourd'hui plus de 360 000 fois, a donné le coup d'envoi à ce que les chercheurs ont commencé à appeler « Bugmageddon »
Pourquoi « Bugmageddon » a effrayé Washington
La principale crainte réside dans le passage à l'échelle. Carlini a décrit Mythos comme le premier modèle capable de détecter et d'exploiter des vulnérabilités en masse, et non une par une. Il a appliqué le modèle à Linux, et celui-ci a analysé le code source des milliers de fois, décelant 479 failles là où un humain aurait abandonné. Anthropic affirme que Mythos a désormais trouvé plus de 10 000 failles dans les logiciels qui font tourner l'économie dans son ensemble.
L'avantage défensif est bien réel. Le risque offensif, en revanche, est problématique. Le même moteur qui permet à un fournisseur de corriger son logiciel aide un attaquant à développer l'exploit avant même l'installation du correctif. L'affaire Ghost en est un exemple édifiant : Carlini a signalé la faille, le fournisseur l'a corrigée en février, et quelques semaines plus tard, des pirates ont décrypté le correctif et attaqué plus de 700 sites qui n'avaient pas effectué la mise à jour.
Le rapport d'Amazon qui a déclenché l'interdiction
L'effet domino a commencé par un coup de fil. Le PDG d'Amazon, Andy Jassy, a appelé des responsables de l'administration, dont le secrétaire au Trésor Scott Bessent, pour signaler que des chercheurs d'Amazon avaient trouvé des failles dans les systèmes de sécurité de Fable 5, le modèle qu'Anthropic venait de rendre public. Fable est en réalité Mythos, auquel on a ajouté des mesures de sécurité pour renforcer ses capacités en matière de cybersécurité, de biologie et de chimie. Si ces mesures peuvent être contournées, les utilisateurs obtiennent le modèle brut par une porte dérobée.
Vendredi, le directeur national de la cybersécurité, Sean Cairncross, a lancé un ultimatum : collaborer avec le gouvernement et retirer les modèles immédiatement, sous peine d’interdiction pour les utilisateurs étrangers. Trump a personnellement autorisé cette restriction et a chargé le secrétaire au Commerce, Howard Lutnick, de la mettre en œuvre. Lorsqu’Amodei a expliqué à Lutnick que cette règle empêchait Anthropic de bloquer l’accès au modèle, la réponse aurait été sans détour : « C’est bien le problème. » Anthropic a bloqué tout accès pour se conformer à la réglementation, car l’interdiction concernait également les employés d’origine étrangère, rendant une fermeture partielle impossible.
Ce que cela signifie réellement pour l'anthropologie
Voici l'analyse stratégique. Anthropic a consacré des années à bâtir sa réputation sur la sécurité de l'IA, en présentant la prudence comme un atout, et non comme un handicap. Cette même posture est aujourd'hui utilisée contre elle. David Sacks, conseiller de la Maison-Blanche en matière d'IA, a publiquement accusé l'entreprise de recourir à des « tactiques d'intimidation », et l'argument de l'administration se résume à : vous nous aviez prévenus que c'était dangereux, nous agissons donc en conséquence.
Pour une entreprise valorisée à près de 1 000 milliards de dollars et qui s'apprête à entrer en bourse, une interdiction d'exportation n'est pas un simple accroc en termes d'image. C'est un coup dur porté à la commercialisation de son produit phare et à la crédibilité de ses relations avec les pouvoirs publics. Anthropic rétorque que la décision d'Amazon décrit un jailbreak limité et non universel, que des modèles publics concurrents comme GPT-5.5 peuvent faire de même, et que les équipes de défense utilisent couramment cette capacité. L'entreprise affirme également avoir reçu l'autorisation explicite de déployer Fable.
C’est pourquoi l’administration a dépêché des experts techniques plutôt que des lobbyistes. Carlini, Logan Graham, responsable de l’équipe d’analyse des risques, et Dave Orr, responsable de la sécurité, étaient présents. Le pari est qu’un exposé technique crédible aura plus d’impact sur cette administration, qui a maintes fois déploré qu’Anthropic « parle une langue étrangère »
Les fondateurs précédents devraient surveiller
Abstraction faite des considérations personnelles, il s'agit d'une étape majeure en matière de gouvernance. Début juin, Trump a signé un décret exigeant que les laboratoires d'IA donnent au gouvernement accès aux modèles 30 jours avant leur publication. La fermeture de Fable constitue la première application concrète de cette disposition et établit qu'un modèle novateur peut être retiré du marché avec un préavis de 90 minutes en cas de constatation de sécurité contestée.
Pour quiconque s'appuie sur ces modèles, la leçon à retenir est que le risque réglementaire est désormais un élément central de la chaîne d'approvisionnement de l'IA, et non plus une simple note de bas de page. La distribution peut être interrompue rapidement par l'État, et l'obtention d'une autorisation pourrait ne pas suffire.
Questions rapides
Qui est Nicholas Carlini ? Chercheur principal en sécurité chez Anthropic, il était auparavant connu dans le domaine de la cybersécurité comme le principal sceptique à l’égard des allégations de piratage par l’IA, avant que ses propres recherches ne le convainquent de la réalité de la menace.
Que sont Mythos 5 et Fable 5 ? Mythos est le modèle le plus puissant d’Anthropic. Fable est la version destinée au grand public, dotée de garde-fous pour les domaines à haut risque comme la cybersécurité, la biologie et la chimie. Les deux ont été retirés après l’interdiction.
Pourquoi le gouvernement les a-t-il interdits ? Un rapport d’Amazon affirmait que les garde-fous de Fable pouvaient être partiellement contournés pour révéler des vulnérabilités logicielles, ce qui a suffisamment alarmé les responsables de la Maison-Blanche pour qu’ils imposent des contrôles à l’exportation sur l’accès étranger.
Anthropic approuve-t-il cette interdiction ? Non. L’entreprise qualifie cette découverte de contournement limité, et non complet, et soutient que cette même fonctionnalité existe déjà dans des modèles publics concurrents.
Qu'est-ce que la boucle de Carlini ? Il s'agit d'une technique d'incitation mise au point par Carlini qui amène le modèle à renvoyer des résultats différents à chaque passage dans le code source, ce qui permet de détecter davantage de bogues. Il semblerait qu'il n'apprécie pas ce nom.
L'analyse du modèle d'entreprise
Anthropic a bâti sa réputation sur la confiance, et cet épisode révèle le revers de cette stratégie. Lorsque toute votre marque affirme « nous prenons le danger au sérieux », vous fournissez aux autorités de réglementation la justification parfaite pour intervenir lorsqu'elles le décident. L'entreprise se retrouve désormais dans la position paradoxale de devoir affirmer que son propre produit est moins dangereux que ne le laissaient entendre ses avertissements précédents, tandis que le chercheur qui a tiré la sonnette d'alarme la plus retentissante se rend à Washington pour tenter de calmer les esprits.
Pour les opérateurs, le signal le plus profond concerne le contrôle. Une entreprise valorisée à près de mille milliards de dollars vient de voir son produit phare désactivé par l'État avec seulement 90 minutes de préavis, et son principal argument de défense, l'autorisation préalable, n'a pas suffi. Si votre plan d'affaires repose sur un accès ininterrompu à un modèle novateur, vous vous exposez à un risque politique que vous ne pouvez ni évaluer ni couvrir. Anticipez l'indisponibilité de l'API, car pour les clients d'Anthropic, c'est précisément ce qui vient de se produire.
