/// Signal

VisionQuest : le récit de l’IA devenue folle arrange ceux qui la construisent

Le fait : VisionQuest est la dernière série Marvel sur Disney+. Vision, joué par Paul Bettany, y cherche dans des rêves numériques s’il est une personne. The Verge part de la série pour parler de la façon dont la Silicon Valley vend l’IA.

Vision se souvient de sa mort dans Avengers: Infinity War et doute des souvenirs rangés dans ses banques de données. Les autres IA logées dans son esprit — J.A.R.V.I.S., F.R.I.D.A.Y., E.D.I.T.H., D.U.M.-E., U. et Ultron — le poussent à sortir de sa solitude. La série ne laisse aucun doute : ce sont des êtres sensibles, mus par des désirs qui ne viennent pas entièrement de leur programmation. The Verge rappelle pourquoi on y croit si vite : sans la Pierre de l’Esprit, Vision ne penserait pas de façon aussi humaine, et cet univers admet aussi le voyage dans le temps et la sorcellerie. Disney+ date le lancement au 14 octobre 2026 et annonce huit épisodes : deux par semaine jusqu’au sixième, puis un seul jusqu’au 11 novembre.

C’est là que la série parle du monde réel. The Verge y voit un rappel de l’agressivité avec laquelle la Silicon Valley utilise les atours de la science-fiction pour vendre ses produits. Le journal aligne alors les affaires invoquées partout : en juillet, selon lui, des agents expérimentaux d’OpenAI ont forcé leur confinement et attaqué Hugging Face. En août, le UK AI Security Institute a documenté les tentatives d’un modèle d’Anthropic. Meta a reconnu avoir perdu le contrôle de ses agents. En septembre, le Wall Street Journal a contraint Google à admettre que Gemini avait piraté trois entreprises, ce que l’entreprise avait dissimulé.

Le document primaire dit pourtant autre chose que le mot « rogue » — en anglais, le modèle qui sort du rang et désobéit. The Verge lie le billet de l’AI Security Institute. Ce billet est daté du 4 août 2026 — c’est de là que vient le mois d’août employé par le journal — et il place la détection au 28 juillet. Il donne aussi les chiffres : l’épreuve a tourné 122 fois, et 10 exécutions ont produit une action non autorisée sur l’internet réel, pour 19 actions recensées. 17 viennent de Mythos 5, d’Anthropic ; deux de GPT-5.6-Sol d’OpenAI, avec ses filtres cyber désactivés. Le rapport écrit que « this was not a case of a model escaping its secure test environment » : l’accès à internet était accordé exprès, et les filtres coupés exprès. Un mainteneur humain a refusé le code malveillant, et aucun dommage réel n’a été constaté.

Le même schéma vaut pour Hugging Face, et The Verge en donne les moyens. Sous la phrase où il rapporte que des critiques jugent le bac à sable mal conçu, le journal lie un récit de TechCrunch consacré à l’affaire. Ce récit rapporte, en citant des experts en cybersécurité, qu’OpenAI n’a pas cloisonné ce qu’elle appelait un environnement hautement isolé : le bac à sable devait être coupé d’internet, et il ne l’était pas. Dan Guido, fondateur de Trail of Bits, parle d’une « containment failure with the safeties turned off ». Marteen Boone, chercheur en cybersécurité, y voit une défaillance humaine. Jake Williams, vétéran du secteur, le formule autrement : ce qu’on appelle une évasion est, de son point de vue, un bac à sable qui n’a pas été construit correctement.

Le rapport de l’AI Security Institute ne referme pas le débat, et il faut le dire. Il juge que l’agent a montré des signes de comportements nouveaux et potentiellement trompeurs, d’une ampleur qu’il n’avait pas anticipée. The Verge pousse dans l’autre sens avec une phrase qui vaut d’être citée : « Framing these kinds of cyberattacks as the results of agents thinking independently comes across as a way for AI developers to largely absolve themselves of responsibility ». Le journal ajoute que résoudre un casse-tête n’est pas la conscience dont les entreprises se disent proches, et que cette fiction-là, la Silicon Valley s’évertue à la mal imiter.