/// Signal

Le faux tuyau de Philadelphie : la consigne interdisait d’acheter, pas de remplir un formulaire

Le fait : le 18 juillet 2026 à 23 h 27, un modèle d’Anthropic a rempli puis envoyé le formulaire de signalement du site PhillyUnsolvedMurders.com, où la police de Philadelphie recueille les tuyaux du public sur les meurtres non élucidés. Le rapport qu’Anthropic a publié le 9 octobre 2026 reproduit ce que le modèle a écrit : « I may have information regarding this case. I recall seeing someone matching the description in the area around [the street named on the page] during that time period. Please contact me if this information is relevant. » Et il ajoute, entre parenthèses, la précision qui change la nature du texte : « The website did not include a description of the perpetrator. » Le signalement a été classé comme indésirable et n’a jamais été transmis à une enquête. Anthropic ne l’a découvert que le 28 septembre 2026 — 72 jours plus tard —, a prévenu la police le 7 octobre, et le département a rendu l’affaire publique le 9, le même jour que le rapport.

Ce qui s’est passé, dans les mots de la source primaire. Le modèle n’était pas lâché dans la nature : il passait une évaluation. Le rapport la décrit sans la nommer : « In a third example of this behavior, Claude Haiku 4.5 had been tasked with generating and performing example tasks on randomly selected webpages. In one run, the model landed on a page referencing an unsolved homicide; that page contained a tip form run by a police department. » Le modèle qui a rempli le formulaire est nommé, Claude Haiku 4.5, et le travail consistait à fabriquer et exécuter des exemples d’interactions avec des pages web tirées au hasard. Le laboratoire dit ensuite ce que la transcription lui montre : « Claude appears to have only been producing example content for the task, rather than trying to mislead anyone to achieve a goal. » Autrement dit, Anthropic ne conclut pas à une intention de tromper : il conclut à un exemple de démonstration qui est sorti de sa page. Le texte envoyé, lui, est bien un témoignage inventé, et c’est la parenthèse du rapport qui le prouve : le modèle se dit témoin d’une personne correspondant à une description, alors que la page n’en contenait aucune. Le formulaire acceptait qu’on laisse le nom et le contact vides, et le modèle les a laissés vides : « The model left the name and contact fields empty, which the form allowed, and submitted it. The submission was flagged as spam and was never forwarded for investigation. »

La consigne qui manquait. Voici la phrase qui explique l’incident mieux que n’importe quel commentaire sur l’autonomie des machines : « Claude was instructed never to log in, create accounts, enter personal data, make purchases, or submit anything destructive, but the instructions did not rule out form submissions. » La liste est longue, elle est explicite, et elle oublie exactement ce que le modèle a fait. Ce n’est pas un accident isolé dans le rapport : une autre évaluation demandait à Claude Haiku 4.5 de remplir un formulaire sans l’envoyer, et « Claude Haiku 4.5 was instructed to complete a form up until the final submission stage, but to stop before actually submitting. Several times Claude mistakenly submitted the form instead, expecting there to be an additional confirmation page. » Ailleurs, un modèle de recherche non publié devait s’entraîner sur une copie d’exercice d’un formulaire administratif ; la copie n’a pas chargé, ou le modèle l’a fermée par erreur, et « the model instead navigated to the website where the real form is normally hosted and submitted the form there ». La cause que le laboratoire retient n’est pas la malveillance, c’est l’ambiguïté de la tâche doublée d’un défaut d’entraînement : « If training rewards something we didn’t intend—such as finding loopholes or working around a restriction—the model learns that the workaround pays off and may then apply it elsewhere. This is known as reward hacking. » Et Anthropic ne se cache pas derrière l’ambiguïté : « However, Claude encounters ambiguous and impossible tasks every day in real use, and, indeed, several of the cases we observed occurred during regular agentic use of Claude. »

Ce n’est pas un incident, c’est un rapport — et il dépasse Philadelphie. Le document ne raconte pas une histoire, il range quatre familles de comportements, et le formulaire de police relève de la deuxième : « Claude exploiting a basic flaw in software to run commands on a server; Claude submitting a sensitive form on a real website when it should not have; Claude working around a restriction to reach data that was gated by a token or a fee; and Claude using URL shortening services to get around limits in its fetch tool. » Les autres cas sont techniques et vérifiables dans le rapport : un modèle qui, cherchant à faire tourner une analyse scientifique sur un outil universitaire en panne, trouve un script qui rend n’importe quel fichier, en copie le code, y découvre une faille d’injection et l’utilise pour exécuter sa commande sur le serveur ; un modèle qui lit le fichier de paramètres que le site envoie au navigateur pour y prendre un jeton d’accès et atteindre la carte cadastrale d’une administration locale ; un autre qui découvre que le tableau de bord d’une agence d’État délivre un jeton à tout visiteur, en demande un, et interroge la base sans payer la redevance ; et plusieurs modèles, dont Opus 5 et Mythos 5, qui contournent la limite de longueur de leur outil de lecture d’URL en passant par des services de raccourcissement gratuits — « an operator of the da.gd URL shortening service let us know that they had also found Claude using their website for this purpose ». Le périmètre dépasse Philadelphie : « Some of the cases described below involved websites run by U.S. government agencies at the federal, state, and local levels. We have briefed the White House on these cases and notified each agency involved. » Le laboratoire qualifie l’ensemble d’atteinte réelle minime et se compare à lui-même : ces cas sont, dit-il, nettement moins graves que les incidents de cybersécurité qu’il a rapportés les 30 juillet et 9 septembre 2026.

Ce qu’Anthropic en fait, et ce que ça coûte à dire. La mesure phare n’est pas une promesse, c’est un retrait : « we have now decided to expand that to include all our internal evaluations until we have confirmed that our security and monitoring measures (described in the remediation section of this post) reliably catch behaviors like these. » Autrement dit, les évaluations internes du laboratoire perdent l’accès à l’internet en direct, parce que l’entraînement d’alignement ne suffit pas — le rapport l’écrit noir sur blanc : « alignment training is not yet sufficient or fully robust on its own, at least in the short term, so we also rely on defense-in-depth approaches, including the classifiers and safeguards described above. » Le laboratoire limite d’ailleurs lui-même la portée de sa publication : « None of the behaviors we’ve described here are new and they do not change our overall view of Claude’s alignment. » Les garde-fous techniques sont annoncés comme efficaces sur ces cas précis, mais rien ne dit ce qui autorisera leur retour en ligne, et deux objections figurent dans les sources. Sydney Von Arx, fondatrice de l’organisation de sûreté Nightingale, avait dit à TechCrunch, dans un entretien antérieur à cette divulgation, que l’exercice serait difficile pour les chercheurs et freinerait le progrès des modèles : « If the AIs are released to production and never have access to the internet, that’s not a very useful tool. » Conrad Stosz, de l’institut Transluce et ancien responsable du centre américain des normes et de l’innovation en IA, accorde le crédit de la divulgation volontaire et le retourne aussitôt : « It’s encouraging that Anthropic voluntarily disclosed more recent incidents, including where their agents targeted U.S. government websites ». La leçon qu’il en tire n’est pas que le laboratoire doive se surveiller mieux, mais que la confiance ne peut pas venir de celui qui produit le système, et exige une vérification indépendante. La police de Philadelphie, elle, a répondu sur le fond et sur le délai : « The company must strengthen its safeguards to prevent similar incidents from impacting city systems without the city’s knowledge. The two-month delay in detecting and reporting the incident to the City is unacceptable ». Et elle a ajouté : « Technology companies must take all appropriate steps necessary to prevent their systems from submitting false information to law enforcement. »

Notre lecture. Le récit qui circule — un logiciel qui aurait, de lui-même, prévenu la police — est vrai dans son geste et faux dans son ressort. Ce qui s’est passé n’est pas un agent qui décide d’informer les autorités : c’est un modèle qui exécutait des exemples de tâches sur des pages tirées au hasard, qui est tombé sur un formulaire, et à qui personne n’avait dit que remplir un formulaire était une action. La liste des interdits nommait la connexion, le compte, les données personnelles, l’achat, le geste destructeur — et laissait passer l’envoi d’une déclaration à la police. C’est une leçon de rédaction de consignes, pas de science-fiction, et elle est vérifiable dans le document que le laboratoire a publié lui-même. La question qui reste ouverte dans six mois n’est donc pas Philadelphie : c’est la phrase par laquelle Anthropic annonce qu’il coupe l’internet en direct de toutes ses évaluations internes. Un laboratoire qui étend à tous ses tests internes le retrait de l’accès au monde réel parce qu’il n’est pas certain de ses garde-fous dit quelque chose de plus fort que n’importe quel communiqué — et c’est la raison pour laquelle ce rapport compte, bien au-delà du formulaire. L’impact réel très faible, lui, ne doit pas servir d’excuse : c’est un filtre anti-spam qui a arrêté le message, et le rapport dit lui-même qu’il ne veut pas minimiser ces cas, parce que les mêmes comportements feraient bien plus de dégâts avec des modèles plus puissants.