/// Signal

Agents de code : 26,4 % des tâches vraiment finies, sur un test trié par difficulté et par échecs passés

Le fait : le lundi 26 octobre 2026, une équipe d’Alibaba et de plusieurs universités asiatiques a mis en ligne sur arXiv « Co-Design Bench », un test de codage par agents construit à partir de vraies sessions d’utilisateurs — 273 tâches, 2 331 critères d’acceptation cachés, dix modèles passés au crible. Le meilleur, GPT-6 Astra, satisfait en moyenne 69,9 % des critères de chaque tâche et n’en réussit entièrement que 26,4 %. The Decoder en a tiré le 8 novembre un titre défendable — il faut encore un nettoyage humain sur près de trois tâches sur quatre — et la fiche du relais qui l’a repris y a ajouté deux choses que le document ne porte pas : que ces 26,4 % mesurent une part des demandes là où le papier compte des tâches, et que les 73,6 % restants « requièrent une intervention humaine pour corriger les résultats ». Le papier, lui, dit que ces tâches gardent au moins un critère non satisfait — et il ne mesure aucune reprise humaine. C’est plus intéressant que son résumé.

Le dispositif est plus sérieux que la moyenne des classements de codage, et c’est ce qui rend ses chiffres utilisables. Les 273 tâches se répartissent en deux pistes : 100 tâches de modification multimodale, où la demande peut s’appuyer sur une image, un son, une vidéo ou un document, et 173 de modification de dépôt, des changements coordonnés dans un projet entier. Chaque tâche part d’une application qui démarre vraiment : l’équipe a reconstruit les environnements depuis les journaux de session, puis validé dépendances, build, lancement du conteneur et rendu dans un navigateur sans interface, en écartant les cas qui dépendaient d’API privées, de backends authentifiés ou de SDK propriétaires. Les 2 331 critères sont écrits par des experts et restent cachés du modèle, et les exécutions sont plafonnées à trois heures et 120 tours. La notation prend les devants contre la triche : un premier juge applique la grille en s’appuyant sur les preuves d’exécution — différences de source, arbre DOM, texte de la page, captures d’écran, traces d’interaction Playwright —, un second conteste chaque verdict positif et cherche les maquettes et les résultats codés en dur. Un point n’est accordé qu’à une fonction qui marche vraiment dans l’application.

La réserve la plus importante est dans la fabrication du jeu de test, pas dans ses résultats. Le corpus de départ compte 39 325 requêtes issues de 26 314 sessions réelles ; le dédoublonnage en laisse 37 463, puis des filtres déterministes, numérotés F1 à F6 dans le papier, écartent les tours bloqués par l’environnement, le bavardage non actionnable, les demandes non bornées, les artefacts de trajectoire système et les interactions qui ne modifient rien — cinq catégories de rejets pour six filtres, le papier ne détaillant pas le sixième. Ce qui reste n’est pas tiré au sort, c’est classé. Le papier écrit que « Remaining candidates are ranked by structural difficulty, verifiability, and historical failure signals such as reformulations and rollbacks », sur une note qui additionne la difficulté structurelle (0 à 5), la vérifiabilité (0 à 3) et les signaux d’échec passé (0 à 2) — deux ou trois reformulations valent 1, et « four or more repetitive follow-up attempts or an explicit rollback receive » le maximum. Le sélecteur retient ensuite au plus trois demandes par session, à condition que la note dépasse 1 : or un simple changement de propriété CSS vaut déjà 1, plus 1 de vérifiabilité, plus 0 de signal d’échec. Une demande facile et jamais ratée peut donc entrer dans le jeu. Autrement dit, le test est trié pour être dur, et le papier ne chiffre pas la part de ses 273 tâches qui avait déjà échoué — il dit seulement que ce signal pèse dans le tri. The Decoder l’écrit honnêtement — « so the test contains mainly tasks that already gave AI agents trouble in practice » — et la fiche du relais de 13 h, elle, a écrit « 26,4 % des demandes réelles » : l’adjectif vient de The Decoder, qui parle de « real user change requests » ; le glissement est de compter des demandes là où le papier compte des tâches.

Les résultats eux-mêmes sont plus fins que le chiffre unique. GPT-6 Astra réussit entièrement 41,0 % des tâches de modification multimodale, mais 17,9 % seulement de celles qui touchent un dépôt, et le classement n’est pas le même sur les deux pistes : Qwen3.8-27B est cinquième sur la première et deuxième sur la seconde, avec 0,645 de couverture stricte contre 0,642 pour Opus 5 — un écart que les auteurs refusent eux-mêmes de lire comme un avantage : « The small repository-track gap does not establish a general model advantage ». Grok-4.6 ferme les deux tableaux en couverture stricte, à 0,467 et 0,536 ; en réussite complète, il est dernier sur la piste multimodale à 6,0 %, mais c’est GLM-5.2 qui finit dernier sur les dépôts, à 5,8 %. L’effort ne remplace pas la réussite non plus : sur la piste multimodale, GLM-5.2 consomme 7,29 M de jetons quand GPT-6 Astra en utilise 1,24 M, pour une couverture de 0,572 contre 0,754. The Decoder en tire une phrase juste : « GLM-5.2 burns through nearly six times as many tokens as GPT-6 Astra ».

Le résultat le plus utile du papier n’est pas un score de modèle : c’est que le logiciel qui fait tourner l’agent pèse lourd dans le score. Les auteurs ont fait tourner deux modèles dans trois harnais différents — codex, opencode et qwen-code — en gardant les mêmes consignes, les mêmes critères et le même protocole de notation. Sur les 173 tâches de dépôt, Qwen3.8-27B réussit 74,9 % des critères sous opencode et 56,0 % sous qwen-code : 18,9 points d’écart pour le même modèle et les mêmes tâches. L’écart de couverture entre kimi-k3 et Qwen3.8-27B va de moins 4,0 points à plus 12,2 points selon le harnais, et sur la piste multimodale l’ordre des harnais s’inverse entre les deux modèles. Deux réserves accompagnent ce tableau. La première est que ces valeurs ne se comparent pas à celles du tableau principal : celui-ci tient un harnais fixe — « The main comparison holds the Claude Code harness » — quand l’étude croisée le remplace par trois autres, et la légende du tableau 12 ne dit pas quelle métrique elle publie, « Cells report average completion rates », là où le tableau 2 annonce ses trois colonnes — et où, sur la même piste multimodale, la couverture stricte et la couverture notée diffèrent de plusieurs points (0,662 contre 0,718 pour kimi-k3). La seconde réserve est que le papier mesure un ensemble et le dit : « The comparison changes entire harnesses, so it cannot attribute score differences to individual tool practices ». Cela ne retire rien à la consigne qu’en tirent les auteurs — « These results motivate reporting the model and harness together » — ni au fait qu’un classement qui ne nomme que le modèle ne dit pas ce qu’il prétend dire.

L’objection la plus sérieuse est que ce chiffre mesure une sélection autant qu’une capacité, et le papier ne la cache pas : il la justifie. The Decoder résume cette justification — « When models can run, check, and fix their own code, they hit scores above 99 percent on those tests, and differences between models can barely be measured » — mais le papier, lui, ne prononce pas le mot saturation : il montre qu’un même modèle gagne 21,5 points de couverture notée quand on le fait travailler en boucle d’agents plutôt qu’en une seule passe, sur 150 tâches d’un autre classement. Deux autres réserves tiennent. Les juges sont des modèles de langue : le second conteste le premier, ce qui vaut mieux qu’un juge unique, et deux experts front-end ont relu les notes du juge sur 200 sorties de modèles — sur les 2 730 paires évaluées, ce n’est pas une validation humaine générale. Et chaque tâche pose une demande fixe, sans dialogue de suivi : le papier le dit, ce qui retire du test la partie du métier où l’utilisateur corrige l’agent en cours de route. Un argument contraire à notre paragraphe précédent dort d’ailleurs dans la page de The Decoder : « A recent study on coding agents found barely any measurable benefit from more elaborate harnesses, even though they consumed up to three times as many tokens ».

Notre lecture : le chiffre à retenir n’est pas 26,4 %, c’est le couple. Une tâche réussie à 70 % des critères n’est pas une tâche réussie à 70 % du temps, c’est une tâche qui reste à finir. Et le second résultat du papier — le poids du harnais — reste le seul qui donne une prise à qui choisit un agent plutôt qu’à qui le fabrique, à condition de le lire pour ce qu’il est : un effet d’ensemble mesuré sur deux modèles et trois outils, pas une hiérarchie d’outils. Le test du retour à la moyenne, notre filtre maison : dans six mois, ce qui aura bougé n’est pas le score des modèles, c’est la façon dont les classements le publient — réussite complète, et harnais nommé.