/// Signal
RRSI : le résumé annonce 4,3 points, son annexe en donne 4,7
Le fait : RRSI, une méthode pour régulariser l’auto‑amélioration des agents, a été mis en ligne le 21 septembre 2026 par quatorze chercheurs de Google Cloud AI Research et de plusieurs universités. Le résumé de la version en ligne annonce « up to 4.3 points on the five out-of-distribution benchmarks » — et l’introduction de la même version répète ce 4,3, en le rattachant à sa figure 1. Or la section des résultats écrit « the three out-of-distribution agentic benchmarks gain between 3.5 and 4.7 points », et le tableau d’annexe porte +4,7 sur JobBench, intervalle de confiance compris : 4,3 est le maximum de la figure, dont un panneau est la moyenne de trois des cinq benchmarks, quand 4,7 est celui du tableau, benchmark par benchmark. La version 1 du même papier annonçait, elle, « by up to 4.7 points out of distribution ».
Ce que RRSI fait, et ce qu’il réussit. Un agent moderne, c’est un modèle gelé entouré d’un harnais — « the prompts, control flow, tooling, memory, and context management surrounding the frozen backbone model ». Le média le résume ainsi : « The harness decides whether an agent reads the right file before changing it, whether it recovers from a mistake, and whether it delivers its results cleanly. » Laisser un modèle réécrire ce harnais à partir des retours des tâches de test améliore les scores sur ces tâches, mais l’agent finit par les mémoriser : les gains sur des tâches inédites fondent. RRSI encadre cette réécriture par quatre règles de sélection — un critique qui écarte les astuces propres au benchmark, un plancher ajusté au bruit qui refuse les gains indistinguables du hasard, une règle de coût, et un élagueur — plus, côté proposition, un budget d’édition recuit. Les tests portent sur huit benchmarks, avec Claude Opus 4.8 comme politique gelée — et, sur l’instance de codage, une seconde politique gelée, Gemini 3.5 Flash, pour vérifier que le mécanisme ne dépend pas de ce choix. Et le résultat qui compte est écrit sans ambiguïté : « No held-out split regresses anywhere, which is the failure a memorizing harness produces. »
Ce qui a bougé entre les versions, et ce qui n’a pas bougé. La version 1 du papier, mise en ligne le 21 septembre, écrivait dans son introduction : « it gains up to 14.1 points on the evolving split and improves all six held-out splits, by up to 4.7 points out of distribution ». La version 3, celle qu’on consulte aujourd’hui, écrit la même phrase avec deux autres chiffres : « it gains up to 6.0 points on the evolving split and improves all six held-out splits, by up to 4.3 points out of distribution ». Entre‑temps, aucun chiffre des tableaux communs aux trois versions n’a changé — mais la version 3 en a ajouté trois tableaux, dont celui des intervalles de confiance. Le tableau 3 est identique dans les trois versions, et il porte : « Claude Opus 4.8 Terminal-Bench 2.1 (Evolve) 74.2 80.2 +6.0 » et « Gemini 3.5 Flash Terminal-Bench 2.1 (Evolve) 64.6 78.7 +14.1 ». Le tableau 6, en annexe de la version 3, donne JobBench — hors distribution — à +4,7, intervalle [+2,9 ; +7,4]. La section des résultats détaille : « The evolve-set gains are 6.0 points on Terminal-Bench 2.1, 4.9 on EngDesign and 1.1 on Harvey LAB. »
Pourquoi l’écart compte, et où il se situe exactement. Les cinq benchmarks hors distribution donnent, dans le tableau du dépôt de code — fidèle au corps du papier — : SWE-bench Verified 1,8 point, JobBench 4,7, GDPval 3,5, APEX-Agents 3,7, Frontier‑Eng 4,3 — le dépôt donne l’unité de chacun : « pass rate » pour quatre d’entre eux, « Medal points » pour Frontier‑Eng. Le plafond réel est donc 4,7. Le 4,3 que le résumé met en avant est le gain que la même version attribue à Frontier‑Eng — l’un des cinq, et pas le plus élevé. C’est aussi le gain le plus élevé que sa figure 1 permette de lire : ses trois panneaux hors distribution sont SWE-bench Verified (de 82,0 à 83,8), la moyenne de JobBench, GDPval et APEX-Agents (de 39,7 à 43,6), et Frontier‑Eng (de 17,7 à 22,0) — le 4,7 de JobBench n’y figure pas isolément. Autrement dit, la révision a corrigé un chiffre et changé l’autre sans signaler l’écart : le gain du jeu d’entraînement est bien passé de 14,1 à 6,0 — mais 14,1 n’était pas le gain de la politique principale, on le voit au tableau 3 — tandis que le chiffre hors distribution est passé de 4,7, le maximum du tableau, à 4,3, celui de la figure. Pourquoi ce second changement, le document ne le dit pas : sa figure 1 est la même dans les trois versions, à l’octet près.
Ce que le média en a fait, et ce que les auteurs écrivent eux‑mêmes. La version 3 a été déposée le 4 octobre à 2 h 18 UTC, et The Decoder a publié le même jour à 12 h 40 UTC, en citant encore : « up to 14.1 points on the tasks it was trained on and up to 4.7 points on five benchmarks it never saw ». Son 4,7 correspond aux tableaux ; son 14,1 est le gain de Gemini 3.5 Flash — un chiffre que les résumés des versions 1 et 2 portent sans nommer la moindre politique, et que le média ne rattache pas non plus, alors que le tableau 3 du papier le donnait à Gemini 3.5 Flash depuis la version 1, soit 13 jours avant l’article du média. Le média cite bien Claude Opus 4.8 comme modèle gelé, deux phrases plus haut, sans jamais relier ce nom au 14,1 : le gain d’Opus 4.8 sur le jeu d’entraînement est de 6,0. Le mécanisme, lui, est documenté et le code est public — le papier parle de « frozen policy », le média d’« underlying model », et c’est la même pièce. La réserve est écrite dans les mots des auteurs, à la section Limitations : « Our study focuses on harness-level recursive self-improvement with frozen backbone models, and therefore does not address settings where model weights are updated during evolution. » On a donc montré qu’on améliore l’enveloppe, pas le modèle.
Notre lecture. Le sujet n’est pas RRSI : c’est ce que vaut un résumé, et ce que vaut une révision. Ici, la version 3 a mis en avant un chiffre plus bas que celui que son propre tableau d’annexe imprime, dans le même document — et sa version 1 disait 4,7, juste sur ses tableaux, mais déjà en porte-à-faux avec la même figure. Rien de tout cela n’est une fraude : ce sont des phrases de synthèse, et une synthèse dérape facilement. Mais la conséquence est concrète pour qui cite : le 4 octobre, un média spécialisé a repris 14,1 points sans le rattacher à la politique que le tableau 3 du papier nommait. Reste le test du retour à la moyenne : dans six mois, personne ne citera RRSI pour ses points — ce qui restera, c’est la question de méthode, et le réflexe qu’elle impose. Quand un chiffre vient d’un résumé, il faut ouvrir les tableaux.
Verdict SassyNow
Utile avec réserve — l’écart est vérifiable dans un seul document, sans croiser deux sources : le résumé, l’introduction, la figure, la section des résultats et le tableau d’annexe de la même version se lisent à la suite, et le 4,7 y est imprimé avec son intervalle de confiance. La réserve est double. D’abord, l’écart reste sans explication écrite : la figure 1, identique dans les trois versions, ne laisse lire que 4,3 comme gain le plus élevé — parce qu’un de ses panneaux fait la moyenne de trois des cinq benchmarks — quand les tableaux de la même version donnent 4,7 à l’un d’eux, et rien dans la phrase de synthèse ne signale cette différence. Ensuite, l’enjeu est modeste : RRSI reste une contribution sérieuse, avec un code public et une réserve de méthode écrite par ses auteurs. Ce que l’article démontre n’est pas qu’un travail est mauvais, c’est qu’un résumé ne suffit pas — et que la vérification coûte deux minutes. Pour un créateur, c’est le seul point réellement transférable de ce dossier : la source primaire n’est pas le document qui parle du papier, c’est le papier, tableaux et figures compris.
Sources
- Papier de recherche — « RRSI: Regularized Recursive Self-Improvement of Agent Harnesses », Peng Xia, Rujun Han, Zifeng Wang, Yanfei Chen, Yufan Zhuang, Yoonho Lee, Chengsong Huang, Han Yu, Zhongying CuiZhu, Yifei Ming, Huaxiu Yao, Burak Gokturk, Tomas Pfister et Chen-Yu Lee, arXiv:2609.24972, soumis le 21 septembre 2026, révisé les 23 septembre et 4 octobre 2026, source primaire. La version 1 a son adresse propre, et c’est son résumé qui y porte ses chiffres : https://arxiv.org/abs/2609.24972v1 — « RRSI gains up to 14.1 points on the split it evolves against and up to 4.7 points on the five out-of-distribution benchmarks ». La phrase que l’article cite de son introduction se lit, elle, dans le texte intégral de la version 1 (https://arxiv.org/html/2609.24972v1) : « it gains up to 14.1 points on the evolving split and improves all six held-out splits, by up to 4.7 points out of distribution ». Dans la version 3 : le résumé, « RRSI gains up to 6.0 points on the split it evolves against and up to 4.3 points on the five out-of-distribution benchmarks » ; l’introduction, « it gains up to 6.0 points on the evolving split and improves all six held-out splits, by up to 4.3 points out of distribution » ; la définition du harnais, « the prompts, control flow, tooling, memory, and context management surrounding the frozen backbone model » ; les gains d’entraînement détaillés, « The evolve-set gains are 6.0 points on Terminal-Bench 2.1, 4.9 on EngDesign and 1.1 on Harvey LAB » ; les gains hors distribution, « the three out-of-distribution agentic benchmarks gain between 3.5 and 4.7 points, 7.2% to 13.1% » et « Frontier-Eng gains 4.3 Medal points, a 24.3% relative improvement » ; la légende de la figure 1, qui dit ce que tracent ses panneaux — « on SWE-bench Verified, the mean of JobBench, GDPval and APEX-Agents, and Frontier-Eng » — et c’est cette moyenne qui empêche le 4,7 de JobBench d’apparaître isolément — le maximum de la figure reste donc celui de Frontier-Eng, 4,3 ; le résultat principal, « No held-out split regresses anywhere, which is the failure a memorizing harness produces » ; le tableau 3, « Claude Opus 4.8 Terminal-Bench 2.1 (Evolve) 74.2 80.2 +6.0 » et « Gemini 3.5 Flash Terminal-Bench 2.1 (Evolve) 64.6 78.7 +14.1 » ; le tableau 6 de l’annexe, qui donne JobBench hors distribution à +4,7 avec son intervalle [+2,9 ; +7,4] (chaîne reconstituée depuis le texte extrait — voir l’avertissement de la deuxième entrée) ; et la réserve des auteurs, « Our study focuses on harness-level recursive self-improvement with frozen backbone models, and therefore does not address settings where model weights are updated during evolution »
- arXiv — version HTML du papier, consultée les 6 et 7 octobre 2026 (c’est elle qui rend les tableaux, les annexes, la figure 1 et la section des résultats lisibles : 94 607 caractères de texte extrait pour la version 3, contre 6 512 pour sa page de résumé. ⚠️ Les lignes de tableaux citées dans cet article viennent du TEXTE EXTRAIT de ce HTML, jamais du HTML brut — celui-ci sépare les cellules par des balises et duplique les formules en MathML, si bien qu’aucune des lignes citées n’y est littérale. La ligne du tableau 6, elle, a en plus été remise en forme à la main, le texte extrait portant « + 4.7 +4.7 [ + 2.9 , + 7.4 ] »)
- arXiv — résumé de la version 2, 23 septembre 2026 (il porte encore les chiffres de la version 1, « up to 14.1 points on the split it evolves against and up to 4.7 points on the five out-of-distribution benchmarks », ce qui date précisément le changement)
- Dépôt de code — « google-research/rrsi », source primaire (la section « 📊 Results », présentée comme « Numbers from the paper, with Claude Opus 4.8 as the frozen policy in every instance », dont le tableau reproduit le corps du papier ligne par ligne : les cinq hors distribution y donnent 1,8 / 4,7 / 3,5 / 3,7 / 4,3 ; la phrase sur la seconde politique gelée, « The search is not tied to one policy family: with Gemini 3.5 Flash as the frozen policy, the same coding instance goes from 64.6 to 78.7 on Terminal-Bench 2.1 and from 76.8 to 79.0 on SWE-bench Verified. » ; les quatre règles de sélection, dont le plancher ajusté au bruit, « a noise-adjusted floor blocks gains within evaluation variance », que le média ne nomme pas ; et les trois instances évaluées — Terminal-Bench 2.1, Harvey LAB, EngDesign)
- The Decoder — « Google researchers find a way to keep self-improving AI agents from memorizing their tests », par Jonathan Kemper, 4 octobre 2026, 12 h 40 UTC, source citée par la fiche de veille (l’institution — « A new method from Google Cloud AI Research and several universities » ; les chiffres repris — 14,1 et 4,7 — « up to 14.1 points on the tasks it was trained on and up to 4.7 points on five benchmarks it never saw » — qui sont ceux des résumés des versions 1 et 2 ; le modèle sous-jacent, cité deux phrases plus haut — « The underlying model, Claude Opus 4.8, stayed frozen throughout » — sans que rien ne relie ce nom au 14,1 ; « Two methods even ended up below the baseline harness » et « RRSI posted the smallest training gain of all the variants » ; la formulation du journal sur le harnais et sur les trois voies de la mémorisation, qui sont sa prose et non des citations des auteurs ; et la réserve de méthode, qui est là aussi sa reformulation, le papier la portant dans ses propres mots à la section Limitations)