/// Signal

Gemini 4 Carbon est n°1 sur les benchmarks — et son accès reste fermé, comme celui d’Argon il y a quatre semaines

Le fait : le 28 octobre 2026, Google a annoncé Gemini 4 Carbon, qu’il présente comme « our strongest model with state-of-the-art cybersecurity and long horizon capabilities ». Le modèle prend la première place de l’Artificial Analysis Intelligence Index dans sa version 5.0, avec un score de 59, et Google annonce des scores de tête sur trois épreuves de cybersécurité. Il est proposé au même tarif d’introduction qu’Argon — 2 dollars le million de jetons en entrée, 10 en sortie —, un tarif qui double après la période d’introduction. Et il n’est pas disponible : à partir de cette semaine, Google l’ouvre à un sous-ensemble de défenseurs de la cybersécurité, puis à des partenaires de confiance par son programme Fairwind, sans donner aucune date pour les développeurs, les entreprises et le grand public. La fiche de veille qui a fait remonter ce sujet annonçait qu’il n’existait aucune source primaire : le billet officiel existe, il est lisible, et c’est lui qui porte tout ce qui suit.

Ce que le classement mesure, d’abord, parce que c’est la seule affirmation du dossier que Google ne produit pas lui-même. Le billet écrit : « Carbon ranks #1 on the recently updated v5.0 of Artificial Analysis Intelligence Index at 59. » L’index appartient à Artificial Analysis, un tiers, et The Verge, qui a consulté le classement, y voit « Claude Opus 5.5 and GPT-6 Astra trailing behind ». Deux précisions changent la lecture. La première est dans la phrase de Google : la version 5.0 de l’index a été « recently updated », donc durcie — être premier sur une grille qui vient de changer n’est pas la même chose qu’être premier sur celle du mois dernier, et le billet ne donne pas l’écart avec le deuxième. La seconde est une parenthèse que la reprise n’a pas gardée. Google annonce trois scores de cybersécurité — « SEC-bench Pro (88.2%) for finding vulnerabilities, ExploitGym (54.8%) for exploitation, and CWE-bench (71.0%) for patching » — et les introduit par cette phrase : « Carbon excels across key external benchmarks (evaluated without guardrails) ». Autrement dit, les chiffres décrivent une configuration que Google ne distribue pas à tout le monde. C’est le prolongement exact de ce que nous écrivions le 1er octobre sur Argon, dont Google prévoyait de livrer une version sans garde-fous cyber aux défenseurs qu’il choisit : ici, la parenthèse n’est plus une exception accordée à quelques-uns, c’est la façon dont les scores sont mesurés.

Ce qui n’est pas vérifié, ensuite, et il faut le dire avant les chiffres qui impressionnent. Les trois épreuves sont externes — SEC-bench Pro, ExploitGym, et le CWE-bench de Collinear — mais les scores sont ceux que Google publie, et nous n’avons trouvé aucun retest indépendant. Le seul tiers nommé dans le dossier confirme une hiérarchie, il ne la reproduit pas : Wiz, plateforme de sécurité cloud, « also observes Carbon leading on benchmarks for web penetration testing », ce qui est un témoignage de client sur son propre terrain. Les deux autres chiffres de performance sont des mesures internes, et Google l’écrit : « more than 2x uplift in success rate for generating secure code over Argon », et une équipe Chrome qui rapporte avoir vu Carbon « performed more than 10X better » qu’un grand modèle frontier d’un autre laboratoire pour produire des correctifs de haute qualité — laboratoire que Google ne nomme pas. Un chiffre sans nom n’est pas un chiffre vérifiable, et nous ne le remplacerons pas à sa place. Reste une mesure publique, sur le développement web, et elle ne place pas Carbon en tête : « Carbon jumps +89 elo points to land at #4 (1768) on WebDev Arena ». Quatrième, donc, avec le gain de 89 points — le seul chiffre du dossier qui décrive une progression plutôt qu’un rang.

Les chiffres que la reprise n’a pas gardés sont pourtant les plus intéressants, parce qu’ils ne parlent pas de ce que le modèle sait faire, mais de ce qu’il fait quand il ne sait pas. Google écrit que Carbon « reduced successful cheating on Terminal-Bench 4.0 to 0.0%, with attempts to cheat dropping to 0.4% » : le modèle tente encore, et n’y parvient plus. Dans ses environnements de code internes, il mesure que « high-severity misalignment alerts dropped by almost 80% ». En test interne toujours, Carbon « cuts unsupported claims by approximately 2x over Argon » — les affirmations non étayées divisées par deux — et il a « reduced overreach by 26% and under-service by 29% », c’est-à-dire moins d’empiètement sur ce qui n’était pas demandé et moins de tâches laissées en plan. Le seul de ces chiffres adossé à un banc tiers nommé est celui de l’injection de prompt, et il est spectaculaire : sur l’Indirect Prompt Injection Benchmark de Gray Swan, où « Argon previously led » avec « a very low 0.7% attack success rate », Carbon atteint « 0.0% — resisting every evaluated attack attempt ». Il faut lire l’ensemble pour ce qu’il est : des résultats d’entreprise sur des tests d’entreprise, à l’exception du dernier. Ils restent les seuls du dossier à décrire ce qui compte à l’usage — un modèle qui écrit une réserve au lieu d’une phrase fausse, et qui demande au lieu de deviner —, et c’est précisément ce que les trois scores de cybersécurité ne mesurent pas.

L’accès, maintenant, et c’est là que les sources ne disent pas la même chose. Google écrit : « Starting this week, we will make Carbon available to a subset of cyber defenders and will gradually phase access to additional trusted partners through our Fairwind Program », en précisant participer à « the U.S. government’s voluntary process for pre-release model testing ». The Verge écrit de son côté que le modèle est « currently only available to a select group of cybersecurity defense companies », donc déjà en service. « Starting this week » et « currently only available » ne sont pas la même affirmation, et nous suivons la source primaire : à partir de cette semaine. Le programme Fairwind, lui, n’est pas nouveau — nous le décrivions le 1er octobre à partir de sa page officielle, avec ses règles et ses partenaires —, et Carbon est le deuxième modèle frontier que Google y fait entrer. Un détail de calendrier résiste, et nous ne le tranchons pas. Ce billet-ci dit qu’Argon « was launched two weeks ago », ce qui situerait le lancement vers le 14 octobre ; le billet d’annonce que nous citions le 1er octobre est daté du 30 septembre ; et The Verge parle d’Argon comme sorti « earlier this month ». Les trois formulations ne se recouvrent pas. Il y a peut-être eu, entre l’annonce et la mise à disposition, une ouverture que nous n’avons pas datée, et nous préférons l’écrire plutôt que choisir une date.

Le prix, enfin, parce que c’est ce qui circule le plus vite et ce qui reste le plus incomplet. « Gemini 4 Carbon will launch at the same introductory price » — puis, après l’appel de note du billet — « as Argon at $2 per million input tokens and $10 per million output tokens, with cached input tokens priced at 95% off input token price. » La phrase est reprise partout et elle est vraie. La note de bas de page du même billet ne l’est pas moins : « After the introductory period expires, the price of $4 per 1M input tokens and $20 per 1M output tokens will apply. » Le tarif affiché double donc, et Google ne dit pas quand. Ce n’est pas une découverte — nous l’écrivions déjà le 1er octobre pour Argon, sur le même dispositif —, et c’est justement ce qui rend le motif lisible : en quatre semaines, Google a mis deux modèles frontier en circulation avec le même emballage, un tarif d’appel identique, un accès choisi et aucune date d’ouverture. Ce qui change cette fois, c’est que le tarif d’appel s’applique à un modèle qui prend la première place d’un classement public.

Notre lecture, et le test du retour à la moyenne. La phrase que tout le monde reprend — Google reprend la première place — est exacte sur la grille d’Artificial Analysis, et elle laisse de côté les deux éléments qui décident de ce qu’un lecteur peut en faire : les scores de cybersécurité sont mesurés sans les garde-fous qui équiperont la version distribuée, et le modèle n’est pas disponible. Après Argon, ce n’est plus une précaution de lancement mais une doctrine de sortie : deux fois de suite, le modèle le plus avancé de Google part d’abord chez des défenseurs, dans un cadre de test volontaire auprès du gouvernement américain, et l’ouverture aux développeurs reste une promesse sans date. La question de fond ne porte donc pas sur le score. Elle porte sur ce que devient un classement quand les modèles qui le gagnent ne sont pas accessibles : un palmarès de ce que les laboratoires savent faire, et non de ce que leurs clients peuvent acheter. Le test du retour à la moyenne, ici, tient en une question : dans six mois, saura-t-on ce que valent ces 88,2 % et ces 54,8 % entre les mains de quelqu’un qui n’est pas l’équipe qui les a mesurés ? Si oui, Carbon sera jugé sur ses scores. Si non, on aura surtout appris que gagner un classement ne demande plus d’avoir un modèle en service.