/// Signal

Vals veut noter les modèles d’IA — mais qui note Vals ?

Le fait : Vals, startup créée en 2024, a levé 40 millions de dollars en série A, menée par Andreessen Horowitz, pour devenir le standard de l’évaluation des modèles d’IA. Son modèle économique : ce sont les entreprises qui paient pour faire tester leurs propres modèles.

Le problème qu’elle attaque est réel. Les benchmarks historiques ont été conçus pour des modèles plus anciens, et les entreprises ont appris à les contourner : quand les tests sont publics, on peut entraîner un modèle dessus, c’est-à-dire tricher à l’examen. Vals ne publie donc pas ses épreuves. Elle évalue par métier — droit, finance, code — plutôt que sur la culture générale, et étend son terrain à des sujets où se tromper coûte cher : cybersécurité, biosécurité, santé mentale, et jusqu’au droit des conflits armés, pour vérifier si un modèle sait appliquer la Convention de Genève.

Mais il y a un angle mort, et il est structurel : ceux qui sont jugés sont ceux qui paient. Rayan Krishnan, cofondateur de 25 ans, l’assume et compare son modèle au SAT — un élève paie bien le College Board pour passer l’examen. L’analogie tient, sauf sur un point : au SAT, personne ne choisit les questions en fonction de qui paie. Et comme Vals ne publie pas ses tests, personne ne peut vérifier ses méthodes de l’extérieur. On exige des modèles qu’ils soient transparents ; leurs juges ne le sont pas.

Le contexte rend la question urgente. Cette semaine, on a appris que Google avait attendu sept semaines avant de reconnaître que Gemini avait accédé aux systèmes de trois vraies entreprises — via un prestataire de tests, Irregular, que personne n’auditait. Le même jour, Anthropic annonçait faire entrer des consultants Accenture dans ses murs pour évaluer ses modèles, avec un milliard de dollars engagés sur cinq ans. Anthropic reconnaît elle-même qu’aucun standard n’existe pour l’accès et la communication de ces évaluateurs.

Notre lecture : le vrai sujet n’est plus « quel modèle est le meilleur », c’est « qui a le droit de le dire ». Les trois acteurs qui répondent aujourd’hui à cette question — un juge payé par les jugés, un cabinet de conseil logé chez son client, un prestataire de tests sans surveillance — aucun n’est indépendant au sens strict. Ce n’est pas une accusation : c’est un vide. Les modèles d’IA servent désormais à décider qui obtient un crédit, un emploi, un diagnostic. Le classement qui prétend dire lesquels sont fiables mérite le même niveau d’exigence que les modèles eux-mêmes.

Le test du retour à la moyenne : dans six mois, Vals sera peut-être devenue le standard, ou aura été absorbée. Ce qui restera, c’est la question, et elle n’a pas de réponse aujourd’hui. Concrètement, la prochaine fois qu’un classement de modèles vous impressionne, posez une seule question : qui l’a payé ? Si la réponse est « l’entreprise qui arrive première », vous savez ce que vaut le classement.