Version française · Sources et limites incluses · Read in English
Quand la métrique devient la cible, elle cesse de mesurer ce qui compte.
Ce texte n'affirme ni que les modèles ont cessé de progresser, ni qu'une rupture longitudinale a été démontrée en 2023. Verron.AI utilise 2023 comme frontière éditoriale pour formuler une hypothèse opérationnelle : plus un marché converge vers les mêmes examens, moins un score public isolé suffit à prédire le comportement d'un système hors du test.
La certitude de transfert peut baisser.
Plus une équipe optimise un examen connu, plus elle doit chercher une preuve hors de cet examen.
Contrat de preuve
Trois niveaux, jamais confondus.
Les benchmarks peuvent saturer, les classements sont sensibles au protocole et la contamination peut gonfler une performance qui ne se transfère pas.
Un score public doit être traité comme un signal à reconstruire, puis confronté à une réplication et à des contraintes de production.
L'ampleur longitudinale du phénomène depuis 2023, sa variation selon les domaines et la capacité de chaque protocole à prédire une valeur durable.
benchmarks cartographiés dans une étude à grande échelle.
Nature Communications · 2022trajectoires disposant d'assez d'observations pour être classées.
Échantillon analytiqueplaces de classement déplacées par de faibles variations du protocole.
Étude de sensibilité · 202401 · La thèse
Un benchmark est une théorie compressée du produit.
Précision, taux de réussite, score d'arène, accomplissement de tâche ou note d'un juge LLM peuvent être des observations utiles. Aucun de ces nombres n'est le produit. Chacun compresse une vision de ce qui compte, des échecs recevables et des compromis que l'organisation accepte.
Notre frontière de 2023 est une hypothèse éditoriale issue de notre lecture opérationnelle, pas une mesure statistique de tout le champ. Elle sert à poser une question vérifiable : à protocole public égal, quelle part du score prédit encore un résultat sur des données, des utilisateurs et des contraintes que l'équipe n'a pas optimisés ?
Nous ne concluons donc pas que la recherche publique se transfère moins sûrement dans son ensemble. Nous concluons seulement qu'un score publié ne démontre pas ce transfert sans reconstruction du protocole, réplication et observation hors distribution.
02 · La cible
La loi de Goodhart devient une méthode de delivery.
La loi de Goodhart est souvent résumée ainsi : « Quand une mesure devient une cible, elle cesse d'être une bonne mesure. »[1] Le mécanisme se transpose aux projets IA : la pression déplace l'effort vers le proxy, y compris vers ses composantes qui ne représentent pas l'objectif réel.
L'image classique est celle d'une usine récompensée selon le poids des clous. Le quota est atteint avec un seul clou gigantesque qui ne peut accrocher aucun tableau. Un projet IA peut produire le même résultat avec un vocabulaire plus élégant : la cible passe, le système échoue et l'échec devient un cas limite.
Cela ne rend pas les approches « eval-first » absurdes. Les guides d'OpenAI et d'Anthropic ont raison d'exiger une définition du succès et des tests. Le problème commence lorsque l'évaluation devient le contrat plutôt qu'un instrument que l'équipe est autorisée à remplacer.
La production révèle un signal.
Le signal devient une métrique.
L'équipe apprend à passer le test.
Le proxy perd du pouvoir discriminant.
Une preuve externe remplace ou retire la métrique.
03 · Responsabilité professionnelle
Conformité consciente à une mesure morte.
Utiliser de bonne foi une métrique imparfaite n'est pas la même chose que continuer à la promouvoir lorsqu'il existe des raisons sérieuses de penser qu'elle ne mesure plus l'objet annoncé.
Il ne s'agit pas d'une accusation de fraude pénale ni d'un jugement uniforme sur les chercheurs. C'est un problème de gouvernance professionnelle. Un auteur peut connaître Goodhart, la contamination, la validité externe et la saturation, puis choisir une métrique que sa méthode est déjà bien placée pour réussir. Lorsque les limites servent de décor plutôt que de contrainte sur la conclusion, le travail participe au biais qu'il décrit.
- Le proxy est dégradé. Le benchmark discrimine mal ou son lien avec la capacité annoncée est incertain.
- L'évaluation est trop proche de l'optimisation. Entraînement, prompts, sélection du modèle ou itérations rendent le test familier.
- Le transfert devrait être faible. Le gain survivra difficilement à une autre distribution, un autre évaluateur ou une contrainte de production.
- Le titre survit à la réserve. Les limites figurent dans le texte, mais le récit continue de présenter le score comme un progrès général.
À ce stade, il ne s'agit plus seulement d'une erreur. C'est une participation consciente à un examen biaisé. Le but de la recherche — exposer une idée aux conditions capables de la réfuter — est remplacé par celui du marché : réussir le test commun.
Avant qu'un résultat devienne un claim public, une organisation devrait documenter ce qu'elle savait des limites de la métrique, qui contrôlait l'évaluation indépendamment, ce qui s'est transféré et si le claim a rétréci avec la preuve.
04 · L'écart de transfert
Quand tout le monde connaît l'examen, le score contient moins de surprise.
Une étude portant sur 3 765 benchmarks conclut qu'une part importante tend rapidement vers la saturation.[6] Une étude de 2024 montre que de petites modifications du format d'évaluation peuvent déplacer un modèle de huit places dans un classement.[4] ConStat définit la contamination par une performance gonflée qui ne se généralise pas à des échantillons reformulés ou apparentés.[5]
Ces résultats ne prouvent pas que 2023 constitue un pic universel. Ils soutiennent le mécanisme plus étroit de notre thèse : saturation, contamination et sensibilité de l'évaluateur peuvent réduire la valeur de transfert d'une progression affichée.
Les petites démonstrations cachent cet écart. L'auteur contrôle la tâche, le dépôt, le juge et la règle d'arrêt. La production retire ce contrôle : le workflow s'allonge, un outil échoue, l'utilisateur n'est plus l'évaluateur, les permissions divergent et les coûts s'accumulent.
Tâche et juge connus
Équipe indépendante
Données et contraintes réelles
Échelle, dérive et incidents
Cadre décisionnel Verron.AI. Les quatre étapes décrivent un ordre de validation, pas une distribution observée ni un taux de réussite.
- Autorité : l'exécution est-elle restée dans les permissions attribuées ?
- Reprise : un opérateur peut-il comprendre l'échec et reprendre sans danger ?
- Preuve : peut-on relier le résultat au modèle, aux données, aux outils et aux décisions ?
- Économie : coût, latence et travail opérateur restent-ils dans l'enveloppe ?
- Sens : la métrique représente-t-elle encore la valeur après des réussites répétées ?
05 · Les chiffres
Le problème des benchmarks est observable, mais tous les nombres ne mesurent pas la même chose.
Trois repères quantitatifs soutiennent trois parties distinctes de l'argument. Ils ne doivent pas être fusionnés : une étude cartographie des trajectoires, une autre teste la sensibilité du classement, une troisième teste le transfert.
06 · Durable ou local ?
Comment distinguer un pattern durable d'une histoire localement réussie ?
Une idée qui fonctionne une fois est une observation. Une idée qui fonctionne pour l'équipe ayant conçu le test est un résultat local. Aucune n'est encore un pattern.
Version du modèle, prompt, exposition d'entraînement, évaluateur, corpus, outils, infrastructure, comportement opérateur et trafic peuvent bouger simultanément. Sans base contrôlée, impossible de savoir si la méthode a causé le résultat ou l'a simplement accompagné.
- Baseline nommée. La comparaison survit à une alternative crédible.
- Reproduction indépendante. Une équipe extérieure retrouve l'effet à partir des conditions publiées.
- Transfert de contexte. Le mécanisme survit à un autre modèle, workload ou environnement.
- Exposition à l'échelle. Il rencontre concurrence, dérive, reprise et utilisateurs non préparés.
- Frontière d'échec. Les auteurs disent où il cesse de fonctionner et ce qui le réfuterait.
- Stabilité temporelle. Le gain reste utile lorsque modèles et conditions changent.
● établi◐ partiel○ non établi
Matrice normative Verron.AI : elle définit notre seuil de vocabulaire entre observation, résultat local et pattern durable. Elle ne classe aucun papier ni aucun système observé.
Une affirmation comme « 34 lois tirées de 180 papiers » est elle-même une métrique. Avant publication, elle exige le corpus, les critères d'inclusion, la procédure de décomposition, l'accord entre évaluateurs, un test de reconstruction et les cas négatifs. Sans ces éléments, c'est un sujet de recherche, pas une preuve.
07 · Méthode opérationnelle
Ne jetez pas les évaluations. Ne les rendez pas permanentes.
Un système d'évaluation de production doit séparer trois couches.
Nommer le résultat opérationnel attendu, l'horizon temporel et le coût d'une erreur.
Isoler des cas, incidents et résultats différés que l'optimiseur ne peut pas cibler.
Fixer une règle de révision ou de retrait avant que la métrique ne devienne politique.
- Déclarer la métrique comme hypothèse. Écrire ce qu'elle doit prédire.
- L'associer à des contre-métriques. Qualité sans coût, latence, autorité et reprise déplace l'échec.
- Conserver un registre invisible de l'optimiseur. Incidents et résultats différés ne doivent pas tous nourrir la boucle optimisée.
- Utiliser des hold-outs qui ressemblent au changement. Dérive, nouveaux utilisateurs, panne d'outil et permissions modifiées.
- Retirer explicitement les métriques. Définir quand elles sont saturées ou devenues non pertinentes.
- Rouvrir la décision après le lancement. La production est une preuve, pas la fin de l'évaluation.
08 · Limites
Ce que cet argument n'établit pas.
- Il ne mesure pas toute la recherche IA avant et après 2023. Cette date est notre frontière éditoriale.
- Il ne prétend pas que les capacités frontier ont cessé de progresser. Capacité et valeur de transfert sont deux objets différents.
- Il ne place pas l'anecdote de production au-dessus de l'expérience contrôlée. La production fournit un autre juge.
- Il n'attribue pas automatiquement le faible transfert à l'incompétence. Incitations, accès à l'échelle, systèmes fermés et expérience opérationnelle doivent être séparés.
- Il ne rejette pas les métriques fonctionnelles. Il rejette un proxy figé comme définition permanente du succès.
La position mature n'est pas anti-benchmark. Elle est anti-finalité. Une métrique mérite son autorité tant qu'elle prédit un résultat auquel l'organisation accorde encore de la valeur.
09 · Sources
Références externes utilisées.
10 · Préparer un échange
Passer d'un score à une décision vérifiable.
L'échange n'est ni une commande automatique ni une promesse d'audit. Il sert à cadrer le problème avant de proposer une intervention.
Le score, le protocole et l'échec.
Une métrique utilisée, la manière dont elle est calculée et un cas réel qu'elle ne représente pas correctement.
Séparer observation, décision et juge.
Nous identifions ce qui est établi, ce qui reste une hypothèse et quelle preuve indépendante réduirait l'incertitude.
Un prochain test clairement borné.
Vous repartez avec la question à trancher, le périmètre de validation et les inconnues à conserver. Toute mission éventuelle est discutée séparément.