Partagé par Les multinationales de l’IA générative (essentiellement américaines et chinoises) sont engagées dans une « course aux benchmarks » dont il est difficile de comprendre les tenants et les aboutissants. Plusieurs éléments brouillent les cartes dans ce domaine. Les résultats sont massivement utilisés à des fins de marketing, ce qui rend l’interprétation des chiffres difficile pour les « consommateurs d’IAg ».
Il se trouve que l’usage des IAg en conditions réelles est souvent décevant au regard des chiffres annoncés par les benchmarks. Il est certain que l’évaluation des performances des IA génératives via des analyses comparatives reste utile, mais la pertinence des scores dépend fortement à la fois de ce que l’on prétend mesurer et de la robustesse du protocole mis en œuvre. L’intérêt principal est de pouvoir proposer des éléments de comparaisons : des tests standardisés permettent de suivre des tendances et de repérer des ruptures de performance et d’obtenir (par exemple) un indicateur “performance/coût“.
Mais il faut être prudent sur la valeur de ces indicateurs : dès qu’un benchmark devient « populaire », il subit presque mécaniquement trois dérives :
- (i) la saturation (les scores plafonnent et perdent leur pouvoir discriminant),
- (ii) la fuite d’information et la contamination des données d’entraînement : autrement dit, l’IA « connaît » à l’avance une partie des réponses aux questions,
- (iii) la sur-optimisation via des recettes de prompting ou des agents spécialisés : l’IA développe une expertise pour répondre aux questions des benchmarks, mais déçoit les utilisateurs dans de nombreuses situations réelles.
La capsule suivante propose une analyse des enjeux qui se cachent derrière « la course aux benchmarks ».
Exemples et informations complémentaires
Le benchmark “Humanity’s Last Exam (HLE)“ a été conçu précisément en réaction à la saturation de benchmarks généralistes, en visant des questions académiques de niveau expert, souvent multimodales, avec corrigés vérifiables. Les auteurs insistent sur la difficulté et la faible performance des modèles de pointe, ce qui redonne du signal… mais réintroduit un risque : la qualité et la maintenance des corrections deviennent un enjeu central (sinon, on mesure aussi le bruit d’annotation). [voir l’article sur Arxiv]
ARC-AGI 1 puis 2 illustrent une autre direction : tester la généralisation à des tâches nouvelles et, avec ARC-AGI-2, intégrer explicitement une contrainte d’efficacité/coût (éviter que “plus de calcul” remplace “plus d’intelligence”). Cela améliore la pertinence pour juger des systèmes agentiques, mais rend la comparaison très sensible aux budgets, aux heuristiques et au cadre d’évaluation (public/privé).
Enfin, d’autres benchmark “plus classique” comme AIME (math) ou GPQA-Diamond mesurent des compétences plus ciblées (raisonnement mathématique, QCM scientifiques “google-proof”). L’évaluation des compétence/performance est fortement conditionné par le format de sortie (QCM vs réponses libres).
Voir d’autres exemples dans divers domaines et disciplines ici :
Exemple Humanity Last Exam
Question [écologie] :
Hummingbirds within Apodiformes uniquely have a bilaterally paired oval bone, a sesamoid embedded in the caudolateral portion of the expanded, cruciate aponeurosis of insertion of m. depressor caudae. How many paired tendons are supported by this sesamoid bone? Answer with a number.
Exemple ARC-AGI 1
Exemple d’une question de GPTQA Diamond
Question :
A reaction of a liquid organic compound, which molecules consist of carbon and hydrogen atoms, is performed at 80 centigrade and 20 bar for 24 hours. In the proton nuclear magnetic resonance spectrum, the signals with the highest chemical shift of the reactant are replaced by a signal of the product that is observed about three to four units downfield.
Compounds from which position in the periodic system of the elements, which are also used in the corresponding large-scale industrial process, have been mostly likely initially added in small amounts?
- A) A metal compound from the fifth period.
- B) A metal compound from the fifth period and a non-metal compound from the third period.
- C) A metal compound from the fourth period.
- D) A metal compound from the fourth period and a non-metal compound from the second period.
Dernière mise à jour le 9 février 2026
