Un corpus croissant d’écrits scientifiques est désormais évalué, au moins en partie, par l’intelligence artificielle, et une nouvelle étude suggère que les mots choisis par un chercheur peuvent faire basculer le verdict d’un évaluateur IA même lorsque les données sous-jacentes ne changent jamais. Des chercheurs qui ont examiné l’influence rhétorique sur l’évaluation par IA ont constaté que le cadrage, et non les preuves, peut discrètement faire monter ou descendre les notes dans les systèmes d’évaluation par les pairs basés sur des modèles de langage de grande taille, soulevant de nouvelles questions sur la fiabilité réelle des juges artificiels.
Cette inquiétude n’est pas hypothétique. L’évaluation par les pairs, le système vieux de plusieurs décennies dans lequel les chercheurs examinent le travail des autres avant publication, ploie déjà sous un flot de soumissions. Une récente enquête des revues Frontiers citée par Ars Technica a révélé que plus de la moitié des évaluateurs s’appuient déjà sur des outils d’IA à un moment ou à un autre du processus d’examen, souvent simplement pour suivre le volume. C’est précisément cette dépendance qui rend la question du biais rhétorique dans l’évaluation par IA si pressante : si des machines notent déjà les articles, et si le simple choix des mots peut faire bouger leurs scores, les enjeux d’équité scientifique augmentent rapidement.
C’est cet écart qu’une équipe dirigée par Ming Li a entrepris de mesurer. Leur article, soumis en août 2026 et construit autour des soumissions à l’ICLR 2026, isole la rhétorique du fond pour voir précisément dans quelle mesure la présentation peut influencer un jugement basé sur l’IA, et les résultats dressent un tableau d’un biais structuré, inégal et, dans certains cas, étonnamment prévisible.
Summary
Points clés à retenir
- Le cadrage rhétorique à lui seul a modifié de manière mesurable les scores d’évaluation par IA alors que le contenu scientifique sous-jacent restait identique.
- Les chercheurs ont construit un corpus de 4 200 manuscrits d’articles complets dérivés de 120 soumissions anonymisées à l’ICLR 2026 pour tester l’effet.
- Le cadrage des preuves et la position sur la nouveauté ont provoqué les plus fortes variations des scores d’évaluation globale, plus que toute autre dimension rhétorique.
- Les articles ayant obtenu initialement des scores IA plus faibles avaient tendance à monter après réécriture rhétorique, tandis que les articles mieux notés avaient tendance à baisser.
- Un protocole d’évaluation plus strict a réduit les scores moyens de 1,36 point mais n’a pas réduit de manière fiable la sensibilité rhétorique sous-jacente.
Vue d’ensemble de l’étude et méthodologie
L’équipe de recherche a conçu une expérience contrôlée spécifiquement pour éliminer toutes les variables sauf la manière dont un article est formulé, en isolant la sensibilité rhétorique comme l’unique élément qui change entre les différentes versions d’un même manuscrit. Ce choix de conception donne tout leur poids aux résultats : toute différence de score entre les versions d’un manuscrit peut être attribuée à la présentation plutôt qu’à de véritables différences dans la science.
Corpus de manuscrits contrôlé à partir des soumissions à l’ICLR 2026
Pour tester cela proprement, les chercheurs ont construit un corpus de 4 200 manuscrits d’articles complets dérivés de 120 soumissions anonymisées à l’ICLR 2026, l’une des principales conférences du domaine en apprentissage automatique. Chaque article original a été réécrit en plusieurs variantes rhétoriques, créant un ensemble de données suffisamment vaste pour faire apparaître des motifs qu’une poignée d’articles n’aurait pas permis de révéler.
Réécriture rhétorique et protocoles d’évaluation par IA
Deux réécrivains distincts basés sur de grands modèles de langage ont modifié six dimensions rhétoriques différentes de chaque manuscrit, en poussant chacune dans des directions opposées, par exemple un cadrage plus confiant contre un cadrage plus prudent, tout en laissant le contenu scientifique rapporté inchangé. Cinq évaluateurs LLM différents ont ensuite évalué tous les manuscrits obtenus, une fois sous un protocole d’évaluation standard et une fois sous un protocole plus strict, afin que l’équipe puisse comparer la manière dont la rhétorique se manifestait dans différents contextes d’évaluation. L’étude a également testé des passes de réécriture conjointes, récursives et guidées par l’évaluateur pour voir si la combinaison de stratégies amplifiait l’effet.
Impact des choix rhétoriques sur les scores d’évaluation par IA
Le principal constat est que la sensibilité rhétorique dans l’évaluation par les pairs basée sur l’IA n’est pas un bruit aléatoire, elle suit une hiérarchie claire, certaines options stylistiques comptant bien plus que d’autres. Cette structure transforme ce phénomène d’une simple curiosité anecdotique en un problème que les concepteurs de systèmes d’évaluation doivent activement prendre en compte.
Dimensions rhétoriques clés : cadrage des preuves et position sur la nouveauté
Parmi les six dimensions rhétoriques testées, le cadrage des preuves et la position sur la nouveauté ont produit de loin les plus forts contrastes positif-négatif dans les scores d’évaluation globale. Le cadrage de la portée a formé un second niveau plus faible, tandis que les autres dimensions ont montré des effets plus modestes et moins cohérents. En d’autres termes, la manière dont un article affirme sa nouveauté ou présente ses preuves avec assurance peut compter davantage pour un évaluateur IA que plusieurs autres facteurs stylistiques réunis.
Schémas de mouvement des scores en fonction des scores initiaux
Le sens du déplacement dépendait fortement du point de départ du manuscrit. Les articles qui avaient initialement reçu des scores IA plus faibles avaient tendance à grimper après réécriture rhétorique, tandis que les articles déjà bien notés avaient tendance à baisser. Les contrastes directionnels les plus nets, c’est-à-dire l’écart le plus marqué entre une version positivement recadrée et une version négativement recadrée du même article, sont apparus dans la plage intermédiaire des scores, là où le sort d’un manuscrit est sans doute le plus disputé.
Complexité et dépendance dans les flux de travail de réécriture
On pourrait supposer que l’empilement de techniques de réécriture produirait des variations de score plus importantes, mais les données ne l’ont pas confirmé. Les flux de travail plus élaborés, incluant des réécritures conjointes, récursives et guidées par l’évaluateur, n’ont pas systématiquement généré de gains plus élevés que les approches plus simples. Les effets de la réécriture conjointe se sont révélés fortement dépendants du modèle de réécriture utilisé, et le fait de donner des consignes explicites aux évaluateurs n’a pas systématiquement surpassé un simple second examen non guidé du manuscrit. Les passes de réécriture répétées ont apporté des retours décroissants et dépendants de la configuration plutôt que des avantages qui se cumulent régulièrement. Dans toutes les conditions testées, le réécrivain a principalement déterminé l’écart entre les variantes rhétoriques opposées, tandis que l’évaluateur a déterminé l’ampleur et la direction du changement de score résultant.
Effets du protocole d’évaluation et implications
Le durcissement des règles d’évaluation a fait baisser les scores dans l’ensemble, mais n’a pas corrigé le biais rhétorique sous-jacent, ce qui est sans doute la conclusion la plus importante pour quiconque conçoit ou utilise des systèmes d’évaluation par IA.
Effet d’un protocole strict et nécessité d’une évaluation robuste
Le passage à un protocole d’évaluation strict a réduit le score moyen d’évaluation globale de 1,36 point par rapport au protocole standard. Il s’agit d’une baisse significative en termes absolus, mais elle n’a pas réduit de manière constante la sensibilité des évaluateurs IA au cadrage rhétorique. Des règles plus strictes ont rendu les évaluateurs plus sévères dans l’ensemble, mais pas nécessairement plus justes au sens où ils résisteraient mieux à la manipulation stylistique.
Cette distinction est importante pour quiconque suit la montée de l’évaluation par les pairs basée sur l’IA. Si le simple resserrement de la grille d’évaluation ne neutralise pas la sensibilité rhétorique, alors demander simplement aux évaluateurs IA d’être plus critiques ne constitue pas en soi une solution. Les résultats pointent vers un autre type de réponse : des systèmes d’évaluation explicitement conçus pour être robustes face aux variations rhétoriques qui préservent le contenu, c’est-à-dire des systèmes qui jugent un article de la même manière, que ses preuves soient présentées de façon confiante ou prudente, tant que la science sous-jacente n’a pas changé.
Pour un domaine déjà préoccupé par le volume, l’épuisement et l’inconstance des évaluateurs humains, comme l’a documenté le reportage d’Ars Technica sur la crise plus large de l’évaluation par les pairs, la tentation de s’appuyer davantage sur des correcteurs IA ne fera que croître. Cette étude rappelle que l’automatisation du jugement ne supprime pas automatiquement le biais, elle ne fait que changer son origine.
FAQ
Comment les choix rhétoriques influencent-ils les scores d’évaluation par les pairs basés sur l’IA ?
Les choix rhétoriques tels que le cadrage des preuves et la position sur la nouveauté influencent significativement les jugements des évaluations par IA alors que le contenu scientifique reste inchangé.
Quel jeu de données a été utilisé pour analyser la sensibilité rhétorique dans l’évaluation par IA ?
Un corpus contrôlé de 4 200 manuscrits dérivés de 120 soumissions anonymisées à l’ICLR 2026 a été utilisé pour l’analyse.
Les stratégies de réécriture plus complexes conduisent-elles à de meilleurs scores d’évaluation par IA ?
Non, les flux de travail de réécriture plus élaborés n’ont pas systématiquement généré de gains plus importants dans les scores d’évaluation par IA.
Quel est l’effet de l’utilisation d’un protocole d’évaluation strict sur les scores d’évaluation par IA ?
Le protocole d’évaluation strict a réduit la moyenne de l’évaluation globale de 1,36 point mais n’a pas modifié de manière constante la sensibilité rhétorique.
{« @context »: »https://schema.org », »@type »: »FAQPage », »mainEntity »:[{« @type »: »Question », »name »: »Comment les choix rhétoriques influencent-ils les scores d’évaluation par les pairs basés sur l’IA ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Les choix rhétoriques tels que le cadrage des preuves et la position sur la nouveauté influencent significativement les jugements des évaluations par IA alors que le contenu scientifique reste inchangé. »}},{« @type »: »Question », »name »: »Quel jeu de données a été utilisé pour analyser la sensibilité rhétorique dans l’évaluation par IA ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Un corpus contrôlé de 4 200 manuscrits dérivés de 120 soumissions anonymisées à l’ICLR 2026 a été utilisé pour l’analyse. »}},{« @type »: »Question », »name »: »Les stratégies de réécriture plus complexes conduisent-elles à de meilleurs scores d’évaluation par IA ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Non, les flux de travail de réécriture plus élaborés n’ont pas systématiquement généré de gains plus importants dans les scores d’évaluation par IA. »}},{« @type »: »Question », »name »: »Quel est l’effet de l’utilisation d’un protocole d’évaluation strict sur les scores d’évaluation par IA ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Le protocole d’évaluation strict a réduit la moyenne de l’évaluation globale de 1,36 point mais n’a pas modifié de manière constante la sensibilité rhétorique. »}}]}
Article produit avec l’assistance de l’intelligence artificielle et relu par l’équipe éditoriale.
