Anthropic et des chercheurs indépendants ont présenté une nouvelle façon de mesurer quelque chose que les modèles d’IA ont historiquement eu du mal à prouver qu’ils maîtrisent : raisonner sur des problèmes qui n’ont pas de réponse nette et vérifiable. L’Indice de Raisonnement Conceptuel (CRI), dévoilé cette semaine, combine trois benchmarks distincts pour évaluer dans quelle mesure les grands modèles de langage gèrent les arguments philosophiques, la cohérence logique et les casse-têtes de théorie de la décision — le type de réflexion que de nombreux chercheurs estiment le plus important à mesure que les systèmes d’IA jouent un rôle croissant dans la gestion de leurs propres risques.
Summary
Points clés à retenir
- L’Indice de Raisonnement Conceptuel combine trois benchmarks — les capacités LMCA, ACCoRD et DTBench — en un score unique de 0 à 100 du raisonnement conceptuel de l’IA.
- Le modèle le plus performant, Opus 5, a obtenu un score de 73,6 sur le CRI, bien en dessous d’un plafond estimé à environ 91.
- Le jeu de données LMCA comprend 560 textes de position et 1 461 arguments évalués par des experts couvrant la philosophie, la théorie de la décision et le risque lié à l’IA.
- Les scores ont augmenté de manière approximativement linéaire depuis la fin de l’année 2024 sans signe de stabilisation.
- Le projet a été réalisé en collaboration avec Anthropic et les chercheurs Emery Cooper et Caspar Oesterheld.
Introduction à l’Indice de Raisonnement Conceptuel (CRI)
Le CRI existe parce que certains des travaux les plus importants que les systèmes d’IA pourraient éventuellement accomplir — aider les humains à comprendre et à planifier la gestion des risques liés à l’IA avancée — ne peuvent pas être vérifiés par une réponse clairement correcte comme c’est le cas pour les problèmes de mathématiques ou de programmation. Ses créateurs soutiennent que nombre des tâches liées à la réduction des risques liés à l’IA exigent le type d’argumentation utilisé en philosophie et dans le futurisme de l’IA plutôt qu’une vérification empirique, et que les méthodes d’entraînement actuelles, qui s’appuient fortement sur des données avec un retour d’information fiable, tendent à laisser les modèles plus faibles précisément sur ce type de raisonnement.
Pour combler ce déficit de mesure, les chercheurs ont construit trois benchmarks de risque lié à l’IA distincts et les ont regroupés en un score agrégé. L’Indice de Raisonnement Conceptuel (CRI) agrège trois benchmarks — les capacités LMCA, ACCoRD et DTBench — en un nombre unique destiné à capturer la capacité globale de raisonnement conceptuel d’un modèle. L’indice est disponible publiquement sur conceptualreasoning.ai, où l’équipe indique qu’elle continuera à mettre à jour les scores et la méthodologie à mesure que de nouveaux modèles et de nouveaux benchmarks apparaîtront.
Objectif du CRI dans la gestion des risques liés à l’IA
Pourquoi construire tout cela ? Les chercheurs à l’origine du projet expliquent qu’une fois que les modèles d’IA pourront effectuer des travaux de réduction des risques au niveau d’experts humains, la production assistée par l’IA dans ce domaine pourrait largement dépasser ce que les humains produisent seuls. Cela signifie que la rapidité avec laquelle les modèles peuvent être entraînés à bien raisonner sur la gouvernance, l’alignement et les défaillances de coopération impliquant l’IA pourrait devenir un facteur décisif pour savoir si les risques sont traités à temps. Améliorer le raisonnement conceptuel des modèles d’IA est considéré comme important précisément parce que cela cible cette lacune — les tâches qui manquent de boucles de rétroaction empiriques et qui ont donc tendance à être négligées par l’entraînement standard.
Agrégation des benchmarks et disponibilité
Le CRI n’est pas un test unique — c’est un composite pondéré. Actuellement, LMCA compte pour 60 % du score, ACCoRD et les capacités DTBench contribuant chacune à hauteur de 20 %. L’équipe indique qu’elle prévoit d’ajouter de nouveaux benchmarks au fil du temps, de retirer ceux qui deviennent saturés et de rééquilibrer potentiellement ces pondérations à mesure que les modèles s’améliorent.
Analyse détaillée des benchmarks composant le CRI
Chacun des trois composants cible une forme différente de raisonnement qui est difficile à vérifier empiriquement mais reste mesurable par jugement d’expert ou par des règles logiques.
Jeu de données LMCA : portée et évaluations d’experts
LMCA, pour Language Model Conceptual Argumentation, est construit autour d’arguments sélectionnés et évalués par des experts couvrant la théorie de la décision, la philosophie et les risques liés à l’IA avancée. Le jeu de données LMCA contient 560 textes de position associés à 1 461 arguments évalués par des experts et rédigés contre ces positions. La quasi-totalité des arguments a été évaluée par le chercheur en concepts Emery Cooper, une partie ayant été évaluée indépendamment par au moins un autre chercheur, pour un total de 2 140 évaluations. Un ensemble de validation d’environ 50 arguments a été évalué indépendamment par quatre à six personnes puis débattu pendant sept à huit heures au total, un processus destiné à établir dans quelle mesure les humains sont d’accord entre eux avant de les comparer aux sorties des modèles.
Pour l’instant, LMCA évalue uniquement la capacité des modèles à juger des arguments existants plutôt qu’à en générer de nouveaux, même si l’équipe indique qu’elle espère ajouter ultérieurement une mesure de génération d’arguments.
ACCoRD : mesurer la cohérence logique des croyances du modèle
ACCoRD vérifie autre chose : si les croyances et préférences déclarées par un modèle sont logiquement cohérentes entre elles. Si un modèle indique une probabilité pour l’événement A et, séparément, une probabilité pour A et B se produisant ensemble, respecte-t-il des règles de base comme P(A) étant supérieure ou égale à P(A&B) ? Le jeu de données complet ACCoRD contient près de 14 000 contraintes de cohérence générées par des modèles, réparties sur 18 types de contraintes, passées au crible d’un vérificateur automatisé. Parmi celles-ci, 567 contraintes validées ont été intégrées au CRI après examen manuel — un filtre délibérément conservateur destiné à ne conserver que les vérifications dont les chercheurs sont sûrs.
DTBench : évaluation du raisonnement en théorie de la décision
DTBench teste le raisonnement en théorie de la décision avec 407 questions à choix multiple, dont la plupart ont été rédigées manuellement par Caspar Oesterheld, qui a publié des travaux académiques sur la théorie de la décision, et validées indépendamment par Emery Cooper. Les questions explorent des scénarios impliquant l’auto-prédiction et les interactions avec des quasi-copies d’un agent — le type d’expériences de pensée débattues depuis longtemps par les théoriciens de la décision. 130 questions supplémentaires dans la suite complète DTBench mesurent des attitudes décisionnelles, mais ont été exclues du score CRI.
Résultats de performance du CRI et tendances
Même les meilleurs modèles testés restent encore loin de ce que les benchmarks considèrent comme un score quasi parfait, bien que l’écart se réduise régulièrement.
Scores de performance actuels et comparaison aux plafonds
Les scores CRI vont de 0 à 100, 0 représentant des réponses aléatoires. Les chercheurs estiment un plafond réaliste d’environ 91 plutôt que 100, car les évaluations humaines comportent elles-mêmes un certain bruit — même les évaluateurs experts ne sont pas d’accord entre eux 100 % du temps. Le score le plus élevé enregistré jusqu’à présent appartient à Opus 5, avec 73,6, et un intervalle de confiance de 95 % de plus ou moins 2,1. Cela laisse un écart significatif entre la performance maximale actuelle et le plafond estimé, ce qui suggère qu’il reste une réelle marge de progression pour les modèles en matière de raisonnement conceptuel avant que le benchmark lui-même ne devienne le facteur limitant.
Tendances d’amélioration des performances des modèles dans le temps
Ce qui ressort des données, ce n’est pas seulement le niveau actuel des modèles, mais aussi la vitesse à laquelle ils progressent. Les performances des modèles s’améliorent de manière approximativement linéaire depuis la fin de l’année 2024, et les chercheurs ne constatent aucun signe de ralentissement de cette tendance. Cette progression régulière est importante pour quiconque tente de prévoir à quel moment les systèmes d’IA pourraient devenir de véritables collaborateurs utiles sur le type de travail fortement argumentatif dont dépend la recherche sur la sécurité de l’IA.
Estimations de saturation propres à chaque benchmark
Tous les composants n’évoluent pas au même rythme. En extrapolant les tendances actuelles, les chercheurs estiment grossièrement que LMCA commencera à se saturer d’ici environ un an. DTBench, en revanche, est déjà proche de son plafond — un modèle évalué, Fable 5, a répondu correctement à 98 % des questions de DTBench. ACCoRD est la variable imprévisible : l’équipe indique qu’elle est réellement incertaine quant au moment où ce benchmark se saturera, car les erreurs de cohérence peuvent persister même lorsque la capacité de raisonnement brute s’améliore.
Importance et développement collaboratif du CRI
Pourquoi tout cela compte-t-il au-delà d’un simple classement ? Parce que les personnes qui construisent l’Indice de Raisonnement Conceptuel considèrent le raisonnement conceptuel comme une compétence goulot d’étranglement pour les travaux sur les risques liés à l’IA en particulier — le type de travail qui implique de raisonner sur la gouvernance, l’alignement et les défaillances catastrophiques de coopération lorsqu’il n’existe pas de jeu de données de résultats passés sur lequel s’entraîner. Améliorer le raisonnement conceptuel des modèles d’IA est considéré comme important pour aider à réduire les risques liés à l’IA avancée précisément parce qu’une grande partie de ce travail de réduction des risques repose sur l’argumentation plutôt que sur des tests empiriques.
Le projet a été réalisé dans le cadre d’une collaboration impliquant Anthropic ainsi que les chercheurs en concepts Emery Cooper et Caspar Oesterheld, qui ont contribué à la fois à la conception des jeux de données et aux évaluations d’experts qui sous-tendent les composants LMCA et DTBench. Cette combinaison de soutien institutionnel et d’expertise spécifique au domaine fait partie de ce qui distingue le CRI des benchmarks d’IA plus classiques axés sur les mathématiques, la programmation ou les connaissances générales — des domaines où la justesse peut généralement être vérifiée automatiquement.
Les scores en temps réel et les notes méthodologiques sont hébergés sur conceptualreasoning.ai, et l’accès au jeu de données LMCA sous-jacent est disponible via un formulaire de demande, une structure qui suggère que l’équipe souhaite que des chercheurs externes testent et remettent en question le benchmark plutôt que de le traiter comme une métrique interne fermée.
FAQ
Qu’est-ce que l’Indice de Raisonnement Conceptuel (CRI) ?
Le CRI agrège trois benchmarks — LMCA, ACCoRD et DTBench — pour mesurer les capacités de raisonnement conceptuel des modèles d’IA, en produisant un score unique de 0 à 100.
Quels types de raisonnement le jeu de données LMCA évalue-t-il ?
LMCA évalue les modèles sur leur capacité à juger des arguments conceptuels liés à la philosophie, à la théorie de la décision et aux risques liés à l’IA, en comparant les évaluations des modèles à celles d’experts humains.
Comment la cohérence logique est-elle testée dans les modèles d’IA par ACCoRD ?
ACCoRD mesure si les croyances et préférences déclarées par un modèle satisfont des contraintes de cohérence logique, telles que les règles de base de la probabilité, en utilisant 567 contraintes validées dans le CRI.
Quel est le niveau de performance actuel des modèles d’IA sur le CRI ?
Le meilleur modèle actuel, Opus 5, obtient environ 73,6 sur 100 au CRI, avec des scores pour l’ensemble des modèles évalués qui s’améliorent de manière approximativement linéaire depuis la fin de l’année 2024, sans signe pour l’instant d’un ralentissement de cette croissance.
{« @context »: »https://schema.org », »@type »: »FAQPage », »mainEntity »:[{« @type »: »Question », »name »: »Qu’est-ce que l’Indice de Raisonnement Conceptuel (CRI) ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Le CRI agrège trois benchmarks — LMCA, ACCoRD et DTBench — pour mesurer les capacités de raisonnement conceptuel des modèles d’IA, en produisant un score unique de 0 à 100. »}},{« @type »: »Question », »name »: »Quels types de raisonnement le jeu de données LMCA évalue-t-il ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »LMCA évalue les modèles sur leur capacité à juger des arguments conceptuels liés à la philosophie, à la théorie de la décision et aux risques liés à l’IA, en comparant les évaluations des modèles à celles d’experts humains. »}},{« @type »: »Question », »name »: »Comment la cohérence logique est-elle testée dans les modèles d’IA par ACCoRD ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »ACCoRD mesure si les croyances et préférences déclarées par un modèle satisfont des contraintes de cohérence logique, telles que les règles de base de la probabilité, en utilisant 567 contraintes validées dans le CRI. »}},{« @type »: »Question », »name »: »Quel est le niveau de performance actuel des modèles d’IA sur le CRI ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Le meilleur modèle actuel, Opus 5, obtient environ 73,6 sur 100 au CRI, avec des scores pour l’ensemble des modèles évalués qui s’améliorent de manière approximativement linéaire depuis la fin de l’année 2024, sans signe pour l’instant d’un ralentissement de cette croissance. »}}]}
Article produit avec l’assistance de l’intelligence artificielle et relu par l’équipe éditoriale.
