Les chercheurs en sécurité espèrent depuis longtemps que les agents basés sur des modèles de langage de grande taille puissent accélérer l’une des parties les plus fastidieuses de la réponse aux incidents : reconstituer, étape par étape, la façon dont un attaquant s’est déplacé dans un système, à partir de journaux et de télémétries épars. Un nouveau benchmark de diagnostic appelé DiagChain met cet espoir à l’épreuve, et les résultats suggèrent que la technologie a encore un long chemin à parcourir avant de pouvoir gérer de manière fiable, de façon autonome, la reconstruction de chaînes d’attaque.
Développé par une équipe de chercheurs comprenant Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan et Xibin Zhao, DiagChain n’est pas qu’un simple tableau de scores de précision. Il est conçu spécifiquement pour montrer où et pourquoi les agents LLM échouent lorsqu’ils tentent de reconstruire la séquence ordonnée d’actions qu’un attaquant a effectuées, sur la base de preuves extraites de la télémétrie du système.
Summary
Points clés à retenir
- DiagChain est un benchmark de diagnostic qui évalue les agents LLM sur la reconstruction de chaînes d’attaque fondée sur les preuves, en allant au-delà d’une simple précision de type réussite/échec.
- La suite MAIN-69 du benchmark comprend 69 scénarios couvrant plusieurs systèmes d’exploitation, différents niveaux de bruit dans les preuves et diverses longueurs de chaîne.
- Une nouvelle méthode appelée ECRAG associe la récupération de preuves à une représentation structurée évolutive de la chaîne en cours de reconstruction.
- Sur 6 LLM différents testés, la meilleure configuration n’a réussi que 39,6 % des 849 étapes de référence.
- Les modèles plus petits peinent à utiliser les preuves récupérées, tandis que les modèles plus grands ont surtout du mal à placer ces preuves dans le bon ordre.
Présentation de DiagChain : un nouveau benchmark pour la reconstruction de chaînes d’attaque
DiagChain existe parce que la plupart des benchmarks actuels ne regardent que les sorties finales ou les scores de précision globaux, offrant peu d’informations sur la façon dont les erreurs se forment réellement au cours du raisonnement d’un agent. C’est un manque important pour les équipes de cybersécurité qui tentent de décider si un agent d’IA est suffisamment fiable pour aider à trier une véritable intrusion.
Objectif et portée de DiagChain
Au cœur, DiagChain est un benchmark de diagnostic conçu pour des tâches de cybersécurité fondées sur les preuves. Plutôt que de se contenter de noter si un agent a correctement ou non produit le récit final de l’attaque, il évalue séparément chaque étape du processus de reconstruction. Cette approche par étapes permet aux chercheurs d’identifier précisément où le raisonnement d’un agent LLM se dégrade, que ce soit lors de la collecte de preuves, de l’interprétation de ces preuves ou de l’ordonnancement des événements en une chaîne cohérente.
Composition de la suite de scénarios MAIN-69
L’élément central du benchmark est MAIN-69, une suite de 69 scénarios conçue pour soumettre les agents à rude épreuve dans un éventail de conditions réalistes. Ces scénarios couvrent plusieurs systèmes d’exploitation, varient quant à la quantité de bruit mélangée aux preuves, et diffèrent par la longueur de la chaîne, ce qui signifie que certaines séquences d’attaque sont courtes tandis que d’autres exigent le suivi d’une série plus longue d’actions de l’attaquant. Cette variété vise à révéler si les performances d’un agent se maintiennent lorsque les conditions deviennent plus chaotiques, et pas seulement lorsque tout est propre et simple.
Innovations méthodologiques et métriques d’évaluation
Au-delà de la suite de scénarios, DiagChain introduit sa propre méthode de récupération et un système de notation en cinq parties, tous deux conçus pour rendre le diagnostic des échecs systématique plutôt que fondé sur des suppositions.
Evidence-Centric Retrieval-Augmented Generation (ECRAG)
L’une des principales contributions de l’article est ECRAG, acronyme de Evidence-Centric Retrieval-Augmented Generation. Contrairement aux configurations standard de génération augmentée par récupération, ECRAG associe la récupération de preuves à une représentation structurée évolutive de la chaîne que l’agent tente de reconstruire. En termes pratiques, cela signifie que le système ne se contente pas de récupérer une fois des preuves pertinentes puis de passer à autre chose ; il met continuellement à jour sa vision interne de la chaîne d’attaque à mesure que de nouvelles preuves arrivent, ce qui devrait, en théorie, aider les agents à suivre plus clairement des intrusions complexes en plusieurs étapes.
Cinq métriques complémentaires pour une évaluation diagnostique
Pour comprendre où les choses se passent mal, DiagChain s’appuie sur cinq métriques complémentaires, chacune ciblant une étape distincte du processus de reconstruction. Ensemble, ces métriques permettent aux chercheurs d’isoler des points de défaillance spécifiques plutôt que de regrouper toutes les erreurs dans un seul chiffre de précision générique. C’est au cœur de la valeur du benchmark : une évaluation diagnostique qui distingue « l’agent n’a pas trouvé les bonnes preuves » de « l’agent a trouvé les preuves mais a mis les événements dans le mauvais ordre » est bien plus utile pour améliorer ces systèmes qu’un simple score de réussite/échec.
Évaluation des performances des grands modèles de langage
Comment les modèles actuels se sont-ils réellement comportés ? Pas particulièrement bien, selon les résultats du benchmark.
Configuration expérimentale utilisant six LLM
L’équipe de recherche a mené des évaluations en utilisant six LLM différents sur les scénarios MAIN-69. Cette configuration leur a permis de comparer la façon dont des modèles de capacités variées géraient les mêmes tâches de reconstruction fondées sur les preuves, dans les mêmes conditions de bruit et de longueur de chaîne, offrant ainsi une base cohérente pour comparer les performances de bout en bout.
Principaux résultats de performance et taux de réussite
Le chiffre principal est frappant : même la configuration la plus performante de l’étude n’a réussi que 39,6 % des 849 étapes de référence incluses dans MAIN-69. En d’autres termes, la configuration la plus solide testée s’est encore trompée sur la séquence des actions de l’attaquant plus de 60 % du temps lorsqu’on la compare aux étapes de vérité terrain du benchmark. C’est un rappel significatif pour quiconque espère confier entièrement la reconstruction de chaînes d’attaque à un agent d’IA à l’heure actuelle.
Enseignements sur la taille des modèles et les défis de reconstruction
Pourquoi cela importe-t-il au-delà des chiffres bruts ? Parce que les schémas d’échec diffèrent selon la taille du modèle, et cette distinction met en lumière deux problèmes d’ingénierie très différents à résoudre.
Limites des modèles plus petits
Selon l’analyse des chercheurs, les modèles plus petits ont du mal avec quelque chose de plus fondamental que l’ordonnancement correct des événements : ils peinent à intégrer les preuves récupérées dans leurs sorties. Cela suggère que le goulot d’étranglement pour les modèles plus petits se situe plus tôt dans la chaîne, au moment où les preuves doivent réellement informer le raisonnement de l’agent plutôt que d’être ignorées ou mal appliquées.
Défis des modèles plus grands dans l’ordonnancement des preuves
Les modèles plus grands franchissent plus facilement ce premier obstacle et parviennent à aller plus loin dans le processus de reconstruction. Mais ils se heurtent à un autre mur : l’ordonnancement correct des preuves qu’ils ont rassemblées devient le principal goulot d’étranglement. Il s’agit d’un mode d’échec plus subtil, puisque le modèle dispose des bons éléments mais a du mal à les organiser dans la séquence exacte des actions de l’attaquant, qui est précisément le résultat le plus important pour une véritable enquête de sécurité.
Cette distinction est importante pour quiconque construit ou déploie des outils de benchmark d’évaluation de LLM dans les opérations de sécurité. Elle implique que l’augmentation de la taille des modèles ne résoudra pas automatiquement la reconstruction de chaînes d’attaque. Les deux modes d’échec appellent des solutions différentes : une meilleure intégration des preuves pour les modèles plus petits et de meilleures stratégies de séquençage ou de raisonnement pour les modèles plus grands, plutôt qu’une trajectoire d’amélioration unique pour tous.
Les chercheurs présentent ces résultats comme une validation de l’évaluation diagnostique par rapport aux simples scores de précision de bout en bout. Un chiffre agrégé unique pourrait indiquer à une équipe de sécurité qu’un modèle « a raison 40 % du temps », mais il ne lui dirait pas si cet échec provient de preuves manquées, de preuves mal interprétées ou d’un séquençage brouillé. Les métriques par étapes de DiagChain sont conçues pour combler cette lacune, en offrant ce que les auteurs décrivent comme des informations exploitables pour améliorer, à l’avenir, les agents de cybersécurité fondés sur les preuves.
FAQ
À quoi DiagChain est-il destiné à servir d’évaluation ?
DiagChain est conçu pour évaluer les agents basés sur de grands modèles de langage sur la reconstruction de chaînes d’attaque fondée sur les preuves, au moyen d’une évaluation diagnostique par étapes.
Quel contenu la suite de scénarios MAIN-69 couvre-t-elle ?
MAIN-69 comprend 69 scénarios couvrant plusieurs systèmes d’exploitation, différents niveaux de bruit dans les preuves et diverses longueurs de chaînes d’attaque.
Comment la méthodologie ECRAG améliore-t-elle la reconstruction de chaînes d’attaque ?
ECRAG associe la récupération de preuves à une représentation structurée évolutive de la chaîne reconstruite afin d’aider à l’analyse de la chaîne.
Quels sont les principaux défis de performance identifiés pour les LLM dans ce benchmark ?
Les modèles plus petits peinent à intégrer les preuves récupérées, tandis que les modèles plus grands rencontrent des difficultés à ordonner correctement les preuves lors de la reconstruction.
{« @context »: »https://schema.org », »@type »: »FAQPage », »mainEntity »:[{« @type »: »Question », »name »: »À quoi DiagChain est-il destiné à servir d’évaluation ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »DiagChain est conçu pour évaluer les agents basés sur de grands modèles de langage sur la reconstruction de chaînes d’attaque fondée sur les preuves, au moyen d’une évaluation diagnostique par étapes. »}},{« @type »: »Question », »name »: »Quel contenu la suite de scénarios MAIN-69 couvre-t-elle ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »MAIN-69 comprend 69 scénarios couvrant plusieurs systèmes d’exploitation, différents niveaux de bruit dans les preuves et diverses longueurs de chaînes d’attaque. »}},{« @type »: »Question », »name »: »Comment la méthodologie ECRAG améliore-t-elle la reconstruction de chaînes d’attaque ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »ECRAG associe la récupération de preuves à une représentation structurée évolutive de la chaîne reconstruite afin d’aider à l’analyse de la chaîne. »}},{« @type »: »Question », »name »: »Quels sont les principaux défis de performance identifiés pour les LLM dans ce benchmark ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »Les modèles plus petits peinent à intégrer les preuves récupérées, tandis que les modèles plus grands rencontrent des difficultés à ordonner correctement les preuves lors de la reconstruction. »}}]}
Article produit avec l’assistance de l’intelligence artificielle et relu par l’équipe éditoriale.
