Aller au contenu
  • BTC $58 962 −4,4%
  • ETH $1 668 −4,2%
  • SOL $69,32 −2,6%
  • BNB $534,82 −5,9%
  • XRP $0,9058 −4,3%
  • DOGE $0,0541 −4,4%
  • ADA $0,1410 −4,0%

Les vulnérabilités des modèles de décision typés peuvent faire grimper les taux de défaillance des garde-fous de l’IA jusqu’à 63 %

Six lignes de texte de journal de serveur ont fait passer le taux d’autorisation d’actions interdites par un garde-fou d’IA de 0 % à 63 % dans une étude publiée le 8 octobre 2026. La recherche examine les vulnérabilités des modèles de décision saisis au clavier, y compris une attaque qui modifiait le nom d’une option tout en laissant sa définition et le texte évalué inchangés. Points clés Sept…

typed decision model vulnerabilities
Typed Decision Model Vulnerabilities in Agent Guardrails

Six lignes de texte de journal de serveur ont fait passer le taux d’autorisation d’actions interdites par un garde-fou d’IA de 0 % à 63 % dans une étude publiée le 8 octobre 2026. La recherche examine les vulnérabilités des modèles de décision typés, y compris une attaque qui a modifié le nom d’une option tout en laissant sa définition et le texte évalué inchangés.

Points clés à retenir

  • Sept modèles à poids ouverts ont obtenu des scores de 36 % à 72 % sur les décisions d’autorisation ou de blocage.
  • Des libellés d’options trompeurs ont produit des taux de défaillance en mode ouvert de 93 % à 100 % dans quatre modèles.
  • L’étude recommande d’utiliser ces modèles pour filtrer la charge de travail des réviseurs, et non pour prendre des décisions seuls.

Erfan Baghaei Potraghloo a présenté ces résultats dans un article publié sur arXiv. L’évaluation a testé les modèles en tant que garde-fous de systèmes d’agents sur des tâches de protection contre l’injection de requêtes, le jailbreak et le filtrage de contenu toxique.

Comment les modèles de décision typés agissent comme garde-fous

Un modèle de décision typé lit du texte et attribue des probabilités à des options définies par son appelant, sans générer de texte. Chaque option possède une brève définition écrite ; dans les systèmes d’agents, le modèle évalue un appel d’outil proposé ou un message entrant pour déterminer s’il doit l’autoriser.

Les sept modèles évalués ont atteint une précision de 36 % à 72 % sur les décisions d’autorisation ou de blocage, contre un niveau de hasard de 50 %. L’article a également mis en évidence des comportements par défaut très différents : un modèle autorisait presque tout, tandis qu’un autre bloquait presque tout.

Les vulnérabilités des modèles de décision typés impliquent deux types d’erreurs

Les erreurs de défaillance en mode ouvert permettent des actions interdites par la politique, ce qui en fait des vulnérabilités de sécurité. Les erreurs de défaillance en mode fermé rejettent des actions autorisées par la politique, créant ainsi des coûts opérationnels.

L’étude a mesuré séparément ces deux directions d’erreur. Un faible taux pour l’une ou l’autre n’indiquait pas nécessairement une application fiable de la politique : il reflétait aussi la tendance du modèle à choisir une réponse particulière.

Le texte de journal et les noms d’options ont modifié les décisions

Sur un ensemble synthétique d’appels d’outils d’agent, six lignes de texte de journal de serveur sans rapport avec la politique ont fait passer le taux de défaillance en mode ouvert d’un garde-fou de 0 % à 63 %. Le modèle avait par ailleurs correctement évalué cette politique.

Une autre attaque a ciblé le libellé de l’option permissive. Lui donner un nom trompeur a fait grimper les taux de défaillance en mode ouvert à 93 %–100 % dans les quatre modèles qui incluaient le libellé dans leur entrée. Ni la définition de l’option ni le texte évalué n’ont changé.

Règles déterministes et rôle du réviseur

Une règle déterministe opérant sur des valeurs typées a atteint une précision de 100 % sur l’ensemble des six politiques. La recommandation de l’article était d’utiliser les modèles de décision pour réduire le nombre de cas soumis à un réviseur, plutôt que de leur confier une autorité décisionnelle exclusive.

Le code de l’étude est disponible sur GitHub.

Article produit avec l’assistance de l’intelligence artificielle et relu par l’équipe éditoriale.

Francesco Antonio Russo

Tous les articles de Francesco Antonio Russo