Une nouvelle étude révèle que la manière même dont les modèles d’intelligence artificielle cliquent sur votre écran pourrait être retournée contre eux. Des chercheurs ont découvert une faiblesse jusque-là négligée dans la façon dont les modèles de visual grounding pour interfaces graphiques (GUI) — les systèmes d’IA qui traduisent les instructions à l’écran en clics réels — génèrent les coordonnées, et ils ont construit un exploit fonctionnel appelé MissClick pour le démontrer. Les résultats, publiés par le chercheur Yu Ran, mettent en lumière une nouvelle catégorie d’attaques adversariales visant les modèles GUI à mesure qu’ils sont de plus en plus intégrés à l’automatisation des tâches sur les plateformes desktop, web et mobiles.
Summary
Points clés
- Les modèles de visual grounding pour GUI génèrent les coordonnées de clic à l’écran sous forme de séquences de jetons de chiffres, et non comme des nombres bruts.
- Une modification d’un seul chiffre dans un rang de grande valeur, comme la centaine, peut déplacer un clic de 100 unités sur l’écran.
- MissClick est une attaque en boîte blanche avec deux variantes : MissClick-U pour la perturbation non ciblée et MissClick-T pour le détournement ciblé.
- MissClick-U a atteint des taux de réussite non ciblée de 75,07 % sur OS-Atlas et 72,93 % sur UGround.
- MissClick-T a atteint des taux de réussite ciblée de 44,86 % sur OS-Atlas et 62,67 % sur UGround.
Comment les modèles de visual grounding pour GUI génèrent les coordonnées
Les modèles de visual grounding pour GUI prédisent où cliquer en produisant des sorties chiffre par chiffre plutôt que des coordonnées numériques directes, et ce choix de conception en apparence mineur s’avère avoir de réelles conséquences en matière de sécurité. Selon la recherche, ces modèles n’ont jamais été conçus avec une résistance adversariale à la manipulation au niveau des chiffres en tête, ce qui est précisément la faille exploitée par MissClick.
Prédiction de coordonnées sérialisées en chiffres
Au lieu de produire une coordonnée X-Y comme un nombre unique, ces modèles la génèrent sous forme de séquence de jetons de chiffres individuels qui sont ensuite analysés pour être convertis en une valeur numérique exploitable, mappée à un point réel sur l’écran. Chaque jeton de chiffre est essentiellement traité par le modèle comme un choix catégoriel, similaire au choix d’un mot dans un vocabulaire, plutôt que comme une partie d’un nombre continu.
Impact de la valeur de position des chiffres sur le déplacement des coordonnées
Cette distinction devient cruciale une fois que les chiffres sont reconvertis en nombres. L’étude a montré que modifier d’une seule unité un chiffre à la position des centaines peut déplacer la composante de coordonnée correspondante de 100 unités une fois qu’elle est convertie en position à l’écran. En termes pratiques, un minuscule ajustement presque invisible d’un seul jeton peut envoyer un clic loin de sa cible prévue — une incohérence entre la façon dont le modèle « pense » les chiffres et la façon dont ces chiffres se comportent une fois transformés en pixels réels.
MissClick : attaques adversariales sur les modèles de grounding GUI
En s’appuyant directement sur cette découverte, le chercheur présente MissClick, une attaque adversariale en boîte blanche conçue pour exploiter le décalage entre la prédiction catégorielle des chiffres et la sortie en coordonnées numériques. Contrairement aux attaques adversariales génériques auxquelles les modèles GUI ont déjà été confrontés, MissClick est spécifiquement conçue autour de la structure en valeurs de position des coordonnées sérialisées en chiffres, plutôt que de traiter la sortie comme un simple texte ordinaire.
Variantes de l’attaque : MissClick-U et MissClick-T
MissClick se décline en deux variantes distinctes selon l’objectif de l’attaquant. MissClick-U est la version non ciblée, visant simplement à faire cliquer le modèle au mauvais endroit — tout point en dehors de la zone correcte est considéré comme une réussite. MissClick-T est la version ciblée, conçue pour diriger le clic vers une zone spécifique choisie par l’attaquant, plutôt que de simplement le dévier de manière aléatoire.
Objectifs d’attaque distincts et stratégies d’optimisation
Les deux variantes reposent sur des objectifs mathématiques différents, car la perturbation non ciblée et ciblée nécessite des conditions de réussite distinctes. MissClick-U fonctionne en maximisant ce que l’étude appelle le déplacement de coordonnées souples, poussant essentiellement le clic prédit aussi loin que possible de sa position correcte. MissClick-T, au contraire, minimise une perte de chiffre cible pondérée par la position, une technique qui privilégie spécifiquement la manipulation des chiffres de rang élevé, puisqu’ils produisent les plus grands sauts une fois la coordonnée analysée. Cette distinction entre ciblé et non ciblé reflète un point plus large dans la recherche sur la sécurité des modèles de visual grounding pour GUI : les attaquants optimisent différemment selon qu’ils recherchent le chaos ou la précision.
Évaluation expérimentale et taux de réussite des attaques
Les deux variantes de MissClick ont été testées face à des attaques existantes sur deux benchmarks établis, OS-Atlas et UGround, qui couvrent des tâches de grounding sur desktop, web et mobile. Les résultats montrent que cette vulnérabilité des coordonnées sérialisées en chiffres est loin d’être un cas marginal — elle est exploitable à grande échelle, les deux types d’attaque surpassant largement les méthodes précédentes.
Performances des attaques non ciblées sur OS-Atlas et UGround
MissClick-U a affiché des taux de réussite non ciblée de 75,07 % sur OS-Atlas et 72,93 % sur UGround, soit des améliorations respectives de 16,62 et 30,72 points de pourcentage par rapport aux attaques de référence existantes. Ce sont les scores les plus élevés parmi les objectifs testés pour la perturbation non ciblée, et l’étude attribue cet avantage spécifiquement à l’approche de déplacement de coordonnées souples.
Performances des attaques ciblées sur OS-Atlas et UGround
Les chiffres de MissClick-T racontent une histoire tout aussi frappante du côté ciblé, avec des taux de réussite de 44,86 % sur OS-Atlas et 62,67 % sur UGround, soit des gains de 31,73 et 47,06 points de pourcentage par rapport aux méthodes précédentes. Les taux de réussite des attaques MissClick rapportés ici confirment que l’optimisation de la perte de chiffre cible pondérée par la position est la stratégie la plus efficace lorsqu’un attaquant recherche la précision plutôt que la simple perturbation, puisqu’elle a systématiquement surpassé les autres objectifs ciblés testés dans l’étude.
Pris ensemble, l’écart entre les performances non ciblées et ciblées met en évidence une tension pratique : détourner un clic vers un point précis est intrinsèquement plus difficile que de simplement faire rater le modèle, car cela exige de contrôler simultanément plusieurs positions de chiffres plutôt que de simplement pousser un nombre vers l’extérieur. Cette asymétrie pourrait influencer la manière dont les défenses futures seront priorisées, puisqu’un modèle résistant aux ratés aléatoires n’est pas nécessairement résistant aux redirections précises — une distinction qui compte énormément pour tout système reposant sur des clics automatisés pour accomplir des tâches réelles.
FAQ
Quelle est la principale vulnérabilité exploitée par MissClick dans les modèles de grounding GUI ?
MissClick exploite le processus de génération de coordonnées sérialisées en chiffres, où chaque chiffre est un jeton catégoriel, et où les changements dans les chiffres de rang élevé entraînent de grands déplacements de coordonnées une fois que ces jetons sont convertis en nombres.
Quelles sont les deux variantes de l’attaque MissClick et quels sont leurs objectifs ?
MissClick-U est une attaque non ciblée qui maximise le déplacement des coordonnées pour perturber les clics de manière générale, tandis que MissClick-T est une attaque ciblée qui minimise une perte de chiffre cible pondérée par la position afin de détourner les coordonnées vers des régions spécifiées par l’attaquant.
Quelle est l’efficacité des attaques MissClick sur différents jeux de données ?
MissClick-U a atteint des taux de réussite non ciblée d’environ 75 % sur OS-Atlas et 73 % sur UGround, tandis que MissClick-T a atteint des taux de réussite ciblée d’environ 45 % sur OS-Atlas et 63 % sur UGround.
{« @context »: »https://schema.org », »@type »: »FAQPage », »mainEntity »:[{« @type »: »Question », »name »: »Quelle est la principale vulnérabilité exploitée par MissClick dans les modèles de grounding GUI ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »MissClick exploite le processus de génération de coordonnées sérialisées en chiffres, où chaque chiffre est un jeton catégoriel, et où les changements dans les chiffres de rang élevé entraînent de grands déplacements de coordonnées une fois que ces jetons sont convertis en nombres. »}},{« @type »: »Question », »name »: »Quelles sont les deux variantes de l’attaque MissClick et quels sont leurs objectifs ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »MissClick-U est une attaque non ciblée qui maximise le déplacement des coordonnées pour perturber les clics de manière générale, tandis que MissClick-T est une attaque ciblée qui minimise une perte de chiffre cible pondérée par la position afin de détourner les coordonnées vers des régions spécifiées par l’attaquant. »}},{« @type »: »Question », »name »: »Quelle est l’efficacité des attaques MissClick sur différents jeux de données ? », »acceptedAnswer »:{« @type »: »Answer », »text »: »MissClick-U a atteint des taux de réussite non ciblée d’environ 75 % sur OS-Atlas et 73 % sur UGround, tandis que MissClick-T a atteint des taux de réussite ciblée d’environ 45 % sur OS-Atlas et 63 % sur UGround. »}}]}
Article produit avec l’assistance de l’intelligence artificielle et relu par l’équipe éditoriale.
