Les modèles qui associent des images à de longues descriptions peuvent manquer un contexte utile en se concentrant trop fortement sur le contenu visuellement proéminent. Une étude de Qiuyu Kong et trois coauteurs propose un cadre d’alignement image-texte sensible à la saillance, appelé RoSA, pour remédier à cette défaillance, que les chercheurs appellent « effondrement de la saillance ».
Le problème ne se résume pas à un manque d’informations. Les auteurs décrivent des modèles qui s’appuient fortement sur le texte lié aux caractéristiques visuelles proéminentes tout en négligeant un contexte moins visible mais informatif. Lorsque le contenu saillant est réduit, les performances de recherche chutent fortement, même si des informations contextuelles utiles demeurent.
L’étude met en contraste ce mode de défaillance avec les priorités des approches existantes, qui se concentrent principalement sur l’extension de la longueur du contexte ou l’amélioration de l’alignement local. Elle se concentre sur l’apprentissage à partir des détails proéminents et du contexte qui les entoure.
Comment RoSA aborde l’alignement image-texte sensible à la saillance
RoSA sépare les paires image-texte en vues saillantes et contextuelles et s’entraîne sur les deux simultanément. Le cadre de réglage fin proposé est conçu pour apprendre les caractéristiques proéminentes sans négliger les informations moins évidentes visuellement qui les accompagnent.
Sa méthode de décomposition combine une estimation de la saillance visuelle au niveau des objets avec une décomposition du texte effectuée par un grand modèle de langage. Ces deux composants séparent le matériel visuel et textuel en vues complémentaires pour un apprentissage conjoint.
Les chercheurs introduisent également des objectifs d’alignement auxiliaires : des objectifs d’entraînement supplémentaires qui alignent explicitement ces vues. Pour l’alignement image-texte sensible à la saillance, l’objectif est une représentation qui intègre à la fois les caractéristiques saillantes et les informations contextuelles.
Les auteurs rapportent une amélioration de la recherche image-texte avec longs textes sur plusieurs jeux de référence. Ils décrivent également les objectifs auxiliaires comme plug-and-play, ce qui leur permet d’améliorer les méthodes de réglage existantes. Le code et les points de contrôle des modèles sont disponibles publiquement.
Article produit avec l’assistance de l’intelligence artificielle et relu par l’équipe éditoriale.




