Quand les prompts supplantent la vision : hallucinations induites dans les LVLMs

HalluScope est un benchmark conçu pour mesurer l'impact des différents facteurs d'hallucination dans les grands modèles vision-langage (LVLMs). Les analyses révèlent que ces erreurs proviennent principalement d'une dépendance excessive aux priors textuels, notamment aux instructions. Pour y remédier, les auteurs proposent HalluVL-DPO, un cadre de fine-tuning par optimisation de préférence qui oriente les modèles vers des réponses mieux ancrées dans le visuel.