RECHERCHE
VAORA : aligner le raisonnement visuel et l'action pour la physique interactive
Un nouveau mécanisme de récompense double pour ancrer le raisonnement des VLMs dans la réalité physique et réduire les hallucinations dans les tâches interactives.
arXiv cs.AI · cs.LG · cs.CL·Han-Jun Ko, Jr-Jen Chen, Haobo Yuan, Hsin-Ying Lee·7 juillet 2026
Image · Source originale
VAORA (Visual Action Outcome Reasoning Alignment) propose deux récompenses complémentaires pour corriger les défaillances des VLMs en raisonnement physique interactif : une Visual Alignment Reward ancrant le raisonnement au contexte visuel, et une Visual-Action Alignment Reward liant le raisonnement aux conséquences visuelles de l'action. Ce mécanisme réduit les chaînes de pensée (CoT) hallucinnées et le décalage raisonnement-comportement. Les expériences sur PHYRE et Virtual Tool confirment une meilleure généralisation sur des tâches et environnements inédits.
Chaleur 11
Pertinence 62
Nouveauté 72