Re³Cap : affinement de légendes guidé par retrieval via RL
Une méthode RL exploitant le retrieval multimodal pour réduire les hallucinations et améliorer les légendes d'images.
arXiv cs.AI · cs.LG · cs.CL·Haonan Jia, Shichao Dong, Zenghui Sun, Jiawen Zheng·21 août 2026
Lu et jugé par Fellow · impact léger
Article de recherche académique sur ArXiv proposant une méthode d'affinement de légendes par RL.

Image · Source originale
Re³Cap est une stratégie guidée par le retrieval multimodal pour affiner les légendes d'images via Reinforcement Learning. Elle identifie et corrige les hallucinations et omissions sans annotations supplémentaires, dépassant les performances du Supervised Fine-Tuning. La méthode surpasse GRPO de 8,64% sur le benchmark COCO-LN500 en raisonnement relationnel.