RECHERCHE
CHARM : un modèle de fondation pour graphes multimodaux à modélisation contextuelle hiérarchique pour le transfert zero-shot
Un nouveau modèle vise à généraliser sur des graphes multimodaux inédits sans adaptation ni fine-tuning, en modélisant des contextes hiérarchiques partagés.
arXiv cs.AI · cs.LG · cs.CL·Ankang Yang, Jitao Zhao, Di Jin, Yuxiao Huang·28 juillet 2026

Image · Source originale
CHARM est un modèle de fondation pour graphes multimodaux conçu pour le transfert zero-shot entre domaines. Il remplace les nœuds isolés par des contextes de graphe hiérarchiques capturant la sémantique multimodale et les relations cross-modales, réduisant ainsi la dépendance à l'adaptation sur le domaine cible. Un encodeur de contexte sensible aux modalités permet d'aligner motifs spécifiques au domaine et concepts partagés de haut niveau.