RECHERCHE
R-DMesh : animation 3D guidée par vidéo via un flux de maillage dynamique rectifié
Un framework unifié résout le problème de désalignement de pose entre un mesh statique fourni par l'utilisateur et une vidéo de référence.
arXiv cs.AI · cs.LG · cs.CL·Zijie Wu, Lixin Xu, Puhua Jiang, Sicong Liu·13 mai 2026

Image · Source originale
R-DMesh propose une architecture VAE qui disentangle un mesh d'entrée en pose de base conditionnelle, trajectoires de mouvement relatif et un offset de rectification, permettant d'aligner automatiquement la pose initiale du mesh avec celle de la vidéo. Un mécanisme Triflow Attention exploite les features géométriques vertex par vertex pour garantir cohérence physique et rigidité locale. La génération repose sur un Diffusion Transformer à flux rectifié conditionné sur des latents vidéo pré-entraînés, transférant des priors spatio-temporels riches vers le domaine 3D.