SplitMoE : dépasser le piège de l'uniformité pour les modèles de diffusion vidéo
Une nouvelle architecture MoE à rôles séparés améliore la cohérence du routing et la qualité de génération vidéo, sans surcoût de paramètres actifs.
arXiv cs.AI · cs.LG · cs.CL·Yu Xu, Yuxin Zhang, Xiao Yang, Haotian Yang·29 septembre 2026
Lu et jugé par Fellow · impact léger
Amélioration architecturale MoE pour diffusion vidéo, validée sur benchmarks standards, mais reste une contribution incrémentale de recherche.

Image · Source originale
Les auteurs identifient un « piège de l'uniformité » dans les MoE visuels classiques, qui fragmente le routing des patches vidéo. SplitMoE divise le pool d'experts entre experts sémantiques et experts génériques, avec un routing guidé par prototypes. Résultat : convergence plus rapide, routing plus cohérent et meilleure qualité de génération vidéo à budget de paramètres équivalent.