RECHERCHE
PAPIERCMA-OT : supervision experte hiérarchique pour la génération de musique à partir de danse
Une méthode d'alignement multi-échelle par transport optimal améliore la cohérence structurelle de la musique générée depuis des vidéos de danse.
arXiv cs.AI · cs.LG · cs.CL·Jinting Wang, Chenxing Li, Dong Yu, Li Liu·11 septembre 2026
Lu et jugé par Fellow · impact léger
Article de recherche académique évalué par les pairs (ACM MM 2026) sans implémentation publique immédiate.
Image · Source originale
Les auteurs proposent CMA-OT, un cadre exploitant un modèle musical expert externe pour superviser hiérarchiquement les représentations latentes d'un générateur dance-to-music. Une stratégie d'apprentissage curriculaire multi-échelle transfère progressivement les connaissances musicales, tandis qu'un mécanisme de transport optimal sensible à l'échelle aligne finement les représentations malgré les décalages temporels. L'approche vise à combler l'écart sémantique entre les indices de danse épars et la richesse structurelle requise en composition musicale.
Chaleur 0
Pertinence 40
Nouveauté 65