RECHERCHE
Lychee-FD : modélisation hiérarchique acoustico-sémantique pour les SLM full-duplex
Un nouveau framework résout les conflits de gradients entre modalités acoustique et sémantique qui dégradaient les modèles de parole full-duplex natifs.
arXiv cs.AI · cs.LG · cs.CL·Zhenyu Liu, Yunxin Li, Xuanyu Zhang, Qixun Teng·7 juillet 2026
Image · Source originale
Les Spoken Language Models (SLM) full-duplex souffrent d'interférences entre modalités acoustique et sémantique lorsqu'elles partagent un espace de paramètres profond, générant des conflits de gradients. Lychee-FD introduit une séparation hiérarchique des paramètres dans les couches profondes tout en maintenant la cohérence cross-modalité via un canal d'alignement sémantique dédié. Les expériences montrent +7,4 % en Spoken QA et +28,5 % sur FullDuplexBench 1.5, sans perte d'efficacité à l'inférence.
Chaleur 14
Pertinence 62
Nouveauté 74