RECHERCHE
Un instrument exact pour mesurer l'usage des états dans les modèles state-space sélectifs (Mamba)
Une nouvelle méthode révèle que les modèles Mamba réallouent dynamiquement leurs modes d'état selon l'entrée, ouvrant la voie à un élagage plus efficace.
arXiv cs.AI · cs.LG · cs.CL·Raktim Bhattacharya·13 juillet 2026
Image · Source originale
Les auteurs proposent un outil exact pour quantifier comment les modèles state-space sélectifs comme Mamba utilisent leurs modes internes. Appliqué à la famille Mamba (130M-2,8B), à Falcon-Mamba 7B et à Mamba-2, l'instrument révèle que l'allocation des modes migre selon le contexte d'entrée, principalement via la matrice d'écriture B_t plutôt que via le timestep associé à la sélectivité. L'élagage de modes guidé par cette mesure surpasse les approches statiques existantes à toutes les échelles testées.
Chaleur 3
Pertinence 55
Nouveauté 75