RECHERCHE
Adaptation et récupération sélectives par espace d'états pour le raisonnement des LLM
Deux nouveaux adaptateurs inspirés de Mamba ajoutent une mémoire dynamique au LoRA, avec des gains mesurables sur le raisonnement multi-sauts.
arXiv cs.AI · cs.LG · cs.CL·Atahan Dokme, Larry Heck·21 juillet 2026
Image · Source originale
Les auteurs proposent MaLoRA et MaRA, deux variantes de LoRA intégrant une récurrence de type espace d'états, respectivement au niveau du token et du contexte. Testées sur trois backbones figés (Qwen-2.5-7B, Llama-3.1-8B, Gemma-2-9B) et deux benchmarks de raisonnement multi-hop, ces méthodes améliorent l'accuracy de +6,8 F1 en moyenne, jusqu'à +9,3 F1 sur la configuration la plus difficile, par rapport au LoRA classique.
Chaleur 5
Pertinence 55
Nouveauté 65