RECHERCHE
JACTUS : compression et adaptation des LLM unifiées dans un seul framework
Une nouvelle méthode joint compression low-rank et fine-tuning PEFT en une seule passe, surpassant les approches séquentielles sur ViT et Llama2.
arXiv cs.AI · cs.LG · cs.CL·Jingze Ge, Yun Liu, Xue Geng, Wanqi Dong·4 mai 2026

Image · Source originale
JACTUS (Joint Adaptation and Compression with a Task-aware Union of Subspaces) propose de réaliser simultanément la compression low-rank et l'adaptation de modèles pré-entraînés, là où les approches classiques enchaînent ces deux étapes séparément. En estimant les covariances d'entrée et de gradient, le framework construit un sous-espace unifié guidé par la tâche cible. Sur ViT-Base, il atteint 89,2 % de précision moyenne à 80 % des paramètres conservés, dépassant DoRA (87,9 %) opérant à 100 %. Sur Llama2-7B (QA de bon sens), il affiche 80,9 % dans le même budget de paramètres.