JACTUS : compression et adaptation des LLM unifiées dans un seul framework

JACTUS (Joint Adaptation and Compression with a Task-aware Union of Subspaces) propose de réaliser simultanément la compression low-rank et l'adaptation de modèles pré-entraînés, là où les approches classiques enchaînent ces deux étapes séparément. En estimant les covariances d'entrée et de gradient, le framework construit un sous-espace unifié guidé par la tâche cible. Sur ViT-Base, il atteint 89,2 % de précision moyenne à 80 % des paramètres conservés, dépassant DoRA (87,9 %) opérant à 100 %. Sur Llama2-7B (QA de bon sens), il affiche 80,9 % dans le même budget de paramètres.