RECHERCHE
κ-LoRA : le nombre de conditionnement révèle quelles matrices LoRA méritent d'être mises à jour
Une méthode sélective réduit de moitié les paramètres entraînables du fine-tuning LoRA en ciblant les matrices les plus informatives.
arXiv cs.AI · cs.LG · cs.CL·Jianghui Wang, Silong Yong, Francesco Orabona, Marco Canini·24 juillet 2026
Image · Source originale
Les chercheurs montrent que les matrices LoRA à fort nombre de conditionnement contiennent les directions sous-développées qui pilotent l'essentiel des gains de performance. En limitant les mises à jour aux 50% de matrices ayant le nombre de conditionnement le plus élevé, κ-LoRA réduit le nombre de paramètres entraînables, le temps de calcul et la mémoire nécessaire, tout en maintenant les performances sur plusieurs benchmarks.
Chaleur 1
Pertinence 55
Nouveauté 65