RECHERCHE
SLORR : régularisation low-rank légère et efficace pendant l'entraînement
Une méthode de régularisation sans état qui améliore la compressibilité des réseaux de neurones avec moins de 1 % de surcoût à l'entraînement.
arXiv cs.AI · cs.LG · cs.CL·David González-Martínez, Shiwei Liu·9 juillet 2026
Image · Source originale
SLORR est un framework de régularisation low-rank applicable durant l'entraînement, sans modification d'architecture ni recours à des SVD coûteuses. Il propose deux variantes basées sur la métrique de Hoyer et la norme nucléaire, avec des approximations GPU-friendly dont les garanties sont établies théoriquement. Évalué sur ImageNet-1K (ResNet-50, ViT-B/16, ViT-L/16) et en préentraînement de LLM à 135 M et 560 M de paramètres, SLORR améliore significativement la compressibilité avec moins de 8 % de surcoût d'entraînement, voire moins de 1 % pour les LLM.
Chaleur 28
Pertinence 62
Nouveauté 65