TailLoR : protection des composantes principales en apprentissage continu efficace

TailLoR est une méthode de fine-tuning efficace en paramètres pour l'apprentissage continu (Continual Learning). Elle utilise les bases singulières U et V des poids pré-entraînés comme référentiel fixe, et apprend une mise à jour low-rank appliquée à la matrice des valeurs singulières. Une pénalité spectrale douce décourage les mises à jour alignées sur les directions singulières dominantes, limitant les interférences et concentrant l'adaptation dans les coordonnées spectrales de la longue traîne.