LoRA revisité : panorama technique du fine-tuning efficace pour grands modèles

Cet article propose une analyse approfondie de Low-Rank Adaptation (LoRA), standard dominant du fine-tuning efficace en paramètres (PEFT). Les auteurs revisitent ses fondements via le prisme du traitement du signal, en reliant les designs d'adaptateurs modernes aux outils classiques de modélisation low-rank. Trois axes structurent l'étude : conception architecturale (SVD, augmentation de rang, tenseurs inter-couches), optimisation efficace (initialisation, solveurs alternés, invariance de jauge) et applications tout au long du cycle de vie des grands modèles.