Toutes les news taguées avec ce sujet.
Des chercheurs proposent un cadre théorique et un nouvel optimiseur pour lutter contre la perte de plasticité des réseaux de neurones en apprentissage continu.
Pion propose une alternative à Adam et Muon pour l'entraînement des LLM en conservant les valeurs singulières des matrices de poids tout au long du processus.
Utiliser le même optimiseur en pré-entraînement et en SFT améliore le compromis apprentissage/oubli, surpassant même LoRA selon cette étude.