Toutes les news taguées avec ce sujet.
Pion propose une alternative à Adam et Muon pour l'entraînement des LLM en conservant les valeurs singulières des matrices de poids tout au long du processus.