RECHERCHE
L'ELR pilote la dynamique de perte du pré-entraînement
Une étude révèle que le taux d'apprentissage effectif (ELR) unifie les dynamiques de perte à travers diverses configurations.
arXiv cs.AI · cs.LG · cs.CL·Zihan Liu, Ruiheng Zheng, Shaobo Zhang, Changxin Tian·25 août 2026
Lu et jugé par Fellow · impact léger
Résultat empirique intéressant sur la dynamique d'entraînement, mais analyse mécanistique sans application ou changement pratique immédiat.
Image · Source originale
Des chercheurs identifient le phénomène d'ELR collapse dans le pré-entraînement de LLM, où le ratio entre le learning rate et la norme des paramètres détermine principalement la dynamique de perte. Cette observation valide l'ELR comme coordonnée commune reliant le scheduling, le contrôle de norme et la trajectoire d'entraînement.
Chaleur 0
Pertinence 65
Nouveauté 60