RECHERCHE
Natural Ungrokking : pourquoi certaines règles disparaissent en cours de préentraînement
Un LLM peut apprendre puis oublier une règle grammaticale en plein préentraînement, sans que la loss curve ne le signale. Les auteurs baptisent ce phénomène « natural ungrokking ».
arXiv cs.AI · cs.LG · cs.CL·Juliana Li, Diya Sreedhar·24 juin 2026
Image · Source originale
À mi-parcours d'un préentraînement classique, un petit LLM acquiert une règle (résolution de pronom genré), puis la perd complètement autour du pas 3 500, alors que la donnée correspondante est toujours présente. Ce phénomène, baptisé « natural ungrokking », est prédit par une seule statistique : la fréquence à laquelle la règle l'emporte dans le corpus. Le contrôle est asymétrique : supprimer la règle par contre-exemples est possible, mais la restaurer par injection de support ne fonctionne pas, même à 450× le niveau naturellement suffisant.
Chaleur 36
Pertinence 72
Nouveauté 82