Toutes les news taguées avec ce sujet.
Un LLM peut apprendre puis oublier une règle grammaticale en plein préentraînement, sans que la loss curve ne le signale. Les auteurs baptisent ce phénomène « natural ungrokking ».