Cohérence optimiseur-modèle : le fine-tuning avec le même optimiseur réduit l'oubli catastrophique

Des chercheurs montrent que le full fine-tuning avec le même optimiseur qu'en pré-entraînement réduit l'oubli catastrophique tout en maintenant de bonnes performances sur les nouvelles tâches, un phénomène qu'ils nomment « optimizer-model consistency ». Les optimiseurs exercent des effets de régularisation sur les activations, façonnant le paysage autour des checkpoints pré-entraînés. La comparaison Muon/AdamW révèle que Muon tend vers la mémorisation par cœur, ce qui nuit à l'acquisition de patterns en SFT raisonné.