Gains fantômes : auditer l'auto-amélioration face à un témoin mesuré

En auditant trois cycles de self-training LoRA sur Qwen3-8B avec un modèle témoin figé, les auteurs identifient sept failures de mesure qui inversent des résultats publiés. Ils proposent un test exact par problème avec contrôle du taux de fausses découvertes, qui ne détecte aucun effet sur les réplicats testés. L'analyse montre que la distillation externe améliore des problèmes que le modèle de base atteint rarement, contrairement à trois formes de self-training, écart non expliqué par le seul gain global.