RECHERCHE
DemoPSD : auto-distillation de politique modulée par le désaccord
Un nouveau framework limite les fuites d'information et préserve la capacité d'exploration des LLMs lors de la distillation sur politique.
arXiv cs.AI · cs.LG · cs.CL·Yunhe Li, Hao Shi, Wenhao Liu, Mengzhe Ruan·2 juillet 2026
Image · Source originale
DemoPSD propose une approche d'auto-distillation sur politique (OPSD) pour les LLMs où l'adoption des signaux enseignant est sélective plutôt que systématique. Le framework cible un barycentre KL-inverse entre les distributions enseignant et étudiant, pondéré par leur désaccord token par token. Cette méthode réduit théoriquement les fuites d'information privilégiée et maintient la capacité d'exploration, avec des gains empiriques sur SciKnowEval.
Chaleur 6
Pertinence 62
Nouveauté 72