RECHERCHE
TREK : distillation pour l'exploration, renforcement pour l'affinement
TREK combine distillation et GRPO pour débloquer les prompts difficiles que le modèle étudiant ne sait pas résoudre seul.
arXiv cs.AI · cs.LG · cs.CL·Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov·6 juillet 2026
Image · Source originale
TREK (Teacher-Routed Exploration via Forward KL) est une procédure en deux étapes qui utilise la distillation non pas pour l'imitation mais pour élargir le support d'exploration du modèle étudiant. Sur les prompts difficiles à faible taux de réussite, un teacher (boîte noire ou blanche) génère des solutions vérifiées, sélectionnées par vraisemblance et intégrées via KL forward avant un retour au GRPO standard. Sur Qwen3-8B, TREK améliore l'AIME 2025 de 36,9 à 40,3 et l'AIME 2024 de 47,9 à 51,1 (avg@16), avec des gains également constatés sur les tâches agentiques.
Chaleur 43
Pertinence 72
Nouveauté 68