Distillation on-policy directe pour la généralisation weak-to-strong

Direct-OPD (Direct On-Policy Distillation) exploite le décalage de politique induit par le RL sur un modèle faible (le ratio log post-RL / pré-RL) comme récompense dense implicite pour entraîner un modèle plus fort. La méthode évite de répéter le RLVR coûteux sur chaque nouveau grand modèle. Sur Qwen3-1.7B, elle fait progresser le score AIME 2024 de 48,3 % à 62,4 % en 4 heures sur 8 GPU A100, surpassant le RL direct à budget égal.