Pondération sélective et replay par avantage pour un RLHF diffusion plus efficace

Des chercheurs proposent deux mécanismes pour améliorer l'efficacité en feedback du RLHF appliqué aux modèles de diffusion. Le premier repondère les pas de débruitage selon leur contribution au signal de récompense, avec une justification théorique via PPO. Le second introduit un mécanisme de replay qui priorise les trajectoires informatives, évitant de solliciter de nouveaux retours à chaque itération. Ensemble, ces approches réduisent significativement le nombre d'évaluations requises sans sacrifier la généralisation.