Toutes les news taguées avec ce sujet.
Un nouveau framework limite les fuites d'information et préserve la capacité d'exploration des LLMs lors de la distillation sur politique.
Un nouveau paradigme de distillation pour LLM et VLM qui contourne l'illusion de privilège en routant dynamiquement la supervision token par token.
Des chercheurs montrent que l'auto-distillation avec démonstrations améliore le pass@1 mais détériore significativement la diversité des sorties et les performances en distribution.