RECHERCHE
Teacher Forcing comme Bayes généralisé : inadéquation géométrique pour les dynamiques chaotiques
Une étude théorique révèle pourquoi le teacher forcing crée une distorsion de courbure par rapport à la vraisemblance marginale dans les réseaux récurrents pour systèmes chaotiques.
arXiv cs.AI · cs.LG · cs.CL·Andre Herz, Daniel Durstewitz, Georgia Koppe·28 avril 2026
Image · Source originale
Le teacher forcing identitaire (ITF) stabilise l'entraînement des réseaux récurrents pour la reconstruction de systèmes dynamiques chaotiques, mais ne correspond pas à la géométrie de la vraisemblance marginale. Les auteurs analysent cette inadéquation via l'identité de Louis dans un cadre de commutation probabiliste d'AL-RNN, montrant que l'ITF gonfle la courbure. Sur Lorenz-63, un fine-tuning par vraisemblance améliorée dégrade certaines quantités d'intérêt dynamiques.
Chaleur 0
Pertinence 40
Nouveauté 65