RECHERCHE
FORE : estimation des ratios d'occupation sans complétude de Bellman
Une méthode itérative par point fixe pour estimer les ratios d'occupation en RL offline, sans hypothèse de complétude de Bellman.
arXiv cs.AI · cs.LG · cs.CL·Lars van der Laan, Nathan Kallus·6 juillet 2026
Image · Source originale
FORE (Fitted Occupancy-Ratio Evaluation) est une méthode de point fixe adjoint qui caractérise le ratio d'occupation actualisé via une récursion de Bellman adjointe. À chaque itération, elle résout un objectif de ratio de densité sur des données de transition, en projetant l'image Bellman adjointe sur une classe de log-ratios en divergence KL. La seule condition requise est la réalisabilité du ratio d'occupation lui-même, sans complétude de Bellman. Des bornes de regret en échantillon fini établissent la convergence en KL jusqu'à l'erreur d'approximation.
Chaleur 27
Pertinence 45
Nouveauté 72