Convergence et regret du gradient de politique pour les bandits multi-bras en environnement de diffusion

Cette étude examine la mise à jour par gradient de politique dans un problème de bandit multi-bras modélisé par une équation différentielle stochastique, dans le cadre du reinforcement learning en temps continu. Avec une paramétrisation logit de la politique stochastique, les auteurs démontrent une convergence presque sûre vers le bras optimal pour tout taux d'apprentissage constant, ainsi qu'une borne de regret non asymptotique en O(log T) sous certaines conditions. Une nouvelle fonction de Lyapunov permet d'affiner les analyses précédentes et s'applique également au cas discret.