RECHERCHE
Une théorie précise des algorithmes d'error feedback en optimisation distribuée
Une analyse de convergence serrée pour EF et EF21, deux algorithmes majeurs de compression de gradient en apprentissage distribué.
arXiv cs.AI · cs.LG · cs.CL·Daniel Berg Thomsen, Adrien Taylor, Aymeric Dieuleveut·29 mai 2026
Image · Source originale
Les coûts de communication constituent un goulot d'étranglement clé en apprentissage distribué. Compresser les gradients échangés dégrade les garanties de convergence, mais les mécanismes d'error feedback atténuent ce problème. Ce papier fournit des analyses de convergence optimales pour EF et EF21 en identifiant les meilleurs pas d'apprentissage et en construisant des fonctions de Lyapunov adaptées, avec des résultats indépendants du nombre d'agents.
Chaleur 0
Pertinence 45
Nouveauté 62