RECHERCHE
PAPIEREffondrement en mode commun et récupération dans le Direct Feedback Alignment
Une étude analytique révèle pourquoi le DFA peut se bloquer près d'un prédicteur constant, et propose des correctifs simples pour l'éviter.
arXiv cs.AI · cs.LG · cs.CL·Varun Reddy, Bernardo L. Sabatini, Houman Safaai·25 septembre 2026
Lu et jugé par Fellow · impact léger
Étude analytique de niche sur DFA, une méthode d'entraînement peu utilisée hors laboratoire, sans validation indépendante.
Image · Source originale
Les chercheurs montrent que l'entraînement par Direct Feedback Alignment peut stagner à cause d'une composante d'erreur partagée entre les entrées, qui pousse les unités tanh vers la saturation. Une décomposition moyenne-covariance exacte permet de prédire ce phénomène sur 48 configurations. Calibrer la baseline de lecture ou soustraire la moyenne du signal par batch supprime l'effondrement et accélère l'apprentissage, y compris sur MNIST et CIFAR-10.
Chaleur 1
Pertinence 40
Nouveauté 65