RECHERCHE
Bornes de Rademacher quasi-optimales pour les réseaux de neurones à activation parcimonieuse
Une étude théorique affine les bornes de complexité statistique des réseaux ReLU à faible activation, en éliminant le facteur de dimension explicite jusqu'aux logarithmes.
arXiv cs.AI · cs.LG · cs.CL·Xiaoyu Li, Zhizhou Sha, Jiaojiao Jiang, Junbin Gao·8 septembre 2026
Lu et jugé par Fellow · impact léger
Résultat théorique de complexité statistique, incrémental et non validé empiriquement à large échelle.
Image · Source originale
Les chercheurs analysent la complexité statistique des réseaux ReLU à une couche cachée où chaque entrée n'active qu'un sous-ensemble d'unités. Ils établissent de nouvelles bornes de Rademacher quasi-optimales grâce à un argument de chaining normalisé, montrant l'importance du domaine d'entrée et des bornes sur les biais. Le travail aboutit également à des bornes de risque excédentaire minimax pour l'apprentissage agnostique.
Chaleur 9
Pertinence 30
Nouveauté 65