RECHERCHE
PAPIERWeight Pair Encoding : réduire la grammaire des poids d'un réseau de neurones par fine-tuning
Une méthode entraîne explicitement les poids d'un réseau à admettre une grammaire compressée plus petite, via un estimateur straight-through.
arXiv cs.AI · cs.LG · cs.CL·Irene Tallini, Daniele Solombrino, Alberto Cazzaniga, Emanuele Rodolà·25 septembre 2026
Lu et jugé par Fellow · impact léger
Preuve de concept limitée à des MLP de ViT fine-tunés sur CIFAR-10, sans application pratique démontrée à grande échelle.
Image · Source originale
WeightPE intègre un compresseur Re-Pair avec perte dans un estimateur straight-through pour réécrire les poids int8 d'un réseau sous forme de motifs hiérarchiques réutilisables. Sur les MLP de ViT-B/16 et ViT-L/16 fine-tunés sur CIFAR-10, la grammaire obtenue est 0,43x et 0,38x plus petite qu'un QAT int8 équivalent, pour un coût de 1,9 et 1,1 points de précision. L'approche généralise aussi à d'autres compresseurs (LZ78, SEQUITUR) non utilisés à l'entraînement.
Chaleur 1
Pertinence 40
Nouveauté 78