RECHERCHE
PAPIERAbstention et filtrage du bruit : deux primitives manquantes de l'attention softmax
Une étude identifie deux mécanismes distincts expliqués par le gating de la voie de valeur dans les modèles de langage : abstention et filtrage du bruit.
arXiv cs.AI · cs.LG · cs.CL·Richard Zhe Wang·18 septembre 2026
Lu et jugé par Fellow · impact léger
Étude mécanistique sur modèles 10M-350M expliquant un gain déjà connu du gating, sans nouvelle architecture ni résultat SOTA vérifié à grande échelle.
Image · Source originale
Les auteurs montrent que le gating de la voie de valeur dans l'attention apporte deux bénéfices distincts : l'abstention, qui permet à une tête d'attention de ne rien produire, et le filtrage du bruit, qui supprime les interférences des features superposées. Sur des modèles de 10M à 350M de paramètres, l'abstention domine aux petites échelles tandis que le filtrage du bruit devient prédominant à plus grande échelle. Le meilleur modèle combine toujours les deux primitives, avec un coût en paramètres négligeable et compatibilité avec le cache KV.
Chaleur 0
Pertinence 55
Nouveauté 70