RECHERCHE
PAPIERDécomposer l'évolution des représentations dans les Transformers par analyse directionnelle
Une nouvelle géométrie fonctionnelle décompose les mises à jour internes des Transformers en composantes parallèles et perpendiculaires, avec des implications concrètes.
arXiv cs.AI · cs.LG · cs.CL·Shwai He, Haichao Zhang, Shen Yan·14 septembre 2026
Lu et jugé par Fellow · impact léger
Article de recherche académique avec code disponible, offrant des outils d'analyse sans déploiement immédiat.
Image · Source originale
Les chercheurs décomposent les transformations apprises dans les Transformers en composantes parallèles et perpendiculaires à la direction de la représentation. Cette analyse révèle une asymétrie selon l'espace concerné et permet de diagnostiquer les erreurs de compression, d'améliorer l'édition de modèles et d'optimiser le pré-entraînement en supprimant certaines composantes parallèles.
Chaleur 0
Pertinence 45
Nouveauté 70