RECHERCHE
PAPIERPhases hors équilibre de l'auto-attention répulsive : chaos, condensation d'attention et localité émergente
Une étude théorique d'un transformer minimal révèle des transitions dynamiques complexes entre diffusion, chaos et condensation de l'attention.
arXiv cs.AI · cs.LG · cs.CL·Qucheng Gao, Zuyi Yang, Xiao Chen·23 septembre 2026
Lu et jugé par Fellow · impact notable
Étude théorique vérifiable formalisant des transitions dynamiques inédites (chaos, condensation, localité) dans un transformer minimal, sans changement de capacité pratique immédiat.
Image · Source originale
Des chercheurs analysent un transformer récurrent minimal où l'attention devient répulsive via une carte de valeur négative. Selon la force de rétroaction γ et la dimension, le système traverse des phases variées : mouvement stable, bifurcations, chaos, condensation d'attention et fragmentation en clusters. Ces résultats formalisent des transitions dynamiques inédites dans les mécanismes d'attention.
Chaleur 0
Pertinence 35
Nouveauté 75