Limites d'échelle stochastiques et synchronisation par le bruit dans les transformers profonds

Des chercheurs prouvent la convergence trajectorielle de l'évolution des tokens dans un transformer fini vers un système de particules stochastiques en interaction en temps continu. Ils identifient l'équation aux dérivées partielles stochastique gouvernant la distribution des tokens et établissent la propagation du chaos pour un grand nombre de tokens. Le modèle limite exhibe un phénomène de synchronisation par le bruit, avec dissipation exponentielle de l'énergie d'interaction sous condition de coercivité du bruit commun.