Expressivité de l'attention locale dans les Transformers : une analyse formelle

Des chercheurs formalisent l'impact de l'attention locale dans les Transformers via la théorie des langages réguliers et la logique temporelle linéaire. Ils prouvent que l'attention locale introduit un second opérateur temporel absent de l'attention globale, élargissant strictement la classe de langages reconnaissables. Attention globale et locale sont expressément complémentaires : leur combinaison produit le fragment le plus riche. Des expériences sur la reconnaissance de langages formels et la modélisation du langage naturel confirment que les Transformers hybrides surpassent les modèles à attention globale seule.