Les Transformers sont intrinsèquement succincts

Ce papier de recherche argumente formellement que les architectures Transformer présentent une propriété d'économie de représentation inhérente à leur structure. Les auteurs établissent des garanties théoriques sur la capacité des Transformers à encoder l'information de manière concise, indépendamment du processus d'entraînement. Ces résultats éclairent pourquoi les LLMs basés sur cette architecture parviennent à généraliser efficacement malgré leur complexité.