Contrôle exécutif déficient dans l'attention des transformers

Des chercheurs publiés dans PNAS Nexus analysent les mécanismes d'attention des architectures transformer à l'aune du contrôle exécutif cognitif humain. L'étude identifie des déficiences structurelles : contrairement au cerveau humain, les transformers manqueraient de mécanismes inhibiteurs et de flexibilité attentionnelle propres aux fonctions exécutives. Ces résultats soulèvent des questions fondamentales sur les limites cognitives des LLM actuels.