Quels tokens un modèle hybride prédit-il mieux ?

Une étude d'Allen AI publiée sur Hugging Face examine quels types de tokens bénéficient davantage des architectures hybrides combinant attention et mécanismes récurrents. L'analyse compare les performances token par token pour identifier les patterns linguistiques ou structurels mieux capturés par ces modèles mixtes. Ces résultats apportent un éclairage concret sur les avantages réels des approches hybrides face aux transformers purs.