RECHERCHE
Une startup affirme avoir levé un verrou algorithmique qui freine les LLM
Subquadratic, basée à Miami, dit avoir résolu le problème de complexité quadratique des LLM grâce à la « sparse attention ». Des tests indépendants semblent prometteurs.
MIT Technology Review · IA·Will Douglas Heaven·19 juin 2026
Image · Source originale
La startup américaine Subquadratic affirme que son modèle SubQ contourne le coût quadratique des transformers classiques via une attention creuse (sparse attention), évitant les comparaisons inutiles entre tokens. La société tiers Appen rapporte que SubQ s'exécute 56 fois plus vite que les approches concurrentes et atteint 98 % sur un test de récupération de documents longs. Des interrogations subsistent : le modèle n'est pas encore largement disponible et ses poids seraient dérivés d'un modèle open-source chinois existant.
Chaleur 39
Pertinence 82
Nouveauté 68