Une startup affirme avoir levé un verrou algorithmique qui freine les LLM

La startup américaine Subquadratic affirme que son modèle SubQ contourne le coût quadratique des transformers classiques via une attention creuse (sparse attention), évitant les comparaisons inutiles entre tokens. La société tiers Appen rapporte que SubQ s'exécute 56 fois plus vite que les approches concurrentes et atteint 98 % sur un test de récupération de documents longs. Des interrogations subsistent : le modèle n'est pas encore largement disponible et ses poids seraient dérivés d'un modèle open-source chinois existant.