SubQ : un LLM à complexité sous-quadratique

SubQ est un LLM conçu autour d'un mécanisme d'attention sub-quadratique, visant à réduire la complexité computationnelle des transformers classiques. L'approche cible les limitations d'échelle liées à la complexité O(n²) de l'attention standard. Le projet, publié par Nigel Gutzmann, semble proposer une alternative architecturale aux modèles Transformer traditionnels.