Des lois d'échelle pour les Mixture-of-Experts en boucle

Les chercheurs introduisent les « Loop Scaling Laws », premières lois d'échelle à combiner récurrence (transformers en boucle) et sparsité (Mixture-of-Experts). Elles prédisent mieux la perte des modèles bouclés que les approches existantes et englobent les lois classiques comme cas particuliers. À taille de calcul équivalente, un MoE bouclé égale un MoE non bouclé deux fois plus grand sur des benchmarks de raisonnement, tout en permettant du test-time scaling via la récurrence.