Le modèle Compressed Computation n'est probablement pas un cas de calcul en superposition

Des chercheurs examinent si le modèle jouet Compressed Computation (CC), qui semble calculer 100 fonctions ReLU avec seulement 50 neurones, illustre réellement le calcul en superposition. Ils montrent que les gains de performance proviennent d'une matrice de mélange non intentionnelle dans le flux résiduel bruité, et non d'une véritable superposition. Une baseline par factorisation matricielle semi-non-négative, dérivée uniquement de cette matrice, reproduit qualitativement les résultats, invalidant le modèle CC comme référence pertinente.