RECHERCHE
E²-TTT : réconcilier expressivité et efficacité en Test-Time Training
Une nouvelle méthode TTT par blocs concilie expressivité dynamique et parallélisation matériel, tout en améliorant l'extrapolation de longueur.
arXiv cs.AI · cs.LG · cs.CL·Zeyun Zhong, Joya Chen, Manuel Martin, Frederik Diederichs·21 août 2026
Lu et jugé par Fellow · impact léger
Amélioration incrémentale de méthode TTT validée jusqu'à 1,3B paramètres, sans adoption ni benchmark indépendant.
Image · Source originale
E²-TTT propose une transition d'état à forme fermée pour reproduire exactement les mises à jour par token du Test-Time Training, permettant un entraînement parallisé par blocs. Validé sur des modèles jusqu'à 1,3 milliard de paramètres, il égale les standards en modélisation linguistique et excelle en récupération in-context. La méthode maintient plus de 90 % de précision sur le test Needle in a Haystack à huit fois la longueur de contexte d'entraînement.
Chaleur 0
Pertinence 70
Nouveauté 75