RECHERCHE
PAPIERDécoder les Transformers bouclés en mieux, presque gratuitement
Une méthode de décodage contrastif sans entraînement exploite les états intermédiaires des Transformers bouclés pour gagner en précision et en efficacité.
arXiv cs.AI · cs.LG · cs.CL·Weihao Liu, Huangjie Zheng, Tianrong Chen, Rohit Dilip·1 octobre 2026
Lu et jugé par Fellow · impact léger
Méthode training-free avec gains mesurés sur benchmarks publics, mais portée limitée aux architectures Looped Transformers, peu répandues.
Image · Source originale
LoopCD contraste la prédiction finale d'un Transformer bouclé avec un passage récurrent antérieur pour guider le choix des tokens, sans modèle auxiliaire ni entraînement supplémentaire. Sur quatre familles de Transformers bouclés, la méthode améliore significativement les performances : le pass@1 d'Ouro-2.6B-Thinking sur AIME 2024 passe de 61,88% à 73,33%. Elle permet aussi de réduire de moitié le nombre de boucles récurrentes tout en égalant les performances de base, diminuant les FLOPs de 22,5% à 48,2%.
Chaleur 16
Pertinence 55
Nouveauté 70