Raisonnement latent abstrait : penser sans mots avec Abstract Chain-of-Thought

Abstract Chain-of-Thought (Abstract-CoT) est un mécanisme de raisonnement latent discret où le modèle génère une courte séquence de tokens issus d'un vocabulaire réservé en lieu d'une chaîne de pensée verbalisée. Un processus d'amorçage par itération de politique alterne entre distillation supervisée depuis un CoT verbal masqué et auto-distillation par décodage contraint. Après amorçage, le reinforcement learning optimise la génération de ces séquences abstraites. La méthode réduit jusqu'à 11,6× les tokens de raisonnement tout en maintenant des performances comparables sur des tâches mathématiques, de suivi d'instructions et de raisonnement multi-sauts.