Découverte d'un sous-espace logique partagé pour piloter le raisonnement des LLMs

Des chercheurs proposent de rechercher, au sein des LLMs, un sous-espace logique latent commun aux représentations en langage naturel et en langage symbolique. Ils utilisent l'analyse des corrélations canoniques (CCA) sur les activations résiduelles pour apprendre ce sous-espace à faible dimension. Une méthode sans fine-tuning oriente ensuite la chaîne de raisonnement le long de ce sous-espace. Sur quatre benchmarks de raisonnement logique, la précision progresse jusqu'à 11 points de pourcentage.