RECHERCHE
Apprentissage actif par activations pour l'in-context learning : limites et enseignements
Une étude teste si les activations MLP des LLM peuvent guider la sélection d'exemples en in-context learning — et conclut par la négative.
arXiv cs.AI · cs.LG · cs.CL·Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton·3 juin 2026
Image · Source originale
Des chercheurs ont évalué si les activations des couches MLP de modèles comme Llama-3.2-3B et Qwen2.5-3B pouvaient servir de signal pour sélectionner les meilleurs exemples en in-context learning. Résultat négatif : le coefficient de corrélation de Spearman ne dépasse pas 0,33, quelle que soit la tâche ou le modèle. Les auteurs attribuent cet échec au phénomène de superposition et suggèrent que les Sparse Autoencoders (SAEs) pourraient constituer une piste plus prometteuse.
Chaleur 1
Pertinence 62
Nouveauté 55