Les activations internes trahissent-elles la familiarité d'un modèle avec une entité avant qu'il réponde ?

Des chercheurs ont sondé quatre modèles polonais Bielik (1,5B-11B paramètres) pour déterminer si leurs activations internes révèlent la familiarité avec une entité avant toute génération de réponse. Deux mesures non supervisées — inverse participation ratio et entropie spectrale — sur les activations post-SwiGLU MLP distinguent entités connues et entités fabriquées avec un AUROC de 0,95 à 1,00. Ce signal représentationnel est déjà à saturation dès 1,5B de paramètres, tandis que la fiabilité factuelle comportementale s'améliore nettement avec l'échelle.