Ne laissez pas le LLM parler, sondez directement son état interne

L'article explore l'utilisation de sondes (probes) sur les états cachés des LLM pour extraire de l'information sans passer par la génération de texte. Cette méthode permet d'interroger directement les représentations internes du modèle, potentiellement plus fiables et moins coûteuses que l'inférence classique. L'auteur détaille les implications pratiques pour l'interprétabilité et l'efficacité des pipelines.