Les questions comme sonde des états cachés des LLMs lors de l'inférence

Les chercheurs explorent les mécanismes du raisonnement chain-of-thought en utilisant un dispositif maître-élève où l'élève pose des questions pour révéler son état caché. Une sonde entraînée sur cet état prédit la correction finale du raisonnement avant même d'obtenir la réponse du maître, suggérant que l'auto-diagnostic lors de la génération de questions est informatif. Cependant, les résultats montrent un écart entre détection et correction : les interventions nuisent autant aux trajectoires correctes qu'elles n'en récupèrent d'incorrectes.