RECHERCHE
Nécessaire ou suffisant ? Évaluer les explications des LLM par des preuves comportementales
Une étude teste si les facteurs cités par les LLM pour justifier leurs décisions correspondent réellement à leur comportement observable.
arXiv cs.AI · cs.LG · cs.CL·Urja Pawar, Rajitha Ramanayake, Nabeel Kemal, Ashwin Kandath·4 septembre 2026
Lu et jugé par Fellow · impact léger
Article scientifique sur Arxiv validant une méthode d'évaluation sans produit livré.
Image · Source originale
Les chercheurs évaluent, sur huit modèles Claude, GPT et Gemini, si les facteurs explicatifs cités par les LLM sont nécessaires ou suffisants pour expliquer leurs décisions dans deux scénarios (recommandation de conseillers, modération de prompts). Les corrélations entre le classement cité et les scores comportementaux réels restent faibles à modérées (0,35 à 0,58), et un facteur non cité surpasse parfois le facteur cité le moins bien classé dans plus de la moitié des cas.
Chaleur 3
Pertinence 65
Nouveauté 70