SAFETY
Repenser l'évaluation de l'XAI : audit centré humain des benchmarks Shapley
Les métriques quantitatives standards des valeurs de Shapley ne reflètent pas l'utilité réelle perçue par les analystes en contexte à forts enjeux.
arXiv cs.AI · cs.LG · cs.CL·Inês Oliveira e Silva, Sérgio Jesus, Iker Perez, Rita P. Ribeiro·24 avril 2026
Image · Source originale
Une étude évalue huit variantes de valeurs de Shapley dans des workflows de détection de fraude impliquant des analystes professionnels et 3 735 revues de cas. Les résultats révèlent un désalignement fondamental : les métriques quantitatives courantes (sparsité, fidélité) ne correspondent pas à la clarté perçue ni à l'utilité décisionnelle. Si aucune formulation n'améliore les performances objectives, toutes augmentent la confiance des analystes, signalant un risque d'automation bias.
Chaleur 0
Pertinence 72
Nouveauté 65