RECHERCHE
L'illusion de robustesse : la précision globale masque des retournements de prédiction
Un contexte non pertinent, même du charabia, peut faire basculer les réponses de LLM sur certains exemples sans que la précision globale ne bouge.
arXiv cs.AI · cs.LG · cs.CL·Yanzhe Zhang, Sanmi Koyejo, Diyi Yang·14 juillet 2026
Image · Source originale
Des chercheurs montrent que les LLM les plus performants semblent robustes à un contexte non pertinent quand on regarde la précision agrégée sur un benchmark. Mais cette stabilité cache une forte instabilité au niveau de chaque exemple : même des pseudo-mots dénués de sens peuvent inverser des prédictions, dégradant certaines réponses et en améliorant d'autres. Cet effet varie selon le type et la longueur du contexte, le calcul au moment du test et le stade de développement du modèle. Les auteurs plaident pour une évaluation de la fiabilité exemple par exemple plutôt qu'agrégée.
Chaleur 5
Pertinence 65
Nouveauté 70