RECHERCHE
L'illusion d'équivalence : effets comportementaux de la quantization des LLM
La précision et la perplexité ne suffisent pas à évaluer la quantization : une nouvelle métrique comportementale révèle des divergences invisibles.
arXiv cs.AI · cs.LG · cs.CL·Baha Rababah, Cuneyt Gurcan Akcora, Carson K. Leung·9 juillet 2026
Image · Source originale
La quantization post-entraînement est couramment utilisée pour déployer des LLM dans des environnements contraints, mais les métriques habituelles (accuracy, perplexité) masquent des changements comportementaux significatifs. Les auteurs introduisent le « correctness agreement », une métrique de niveau décisionnel mesurant le recouvrement des prédictions correctes entre un modèle de base et ses variantes quantizées. Leurs analyses révèlent des divergences comportementales dès une quantization modérée, des points de rupture non linéaires aux faibles précisions, et une sensibilité accrue des projections query/key par rapport aux projections value/output.
Chaleur 35
Pertinence 75
Nouveauté 68