RECHERCHE
Détection et réduction des hallucinations de Whisper via pilotage des représentations internes et Sparse AutoEncoders
Des chercheurs montrent que les hallucinations du modèle ASR Whisper peuvent être détectées et fortement réduites en manipulant ses représentations internes.
arXiv cs.AI · cs.LG · cs.CL·Georgii Aparin, Vadim Popov, Tasnima Sadekova, Assel Yermekova·5 juin 2026
Image · Source originale
Le modèle de reconnaissance vocale Whisper produit fréquemment des transcriptions cohérentes mais totalement déconnectées de l'audio d'entrée. Les auteurs extraient les activations de l'encodeur audio et comparent deux espaces de représentation : activations brutes et latents de Sparse AutoEncoders (SAE). Deux stratégies de pilotage sont proposées ; la version SAE réduit le taux d'hallucination de 72,63 % à 14,11 % pour Whisper small et de 86,88 % à 27,33 % pour Whisper large-v3, avec une dégradation marginale du WER sur données vocales.
Chaleur 5
Pertinence 72
Nouveauté 75