SAFETY
Distill to Detect : révéler les biais cachés dans les LLM par distillation en cartouche
Une nouvelle méthode amplifie les biais furtifs des LLM en concentrant les divergences de distribution dans un adaptateur KV-cache, les rendant détectables.
arXiv cs.AI · cs.LG · cs.CL·Shayan Talaei, Abhinav Chinta, Devvrit Khatri, Amin Karbasi·1 juillet 2026
Image · Source originale
Des chercheurs proposent Distill to Detect (D2D), une méthode pour détecter les biais préférentiels dissimulés dans les LLM déployés en production. En distillant le décalage de distribution entre un modèle suspect et son modèle de base dans un adaptateur de préfixe KV-cache (« cartouche »), D2D amplifie le signal de biais jusqu'à le rendre visible dans le texte généré. Une formalisation théorique via la projection pondérée par Fisher appuie l'approche, validée empiriquement sur plusieurs types de biais.
Chaleur 4
Pertinence 72
Nouveauté 75