RECHERCHE
DepthWeave-KV : compression adaptative du cache KV par factorisation résiduelle inter-couches
Une nouvelle méthode réduit jusqu'à 8,3× la mémoire du cache KV des LLMs en contexte long, sans réentraîner le modèle de base.
arXiv cs.AI · cs.LG · cs.CL·Anna Cordoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero·7 juillet 2026
Image · Source originale
DepthWeave-KV est une méthode de compression du cache KV qui factorise les états clé-valeur entre couches transformer voisines via des bases de rang faible partagées, tout en conservant des résidus spécifiques aux tokens critiques. Un routeur conditionnel alloue un rang de reconstruction plus élevé aux tokens porteurs d'instructions ou de contexte de récupération. Sans recalibration ni réentraînement, la méthode atteint une réduction mémoire de 8,3× et 72,8 tokens/seconde à 64K tokens de contexte, avec une qualité proche du cache complet sur LongBench, L-Eval et Needle-in-a-Haystack.
Chaleur 14
Pertinence 72
Nouveauté 78