RECHERCHE
FreqDepthKV : compression du cache KV guidée par la fréquence et la profondeur pour l'inférence LLM longue
Une nouvelle méthode de compression du cache KV à l'inférence divise les états en composantes basse fréquence partagées et résidus haute fréquence, sans réentraînement.
arXiv cs.AI · cs.LG · cs.CL·Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero·7 juillet 2026
Image · Source originale
FreqDepthKV est une méthode de compression du cache KV à l'inférence qui factorise les états KV de couches adjacentes en composantes basse fréquence partagées et en résidus haute fréquence épars. Une sonde légère en ligne adapte dynamiquement la politique de compression à la structure du prompt. Sur des fenêtres de 32k tokens, la méthode atteint un ratio de compression de 3,9x tout en maintenant des performances proches du cache complet, avec un débit de décodage de 70,4 tokens/s et une mémoire KV réduite à 6,2 Go.
Chaleur 14
Pertinence 72
Nouveauté 74