OUTILS
KV-psi : utiliser le PSI Linux pour élaguer le KV cache d'un LLM
Un outil expérimental exploite les métriques de pression mémoire du noyau Linux (PSI) pour décider dynamiquement quand réduire le KV cache des LLM.
Hacker News (filtré IA)·@infiniteregrets·27 juin 2026
Image · Source originale
KV-psi est un projet open-source qui exploite l'interface Pressure Stall Information (PSI) de Linux pour surveiller la pression mémoire en temps réel et déclencher l'élagage du KV cache des modèles de langage. L'idée est d'adapter dynamiquement la taille du cache en fonction des signaux du noyau, plutôt que de fixer une limite statique. Le projet est à un stade expérimental et cible les environnements d'inférence LLM sous Linux.
Chaleur 47
Pertinence 65
Nouveauté 72