RECHERCHE
Requential Coding : compression de modèle via données auto-générées
Une nouvelle méthode de compression exploitant les données auto-générées surpasse les limites du prequential coding.
arXiv cs.AI · cs.LG · cs.CL·Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang·13 juillet 2026
Image · Source originale
Le 'requential coding' utilise un modèle enseignant pour sélectionner des échantillons issus de la distribution de l'étudiant, ne codant que les divergences. La longueur du code devient indépendante du nombre de paramètres et de l'entropie des données. Appliqué aux LLM, il offre des garanties de généralisation supérieures aux méthodes de quantization classiques.
Chaleur 4
Pertinence 60
Nouveauté 75