Des modèles de diffusion hiérarchiques et continus pour le langage
Un nouveau cadre couple génération discrète de tokens et trajectoire latente continue pour améliorer les modèles de diffusion textuelle.
arXiv cs.AI · cs.LG · cs.CL·Hui Ren, Zihan Li, Chang Liu, Huidong Liu·1 octobre 2026
Lu et jugé par Fellow · impact léger
Avancée méthodologique sur benchmarks restreints (Sudoku, Countdown, LM1B), sans validation indépendante ni portée générale démontrée.

Image · Source originale
HC-DLM propose un processus de diffusion unifié reliant tokens discrets et état latent continu, entraîné via une borne variationnelle sur la vraisemblance. Sur Sudoku, Countdown et LM1B, la méthode dépasse les baselines de diffusion discrète et continue à taille de modèle égale, tant en précision qu'en perplexité générative.