RECHERCHE
SARDI : retrieval auto-augmenté pour les modèles de diffusion en langage
Les tokens rejetés lors du débruitage deviennent des signaux utiles pour le RAG dynamique dans les modèles de diffusion discrets.
arXiv cs.AI · cs.LG · cs.CL·Paul Jünger, Justin Lovelace, Linxi Zhao, Dongyoung Go·4 juin 2026
Image · Source originale
SARDI (Self-Augmenting Retrieval for Diffusion Language Models) exploite les tokens de faible confiance générés à chaque étape du débruitage comme signal d'anticipation pour guider la récupération documentaire. Ce framework RAG dynamique est sans entraînement, agnostique au retriever et applicable à tout modèle de diffusion discret capable de raisonnement. Sur cinq benchmarks de QA multi-hop, SARDI surpasse les baselines autorégressives et de diffusion à un débit jusqu'à 8× supérieur.
Chaleur 3
Pertinence 72
Nouveauté 82