NVIDIA Blackwell : jusqu'à 15x de gain d'inférence avec le décodage spéculatif DFlash

Le décodage autorégressif des LLM génère les tokens séquentiellement, limitant l'utilisation des GPU dans les scénarios à faible latence. NVIDIA introduit DFlash, une méthode de speculative decoding utilisant un modèle léger pour prévoir les tokens futurs, validés ensuite par le modèle principal. Optimisée pour l'architecture Blackwell, cette approche peut multiplier les performances d'inférence par 15 dans des workflows multi-agents.