DynoSim : simulation de la frontière de Pareto pour le serving LLM

Le serving de LLMs modernes implique une multitude de paramètres interdépendants — backend, tensor-parallelism, split prefill/decode, scheduler, KV cache, autoscaling — dont l'optimisation locale peut déplacer le goulot d'étranglement ailleurs. DynoSim, développé par NVIDIA, propose une approche de simulation pour cartographier la frontière de Pareto de ces configurations, facilitant ainsi la recherche du meilleur compromis latence/débit sans nécessiter de déploiements coûteux en production.