Co-conception matérielle : comment concevoir des LLM adaptés au hardware

Un billet technique de NVIDIA explore la co-conception matérielle des LLM, en distinguant trois axes de performance : précision, débit (tokens/seconde) et interactivité (latence). L'article se concentre sur les deux derniers, montrant comment les décisions d'architecture — quantification, taille des couches, attention — impactent l'efficacité sur GPU. L'objectif est d'optimiser simultanément débit et expérience utilisateur sans sacrifier la qualité des sorties.