Profilage PyTorch (Partie 2) : de nn.Linear à un MLP fusionné

Ce billet de blog Hugging Face détaille comment passer d'une implémentation standard avec nn.Linear à un MLP fusionné dans PyTorch, en s'appuyant sur le profilage pour identifier les goulots d'étranglement. La fusion des opérations (matmul, activation, biais) permet de réduire les allers-retours en mémoire et d'améliorer les performances sur GPU. L'article constitue la suite d'une série pratique sur l'optimisation bas niveau des modèles de deep learning.