Quand la fragmentation survient-elle dans l'allocateur de cache CUDA ?

Le blog de développement PyTorch publie une analyse approfondie du fonctionnement interne de l'allocateur de cache CUDA et des conditions qui conduisent à la fragmentation mémoire. Ce problème, souvent source d'erreurs OOM (out-of-memory) difficiles à diagnostiquer, est examiné à travers les cycles d'allocation et de libération de blocs mémoire. L'article constitue une ressource de référence pour les praticiens qui optimisent l'utilisation GPU lors de l'entraînement ou de l'inférence de modèles.