Piper : un système d'entraînement distribué programmable pour grands modèles

Piper est un système d'entraînement distribué qui permet aux utilisateurs de déclarer une stratégie de parallélisme via des annotations et des directives de scheduling, sans être liés à un ensemble fixe de stratégies prédéfinies. Le système repose sur une représentation intermédiaire (IR) unifiée sous forme de DAG global couvrant tous les calculs et communications, compilée ensuite en plans d'exécution par device. Piper atteint la parité de performance avec des stratégies courantes comme ZeRO tout en offrant des gains d'efficacité mémoire supplémentaires grâce à un ordonnancement conjoint calcul/communication.