UniPool : un pool d'experts partagé globalement pour les architectures MoE

Les architectures MoE classiques attribuent un ensemble d'experts distinct à chaque couche transformer, couplant la profondeur du modèle à une croissance linéaire des paramètres. UniPool substitue ce schéma par un pool d'experts global partagé, auquel chaque couche accède via ses propres routeurs indépendants. Des expériences sur cinq échelles de modèles LLaMA (182M à 978M paramètres, 30B tokens) montrent une réduction de la validation loss allant jusqu'à 0,0386 par rapport aux baselines MoE standard, avec seulement 41,6 à 66,7 % des paramètres experts.