Toutes les news taguées avec ce sujet.
AllenAI présente EMO, une approche MoE où la spécialisation des experts émerge naturellement du pré-entraînement sans supervision explicite.
EMO est une architecture MoE qui permet d'utiliser un sous-ensemble d'experts de façon indépendante, sans dégradation sévère des performances.