Vers des modèles Mixture-of-Experts calibrés sous dérive de distribution

Ce travail examine le comportement des modèles Mixture-of-Experts (MoE) face aux dérives de distribution, en s'intéressant à l'interaction entre routage et calibration des experts. Les auteurs montrent que la calibration au niveau des experts suffit à garantir la calibration globale dans les modèles à routage dur, mais pas dans les modèles à routage doux. Ils proposent une méthode de repondération adversariale qui améliore le compromis précision-calibration sur plusieurs tâches et types de distribution shift.