Router avec discernement : l'allocation adaptative à la confiance pour le MoE-LoRA

CARE propose un routage adaptatif pour les architectures Mixture-of-Experts appliquées à LoRA, activant les experts selon un principe de noyau cumulatif basé sur la confiance du routeur plutôt qu'un nombre fixe k. Testée sur LLaMA-3.1-8B et Qwen2.5-7B sur huit benchmarks de sens commun ainsi que des tâches de maths, code et connaissances, la méthode égale les performances du top-k=4 tout en activant moins d'experts en moyenne. Les signaux de confiance et de désaccord améliorent aussi la détection out-of-distribution.