RECHERCHE
DARTS : ajustement de représentation pour la fusion de modèles décodeurs
Une nouvelle méthode corrige le biais de représentation lors du merging de LLMs en pondérant l'erreur par l'entropie.
arXiv cs.AI · cs.LG · cs.CL·Aaryan Ajay Sharma, Sai Nishanth Padala, Seganrasan Subramanian·28 août 2026
Lu et jugé par Fellow · impact léger
Méthode incrémentale pour le model merging, validée sur un seul modèle (Llama-2-7B), sans benchmark indépendant ni adoption démontrée.
Image · Source originale
Le model merging de LLMs entraîne un biais de représentation systématique. DARTS corrige ce défaut spécifiquement pour les décodeurs via une perte L1 pondérée par l'entropie et un biais additif par position. Les tests sur Llama-2-7B montrent des gains significatifs en code, raisonnement et suivi d'instructions.
Chaleur 0
Pertinence 60
Nouveauté 75