Ensemblage de modèles de fondation tabulaires : plafond de diversité et piège de calibration

Une étude benchmark de six stratégies d'ensemblage appliquées à six tabular foundation models (TFMs) sur 153 tâches de classification OpenML révèle un plafond de diversité sévère : le Q-statistic moyen entre modèles atteint 0,961, limitant tout gain par combinaison convexe. Le meilleur ensemble (cascade stacking à deux niveaux) ne gagne que +0,18 % de précision pour 253× le coût. Le stacking avec méta-learner logistique améliore la précision mais détruit la calibration. Les auteurs recommandent la sélection gloutonne comme stratégie par défaut.