La loterie FID : quantifier le hasard caché dans l'évaluation des modèles génératifs

Des chercheurs de Kyutai démontrent que le score FID (Fréchet Inception Distance), standard pour évaluer les modèles génératifs, recèle une variabilité stochastique significative et sous-estimée. Selon leurs travaux, de légères différences dans les conditions d'évaluation peuvent produire des écarts notables, remettant en question la fiabilité des comparaisons entre modèles. L'étude propose une méthode pour quantifier et corriger cette randomness cachée.