HeadsUp : reconstruction 3D haute qualité de têtes humaines à grande échelle

HeadsUp est une architecture encodeur-décodeur qui compresse des vues multi-caméras en une représentation latente compacte, décodée en 3D Gaussians paramétrés en UV et ancrés sur un template de tête neutre. Cette représentation UV découple le nombre de Gaussians de la résolution des images d'entrée, permettant l'entraînement sur de nombreuses vues haute résolution. Le modèle est évalué sur un dataset interne de plus de 10 000 sujets et atteint des performances état de l'art sans optimisation au moment du test. Le même espace latent permet la génération de nouvelles identités 3D et l'animation faciale par blendshapes.