RECHERCHE
Pré-entraînement visuel scalable pour l'intelligence des modèles de langage
Une étude montre que pré-entraîner directement sur des documents visuels surpasse l'approche texte-only classique, sans passer par l'extraction de texte.
arXiv cs.AI · cs.LG · cs.CL·Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao·10 juillet 2026
Image · Source originale
Les chercheurs remettent en question l'idée que les LLM doivent être entraînés uniquement sur du texte, en montrant que figures, équations et mises en page contiennent des informations perdues lors de la conversion en texte brut. Leur étude systématique de pré-entraînement visuel non supervisé, appliquée directement sur des documents sans extraction textuelle, surpasse constamment le pré-entraînement texte-only sur plusieurs backbones et benchmarks.
Chaleur 10
Pertinence 65
Nouveauté 72