RECHERCHE
Extension in-place du tokenizer pour les LLM pré-entraînés
Une méthode pour agrandir le vocabulaire d'un modèle déjà entraîné sans repartir de zéro, appliquée à LFM2.5-8B-A1B.
arXiv cs.AI · cs.LG · cs.CL·Jimmy T. H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee·16 juillet 2026
Image · Source originale
Les chercheurs proposent une technique pour étendre le tokenizer d'un modèle pré-entraîné en continuant les fusions BPE sur un corpus multilingue, préservant les tokens existants et initialisant les nouveaux par moyenne des sous-tokens sources. Une adaptation en deux étapes (embeddings puis modèle complet) permet de retrouver la qualité du checkpoint d'origine. Appliquée à LFM2-8B-A1B, la méthode produit LFM2.5-8B-A1B avec un tokenizer 128K, réduisant fortement la fragmentation en hindi et vietnamien.
Chaleur 12
Pertinence 55
Nouveauté 60