RECHERCHE
Tokenizer Transplantation : corriger l'effondrement autoregressif en ASR Bengali
Une méthode de 'transplantation' de vocabulaire améliore considérablement l'ASR edge pour le Bengali sans ré-entraînement complet.
arXiv cs.AI · cs.LG · cs.CL·Sanjid Hasan, Md. Abdur Rahman·10 juillet 2026

Image · Source originale
Cette étude identifie le tokenizer byte-level centré sur l'anglais comme cause de l'échec des modèles ASR légers comme Moonshine sur le Bengali. Les chercheurs proposent de remplacer le vocabulaire du décodeur par celui de BanglaBERT, réduisant la longueur des séquences de 85,8% et stabilisant l'inférence. Sur le dataset Lipi-Ghor, cette approche obtient un WER de 21,54% avec un RTF de 0.0053.