Évolution convergente : comment différents LLMs apprennent des représentations numériques similaires

Des chercheurs identifient une hiérarchie à deux niveaux dans la façon dont les modèles de langage représentent les nombres : tous apprennent des caractéristiques périodiques dans le domaine de Fourier (périodes T=2, 5, 10), mais seuls certains acquièrent une séparabilité géométrique permettant une classification linéaire modulo T. L'étude prouve formellement que la parcimonie de Fourier est nécessaire mais pas suffisante pour cette séparabilité. Les données, l'architecture, l'optimiseur et le tokenizer jouent tous un rôle clé dans l'émergence de ces propriétés.