Largeur vs. profondeur : spéculations sur la marge dans les LLM

L'article explore le compromis stratégique entre l'augmentation de la largeur des modèles (plus de paramètres, MoE, parallélisme de calcul) et l'approfondissement de la profondeur (raisonnement séquentiel, chaînes de pensée). L'auteur spécule sur les rendements marginaux de chaque approche et leurs implications pour l'évolution des LLM. Une réflexion prospective sur les choix d'architecture qui orienteront la prochaine génération de modèles.