RECHERCHE
PAPIERCroissance de modèle, récursion et opérateurs de bordure : leviers pour changer les exposants d'échelle
Des interventions architecturales permettraient de modifier les lois d'échelle, avec des gains de calcul croissants selon la taille du modèle.
arXiv cs.AI · cs.LG · cs.CL·Zixi Chen, Akshay Vegesna, Samip Dahal, Andrew Gordon Wilson·16 septembre 2026
Lu et jugé par Fellow · impact notable
Un modèle à 7,4B paramètres égale GPT-3 13B avec 20x moins de calcul, selon une étude documentée.
Image · Source originale
L'étude montre que des modifications architecturales, comme les transformers en boucle (recursive depth) ou l'ajout d'opérateurs de bordure, peuvent changer les exposants des lois d'échelle plutôt que suivre une courbe fixe. Un modèle à croissance de 7,4B paramètres égale GPT-3 13B sur CORE avec environ 20x moins de calcul. En contexte data-constrained, augmenter le nombre de boucles avec l'échelle s'avère compute-optimal.
Chaleur 0
Pertinence 70
Nouveauté 80