Toutes les news taguées avec ce sujet.
AdamW reste l'optimiseur de référence pour les LLMs, mais sa convergence sous bruit à queue lourde — pourtant omniprésent en pré-entraînement — n'est pas prouvée.