Toutes les news taguées avec ce sujet.
Gwern explore comment le régime dit « catapult » dans l'entraînement des réseaux de neurones pourrait expliquer l'émergence de représentations cognitives proches de celles du cerveau humain.
Une ingénieure RL chez Gemini détaille pourquoi les environnements d'entraînement défaillants dégradent sévèrement les modèles — bien au-delà du simple bruit.
Hugging Face publie un tutoriel d'introduction à torch.profiler pour identifier les goulots d'étranglement dans les pipelines d'entraînement PyTorch.
Meta-scale recommandation : LoKA rend l'arithmétique FP8 viable là où les LLM avaient montré la voie, mais les modèles de reco résistaient.
Hugging Face et AWS détaillent les composants clés pour déployer et entraîner des modèles fondamentaux à grande échelle sur l'infrastructure cloud Amazon.
Unsloth annonce une collaboration avec NVIDIA pour optimiser la vitesse et l'efficacité mémoire de l'entraînement des grands modèles de langage.