Toutes les news taguées avec ce sujet.
Une nouvelle architecture deep learning multimodal améliore l'identification précise de biomarqueurs via des capteurs nanopores.
Un article pédagogique détaille la mécanique interne des LLM, du tokenisation à la génération du premier token en sortie.
BioModule est un transformer temporel léger qui s'attache à n'importe quel estimateur de pose 3D pour prédire des grandeurs biomécaniques sans modifier le modèle amont.
Des chercheurs identifient pourquoi certaines méthodes de linéarisation préservent mieux la qualité des LLMs, avec des résultats probants jusqu'à 32B paramètres.
Une étude montre qu'affiner un seul layer d'un Transformer via RL atteint des performances comparables à l'entraînement complet de tous les paramètres.
Des chercheurs proposent de découpler le flux de calcul des Transformers en deux flux distincts, améliorant l'efficacité et les performances sur les tâches en aval.
Une étude systématique révèle que les gains du RL post-training se concentrent dans quelques couches médianes d'un transformer, voire une seule.
AllenAI publie DiScoFormer, une architecture transformer unifiée capablede d'estimer densité et score simultaneously sur des distributions variées.
Un nouveau framework combine LoRA et fusion multimodale pour prédire le trafic cellulaire en intégrant mobilité et congestion urbaine.
Une expérience de compression par overfitting délibéré : un petit Transformer mémorise un fichier CSV entier et le représente en moins de 10 % de sa taille initiale.
Un nouveau benchmark open-source vise à standardiser l'évaluation des modèles de diffusion basés sur des Transformers, au-delà des métriques classiques.