Toutes les news taguées avec ce sujet.
Une exploration interactive des mécanismes internes par lesquels les grands modèles de langage traitent les opérations arithmétiques, sans manipuler réellement des nombres.
Des chercheurs de Goodfire AI découvrent comment un LLM effectue des calculs géométriques en interne, ouvrant une fenêtre sur la mécanique des transformers.
Une nouvelle métrique basée sur les poids, invariante aux symétries de l'espace des paramètres, pour vérifier si deux sous-réseaux implémentent le même calcul.
Un chercheur explore les représentations internes de Claude en utilisant des autoencodeurs en langage naturel pour décoder ce que le modèle « pense » sans l'exprimer.
Anthropic explore une nouvelle approche pour rendre les représentations internes de Claude lisibles par l'humain via des auto-encodeurs en langage naturel.