Représentations implicites de la grammaticalité dans les modèles de langage

Des chercheurs ont entraîné une sonde linéaire sur les représentations internes de LLMs pour tester si ces modèles encodent implicitement la grammaticalité au-delà de la simple probabilité de séquence. La sonde généralise à des benchmarks de jugements humains et surpasse les scores de probabilité pour évaluer la grammaticalité, tout en se révélant moins performante sur des paires minimales de plausibilité sémantique. Des résultats de généralisation cross-linguale non-triviaux suggèrent que les LLMs acquièrent une distinction grammaticale latente partiellement découplée de la vraisemblance du corpus.