Prédiction et entropie de l'anglais imprimé – Claude Shannon (1950)

Dans ce papier de 1950, Claude Shannon estime l'entropie de l'anglais imprimé en utilisant des expériences de prédiction humaine sur des textes. Il établit des bornes empiriques sur la redondance de la langue, travaux qui constituent un socle théorique direct pour la compression, la modélisation du langage et les LLM contemporains. Sa méthode reste une référence citée dans la recherche sur les modèles de langage.