RECHERCHE
Dutch Books pour les modèles de langage
L'incohérence des prévisions probabilistes des LLM mesurée par le profit des Dutch Books.
arXiv cs.AI · cs.LG · cs.CL·Isaiah Andrews, Suproteem Sarkar·2 septembre 2026
Lu et jugé par Fellow · impact léger
Papier de recherche académique proposant une méthode d'évaluation (Dutch Books) sans implémentation immédiate.
Image · Source originale
Ce papier évalue la cohérence des prévisions probabilistes des modèles de langage via une méthode basée sur le théorème de de Finetti. En calculant le profit maximal d'un arbitrage (Dutch Book) sur des données de rendements boursiers, les auteurs révèlent une incohérence significative des prédictions. Cette incohérence s'accentue avec la complexité des relations logiques et l'ajout de détails contextuels parasites.
Chaleur 2
Pertinence 60
Nouveauté 75