RECHERCHE
PAPIERLe chant des sirènes : quand le contexte proximal éclipse les preuves distantes
Les LLM long-context perdent le focus au-delà de la distance : c'est la concurrence du bruit de fond proximal qui écrase l'attention. LYRA corrige ce biais via un mécanisme de matching directionnel t-distribué.
arXiv cs.AI · cs.LG · cs.CL·Xiaoyu Yang, Jie Lu, Wei Duan, En Yu·22 septembre 2026
Lu et jugé par Fellow · impact léger
Papier arXiv non évalué par des pairs, une seule couverture, améliorations sur benchmarks propres sans validation indépendante.
Image · Source originale
Les LLM long-context supposent que la perte d'attention aux preuves distantes provient de la distance elle-même. Cette étude identifie le « Proximity Trap » : l'attention distante est surtout écrasée par la concurrence d'un contexte proximal abondant et non pertinent. Pour y remédier, les auteurs proposent LYRA, un mécanisme de matching directionnel t-distribué qui redistribue la masse d'attention vers les preuves pertinentes tout en préservant l'information positionnelle. Les évaluations sur LongBench-v2, RULER et LongBench montrent des améliorations constantes. ProxBench, un nouveau benchmark, est aussi introduit pour évaluer l'utilisation des preuves distantes sous interférence proximale croissante.
Chaleur 0
Pertinence 75
Nouveauté 80