RECHERCHE
OctoLong améliore le long-contexte via l'entrainement sur code
Un pipeline d'ingénierie de contexte et des modèles LLM open-weights performants pour le code longue portée.
arXiv cs.AI · cs.LG · cs.CL·Indraneil Paul, Falko Helm, Goran Glavaš, Iryna Gurevych·5 août 2026
Image · Source originale
OctoLong est un pipeline qui génère des contextes de code riches en dépendances pour l'entraînement de modèles long-contexte. En remplaçant 12% des corpus classiques par ces données, les modèles OctoLong-Instruct (600M à 14B paramètres) améliorent significativement la compréhension de code repository-level et le suivi d'état sur 18 benchmarks.
Chaleur 0
Pertinence 80
Nouveauté 65