RECHERCHE
PAPIERZFO : une méthode hybride ordre zéro/premier ordre pour optimiser le fine-tuning des LLM
Un framework léger découple direction et taille de pas d'optimisation, avec garanties théoriques et gains de performance sur plusieurs LLM.
arXiv cs.AI · cs.LG · cs.CL·Cristian McGee, El Houcine Bergou, Aritra Dutta·1 octobre 2026
Image · Source originale
Les chercheurs proposent ZFO, un cadre combinant optimisation de premier ordre (pour la direction) et d'ordre zéro (pour ajuster la taille du pas), moins coûteux qu'une recherche linéaire complète. Des garanties théoriques assurent la convergence vers un point stationnaire. Les expériences montrent des gains de performance par rapport aux baselines à pas fixe. Le code est open source.
Chaleur 11
Pertinence 40
Nouveauté 55