Accélération des méthodes numériques en optimisation et apprentissage.

par Samir Adly

vendredi 3 déc. 2021, 10:30 → 11:30 Europe/Paris

XR203 (XLIM)

Dans cet exposé, accessible à un large public de chercheurs de XLIM, nous retraçons les avancées récentes des algorithmes rapides d’optimisation du premier ordre. En effet, l’accélération des méthodes d’optimisation est un sujet de recherche d’actualité et de nombreuses équipes en France (et dans le monde) travaillent dans ce domaine. Les méthodes du premier ordre, telles que la descente de gradient ou bien le gradient stochastique, ont gagné en popularité. Le développement majeur est dû au mathématicien Yurii Nesterov qui a proposé en 1983 une classe de méthodes de gradient accélérées ayant un taux de convergence global plus rapide que la descente de gradient. Nous pourrons aussi citer l’algorithme FISTA, proposé par Beck et Teboulle en 2009, qui rencontre un grand succès dans les communautés « machine learning » et traitement du signal et de l’image. Les algorithmes d'optimisation basés sur le gradient peuvent aussi être étudiés sous l'angle des Équations Différentielles Ordinaires (EDO). Ce point de vue permet de proposer de nouveaux algorithmes obtenus par la discrétisation de ces EDO et d’améliorer leurs performances grâce à des techniques d’accélération et une faible complexité de calcul nécessaire à l’analyse des données massives.
L’exposé sera étayé par des faits historiques et des questions ouvertes.