Différentiation Implicite Non Lisse Pour l'Apprentissage Automatique et l'Optimisation

par M. Tony Silveti-Falls

vendredi 11 févr. 2022, 11:30 → 12:30 Europe/Paris

XR203 (XLIM)

Dans cet exposé, nous discutons du problème de la différenciation implicite dans un cadre non lisse. Nous développons une théorie de la différentiation implicite non lisse que nous pouvons appliquer à de nombreux problèmes d'optimisation et d'apprentissage automatique. Le résultat principal établit non seulement que la fonction implicite peut être différenciée mais donne également un calcul pour calculer la dérivée implicite. Ce calcul est entièrement compatible avec la différentiation algorithmique (par exemple, la rétropropagation) telle qu'elle est utilisée en apprentissage automatique. Nous discutons de plusieurs applications telles que l'entraînement de réseaux d'équilibre profonds, l'ajustement des hyperparamètres pour les modèles de type Lasso non lisses, etc.