Fonctionne avec Indico
v3.2.9
L'exemple de motivation pour ce travail est liée aux problèmes d'optimisation bi-niveaux résultant de l'ajustement d'hyperparamètres de modèles de minimisation de risque empirique avec une pénalisation non lisses, l'exemple typique étant le lasso. Ce problème bi-niveau peut se réduire à la différenciation de conditions d'optimalité exprimées sous la forme d'une équation de point fixe (Lipschitz, non dérivable), un problème qui peut être traité avec le théorème des fonctions implicites. Dans sa version classique il comporte deux parties: la première traite de l'existence et la régularité de la fonction implicite tandis que la seconde fournit du calcul différentiel.
Nous nous intéresserons donc sur la seconde partie du théorème: le calcul. Nous montrons que le calcul différentiel implicite non lisse échoue, lorsqu'il est appliqué aux jacobiens de Clarke (extension non lisse du jacobien classique). Nous proposons une solution basée sur les jacobiens conservatifs, qui ont été introduits récemment comme outils de calcul différentiel non lisse, préservant le comportement de minimisation des algorithmes de type gradient. Nous décrivons comment ces objets étendent le domaine de validité des règles du calcul différentiel implicite à des objets non lisses. Ces résultats seront illustrés sur le problème de départ: estimation d'hyperparamètre pour le LASSO.