L'identifiabilité des réseaux de neurones profonds ReLU

by Mr Joachim Bona-Pellissier (Institut de Mathématiques de Toulouse)

Monday Dec 18, 2023, 3:00 PM → 5:00 PM Europe/Paris

Salle Katherine Johnson, bâtiment 1R3 (Institut de Mathématiques de Toulouse)

Les réseaux de neurones admettent des paramètres sous forme de poids et de biais, et avec un choix de paramètres donné, un réseau implémente une fonction donnée. La question générale de l'identifiabilité est la suivante : si les fonctions implémentées par deux réseaux sont égales, ou si elles coïncident sur un ensemble donné (infini ou fini), les réseaux ont-ils les mêmes paramètres ? Dans cette thèse, nous établissons différentes conditions d'identifiabilité des réseaux de neurones profonds de type "feedforward" avec fonction d'activation ReLU. Par la suite, nous étudions un lien entre la question de l'identifiabilité et celle de la géométrie locale de la sortie d'un réseau, pour un ensemble d'entrées données. Cela nous permet de mettre en évidence un phénomène de régularisation implicite qui a lieu durant l'optimisation.