Soutenances

L'identifiabilité des réseaux de neurones profonds ReLU

par M. Joachim Bona-Pellissier (Institut de Mathématiques de Toulouse)

Europe/Paris
Salle Katherine Johnson, bâtiment 1R3 (Institut de Mathématiques de Toulouse)

Salle Katherine Johnson, bâtiment 1R3

Institut de Mathématiques de Toulouse

118 route de Narbonne 31062 Toulouse Cedex 9
Description

Les réseaux de neurones admettent des paramètres sous forme de poids et de biais, et avec un choix de paramètres donné, un réseau implémente une fonction donnée. La question générale de l'identifiabilité est la suivante : si les fonctions implémentées par deux réseaux sont égales, ou si elles coïncident sur un ensemble donné (infini ou fini), les réseaux ont-ils les mêmes paramètres ? Dans cette thèse, nous établissons différentes conditions d'identifiabilité des réseaux de neurones profonds de type "feedforward" avec fonction d'activation ReLU. Par la suite, nous étudions un lien entre la question de l'identifiabilité et celle de la géométrie locale de la sortie d'un réseau, pour un ensemble d'entrées données. Cela nous permet de mettre en évidence un phénomène de régularisation implicite qui a lieu durant l'optimisation.