La géométrie des réseaux de neurones : une approche de la robustesse sous l'angle des feuilletages riemanniens

by Eliot Tron

Monday Oct 20, 2025, 9:30 AM → Thursday Oct 23, 2025, 5:30 PM Europe/Paris

Amphithéâtre Boucher (ENAC)

https://rendez-vous.renater.fr/muted/Soutenance_Eliot_Tron_37bef6-7c172b-53f4b1#config.startWithVideoMuted=true&config.startWithAudioMuted=true

Dans cette thèse, nous utilisons les outils de la géométrie et de la statistique
pour mettre en lumière la relation entre les données et les prédictions des
réseaux neuronaux. En particulier, nous nous inspirons du domaine de la
géométrie de l’information qui combine précisément ces deux approches. Nous
considérons la sortie du réseau neuronal comme le paramètre d’une distribution
de probabilité. En utilisant la matrice d’information des données (DIM), une
variante de la matrice d’information de Fisher (FIM), nous étudions la relation
entrée/sortie du réseau et analysons sa compréhension de la structure des
données. Ce cadre statistique produit une métrique riemannienne (dégénérée)
que nous utilisons pour analyser la géométrie des données. En particulier,
nous nous appuyons sur un feuilletage issu du noyau de la DIM pour mener
notre étude des données de faible dimension dans l’espace d’entrée de haute
dimension. Nous utilisons d’abord le langage des repères mobiles de Cartan
pour calculer la connexion et la courbure de la DIM de manière efficace, et
nous donnons quelques explications sur la sortie d’un réseau de neurones à
travers des expériences numériques. Malheureusement, dans la plupart des
cas pratiques d’apprentissage automatique, la DIM a un rang non constant et
n’est pas lisse, ce qui rend difficile l’obtention d’un feuilletage bien défini. Pour
résoudre ce problème, nous prouvons que pour les architectures de réseaux de
neurones habituelles, cela ne se produit que dans un ensemble dense nulle part.
En outre, nous étudions ces singularités car elles peuvent nous renseigner sur
les distances entre les ensembles de données et sur l’efficacité du transfert de
connaissances. Enfin, nous appliquons ce nouveau cadre géométrique donné par
la DIM à l’analyse de la robustesse des réseaux de neurones. Nous montrons
que la courbure de l’espace transverse aux feuilles du noyau peut être utilisée
pour améliorer les attaques adversaires, ce qui indique que la géométrie des
données est un élément clé de la robustesse des algorithmes d’apprentissage
automatique.