Matrices aléatoires de covariance et réseaux de neurones artificiels

par M. Clément Chouard (Institut de Mathématiques de Toulouse)

lundi 16 oct. 2023, 15:30 → 18:30 Europe/Paris

Amphithéâtre Laurent Schwartz, bâtiment 1R3 (Institut de Mathématiques de Toulouse)

Cette thèse est consacrée à l’étude asymptotique de certains modèles de matrices aléatoires de covariance empirique, en utilisant une approche analytique et notamment en étudiant leur matrice résolvante. Elle se décompose en deux parties.

Dans un premier temps nous nous intéressons aux matrices de covariance issues de matrices avec une structure de dépendance partielle en colonnes. Nous fournissons un équivalent déterministe explicite pour la matrice résolvante de tels modèles, quantitatif en la dimension et le paramètre spectral de la résolvante. Ce résultat de type loi locale permet d’étudier les statistiques spectrales fines de ces matrices, et notamment de préciser la vitesse de convergence des mesures spectrales empiriques en distance de Kolmogorov.

Dans un second temps nous étudions le modèle du noyau conjugué, qui reproduit le comportement d’un réseau de neurones artificiels à propagation avant lors de sa phase d’initialisation. Ce modèle se distingue des modèles habituellement considérés en matrices aléatoires par l’application d’une fonction réelle entrée par entrée. Nous utilisons les résultats généraux obtenus précédemment pour obtenir un équivalent déterministe quantitatif pour la résolvante du noyau conjugué. Cet équivalent permet de mieux comprendre les propriétés spectrales de ce modèle, et aussi de donner un sens à un phénomène d’universalité appelé principe d’équivalence gaussienne dans le domaine de l’apprentissage machine.