Approximation par réseaux de neurones et construction de réseaux de neurones récurrents quantifiés

by Armand Foucault (université de Toulouse, ANITI)

Monday May 26, 2025, 2:00 PM → 5:00 PM Europe/Paris

Salle Katherine Johnson, bâtiment 1R3 (Institut de Mathématiques de Toulouse)

Dans cette thèse, nous abordons deux problématiques importantes en apprentissage profond: l’approximation et la compression. En approximation, nous étudions l’expressivité des réseaux de neurones profonds. En compression, nous étudions la quantification des réseaux de neurones récurrents orthogonaux, et nous introduisons deux modèles, QORNN et HadamRNN. Cela fait l’objet des chapitres 4 et 5.
Approximation: Nous étudions les limites fondamentales du pouvoir expressif des réseaux de neurones. Étant donnés deux ensembles F et G de fonctions à valeurs réelles, nous démontrons d’abord une borne inférieure générale sur l’erreur d’approximation des fonctions de F par des fonctions de G en norme $L^p(\mu)$, pour tout $p \ge 1$ et toute mesure de probabilité $\mu$. Cette borne inférieure dépend du packing-number de F, de l’amplitude de F et de la fat-shattering dimension de G. Nous appliquons ensuite cette borne au cas où G correspond à un réseau de neurones MLP avec activation polynômiale par morceaux, et nous décrivons en détail son application à deux ensembles F : les boules de Hölder et les fonctions monotones multivariées. En plus d’établir des bornes inférieures qui correspondent aux bornes supérieures (connues ou nouvelles) à un facteur logarithmique près, nos résultats éclairent les similitudes et différences entre l’approximation en norme $L^p$ et en norme sup. Notre stratégie de preuve diffère du cas de la norme sup.
QORNN: Nous explorons la quantification des matrices de poids dans les ORNNs, conduisant à des réseaux de neurones récurrents approximativement orthogonaux quantifiés (Quantized Approximately Orthogonal RNNs, QORNNs). La construction de tels réseaux restait un problème ouvert, reconnu pour son instabilité inhérente. Nous proposons et analysons deux stratégies pour apprendre des QORNNs en combinant la quantification pendant l’entrainement (Quantization-Aware Training, QAT) et les projections orthogonales. Nous étudions également la quantification postentraînement (PTQ) des activations afin de permettre un calcul purement entier de la boucle récurrente. Les modèles les plus efficaces obtiennent des résultats similaires aux ORNNs full-precision (non quantifiés), ainsi qu’aux LSTM et FastRNN de l’état de l’art sur une variété de benchmarks standards, même avec une quantification en 4 bits. HadamRNN: Les poids binaires et ternaires parcimonieux dans les réseaux de neurones permettent des calculs plus rapides et des représentations plus légères, facilitant ainsi leur utilisation sur des dispositifs embarqués avec une puissance de calcul limitée. Ceci dit, les RNNs classiques sont extrêmement sensibles aux changements de leurs poids récurrents, rendant la binarisation et la ternarisation de ces poids difficiles. À ce jour, aucune méthode ne permet de binariser ou ternariser les poids récurrents des RNNs classiques. Nous présentons une nouvelle approche, exploitant les propriétés des matrices de Hadamard, pour paramétriser un sous-ensemble de matrices orthogonales binaires et ternaires parcimonieuses. Cette méthode permet l’entraînement de réseaux de neurones récurrents orthogonaux (ORNNs) avec des poids récurrents binaires et ternaires parcimonieux, créant ainsi une classe spécifique de RNNs classiques binaires et ternaires parcimonieux. Les ORNNs obtenus, nommés HadamRNN et Block-HadamRNN, sont évalués sur divers benchmarks, notamment la Copy task, Sequential MNIST (permutée et non permutée), IMDB dataset, deux benchmarks GLUE ainsi que deux benchmarks en IoT. Malgré la binarisation ou la ternarisation parcimonieuse, ces RNNs maintiennent des performances comparables aux modèles full-precision de l’état de l’art, soulignant l’efficacité de notre approche. Notamment, notre approche est la première solution avec des poids récurrents binaires capable de résoudre la Copy task sur plus de 1000 pas de temps.