Dans le contexte de l'entraînement de réseaux de neurones, les paramètres optimisés conservent parfois au cours de la descente de gradient certaines propriétés de l'initialisation. Une telle forme de « biais implicite » pourrait contribuer à expliquer les bonnes propriétés statistiques de généralisation des paramètres après entraînement. Dans ce travail, nous formalisons la notion de « loi de conservation », pour définir les quantités conservées pendant les flots gradient associés à l'entraînement d'un réseau ReLU, quelle que soient les données d'entrainement ou la fonction de perte utilisés. En nous appuyant sur des outils venus du contrôle, nous expliquons comment le nombre maximal de lois de conservation ``indépendantes'' peut être obtenu via des calculs d'algèbre de Lie, et fournissons des algorithmes pour calculer a) une famille de lois de conservations polynomiales, ainsi que b) le nombre de lois de conservation (pas nécessairement polynomiales). Sur un certain nombre d'architectures de réseau, nos outils permettent de montrer qu'il n'y a pas d'autres lois que celles qui sont connues. Nous identifions également de nouvelles lois pour certains flots avec inertie et/ou vis-à vie de géométries non-euclidiennes.