Séminaire de Statistique et Optimisation

Inégalités de changement de mesure pour toutes f-divergences et implications pour les statistiques PAC-Bayésiennes

by Mr Antoine PICARD (INRIA)

Europe/Paris
K. Johnson (1R3)

K. Johnson

1R3

Description

Les méthodes PAC-Bayésiennes ont permis de construire des bornes de généralisation non triviales, notamment pour des réseaux de neurones profonds. Construire ces bornes repose sur deux blocs : une inégalité de concentration, et une inégalité de changement de mesure. Jusqu’à récemment, seule l’inégalité de changement de mesure avec un contrôle reposant sur la divergence de Kullback-Leibler a été étudiée. Nous montrons que des inégalités de changement de mesure existent pour toutes f-divergences, et que ces dernières permettent de limiter les hypothèses sur la loss - étendant considérablement le spectre des méthodes PAC-Bayésiennes, et permettant de mieux comprendre l’équilibre entre exploration de l’espace des probabilités et hypothèses sur le modèle.