Fonctionne avec Indico
v3.2.9
Les méthodes PAC-Bayésiennes ont permis de construire des bornes de généralisation non triviales, notamment pour des réseaux de neurones profonds. Construire ces bornes repose sur deux blocs : une inégalité de concentration, et une inégalité de changement de mesure. Jusqu’à récemment, seule l’inégalité de changement de mesure avec un contrôle reposant sur la divergence de Kullback-Leibler a été étudiée. Nous montrons que des inégalités de changement de mesure existent pour toutes f-divergences, et que ces dernières permettent de limiter les hypothèses sur la loss - étendant considérablement le spectre des méthodes PAC-Bayésiennes, et permettant de mieux comprendre l’équilibre entre exploration de l’espace des probabilités et hypothèses sur le modèle.