BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//CERN//INDICO//EN
BEGIN:VEVENT
SUMMARY:Gradient boosting infinitésimal : dynamique\, asymptotique et gé
 ométrie
DTSTART:20261214T120000Z
DTEND:20261214T130000Z
DTSTAMP:20261119T172300Z
UID:indico-event-17770@indico.math.cnrs.fr
DESCRIPTION:Speakers: Clément Dombry (ICJ)\n\nLe gradient boosting fait p
 artie des algorithmes les plus performants en apprentissage supervisé sur
  données tabulaires. Dans cet exposé\, je présenterai les résultats d
 ’une série de travaux [1–4] consacrés à une version idéalisée de 
 l’algorithme : le gradient boosting infinitésimal. Il s’agit de la li
 mite du processus de gradient boosting à base d’arbres lorsque le taux 
 d’apprentissage tend vers zéro et que le nombre d’arbres est renormal
 isé en conséquence. Nous utilisons pour cela une nouvelle classe d’arb
 res de régression randomisés\, avec des coupures binaires tirées selon 
 une loi softmax. Nous caractérisons le processus limite comme l’unique 
 solution d’une équation différentielle ordinaire (EDO) dans un espace 
 fonctionnel de dimension infinie. Ce processus définit un chemin régulie
 r le long duquel l’erreur d’apprentissage décroît [1].\nJ’abordera
 i ensuite le comportement en grand échantillon. Le processus converge ver
 s une limite déterministe\, caractérisée par une EDO qui dépend de la 
 loi de la population et le long de laquelle l’erreur de test décroît [
 2]. Les fluctuations autour de cette limite vérifient un théorème centr
 al limite fonctionnel avec une limite gaussienne [3]. La preuve repose sur
  une analyse de perturbation stochastique des EDO dans les espaces de Bana
 ch\, qui a un intérêt propre. Enfin\, je présenterai le point de vue g
 éométrique sous-jacent : le gradient boosting infinitésimal s’interpr
 ète comme un flot de gradient sur une variété hilbertienne\, définie 
 à partir de l’espace de Hilbert à noyau reproduisant (RKHS) associé a
 u noyau des forêts aléatoires [4].\nTravaux en collaboration avec Jean-J
 il Duchamps (Université Marie et Louis Pasteur) et Mehdi Dagdoug (McGill 
 University).\nRéférences[1] C. Dombry\, J.-J. Duchamps. Infinitesimal gr
 adient boosting. Stochastic Processes and their Applications 170 (2024)\, 
 104310. doi:10.1016/j.spa.2024.104310[2] C. Dombry\, J.-J. Duchamps. A lar
 ge-sample theory for infinitesimal gradient boosting. Bernoulli 30 (2024)\
 , 1894–1920. doi:10.3150/23-BEJ1657[3] C. Dombry\, J.-J. Duchamps. A fun
 ctional central limit theorem for kernel gradient flow and infinitesimal g
 radient boosting. Preprint\, arXiv:2606.25494.[4] M. Dagdoug\, C. Dombry\,
  J.-J. Duchamps. An RKHS perspective on tree ensembles. Preprint\, arXiv:2
 512.00397.\n\nhttps://indico.math.cnrs.fr/event/17770/
LOCATION:Salle Fokko du Cloux\, bâtiment Braconnier (La Doua)
URL:https://indico.math.cnrs.fr/event/17770/
END:VEVENT
END:VCALENDAR
