Séminaire du CIMMUL – James-A. Goulet

TAGI: Inférence bayésienne analytique dans les réseaux de neurones profondss

James-A. Goulet

Professeur agrégé
Polytechnique Montréal

Résumé

Les réseaux de neurones occupent une place dominante dans l’apprentissage automatique de par leur capacité à modéliser des relations complexes tout en traitant des problèmes en grandes dimensions impliquant des données massives. Jusqu’à maintenant, la quasi-totalité des méthodes permettant d’entrainer des réseaux de neurones utilisent la rétropropagation du gradient (i.e., backprop) et considèrent l’apprentissage des paramètres comme un problème d’optimisation. Dans ce séminaire, nous verrons comment la méthode TAGI (i.e., Tractable Approximate Gaussian Inference) a le potentiel de changer ce paradigme en offrant une solution analytique à la calibration des réseaux de neurones profonds. De par sa nature bayésienne, TAGI considère l’incertitude associée aux paramètres tout en conservant une complexité linéaire en fonction de leur nombre. La capacité de TAGI à inférer analytiquement les paramètres et variables latentes des modèles ouvre de nouvelles possibilités qui ont des impacts tant au niveau fondamental qu’appliqué. Dans ce séminaire, nous couvrirons les fondements théoriques de la méthode ainsi que de son impact sur des applications pratiques de petite et de grande taille (i.e, >10M+ de paramètres). À noter que comme TAGI n’utilise pas la rétropropagation du gradient pour l’apprentissage des paramètres, la méthode est incompatible avec librairies existantes telles que PyTorch et TensorFlow. Afin que la communauté scientifique puisse commencer à tirer avantage de la méthode, nous survolerons les capacités de la librairie ouverte pyTAGI a été lancée à l’automne 2022.

Le séminaire aura lieu au local 3820 du pavillon Alexandre-Vachon et en ligne.

Pour rejoindre la réunion Zoom :
https://ulaval.zoom.us/j/62680136430?pwd=eldBYjdNTG5QR2VxTTFqbVM4UGVRZz09

Meeting ID: 626 8013 6430
Passcode: 693150