Navigation – Plan du site

AccueilVolumes120Cours et recherches des professeursI. Sciences mathématiques, physiq...Mathématiques et sciences informa...Sciences des données

Cours et recherches des professeurs
I. Sciences mathématiques, physiques et naturelles
Mathématiques et sciences informatiques

Sciences des données

Stéphane Mallat
p. 27-36

Notes de la rédaction

La série de cours « Modèles multi-échelles et réseaux de neurones convolutifs » est disponible, en audio et/ou vidéo, sur le site internet du Collège de France (https://www.college-de-france.fr/agenda/cours/modeles-multi-echelles-et-reseaux-de-neurones-convolutifs), ainsi que la série de séminaires qui lui est associée (https://www.college-de-france.fr/agenda/seminaire/modeles-multi-echelles-et-reseaux-de-neurones-convolutifs). Sont également disponibles en ligne les liens vers des articles et chapitres de livres étudiés lors du cours (https://www.di.ens.fr/~mallat/CoursCollege.html), ainsi que des notes de cours (https://www.di.ens.fr/~mallat/College/Cours2020-Mallat-Jean-Eric-Campagne.pdf).

Texte intégral

Enseignement

Cours et séminaires – Modèles multi-échelles et réseaux de neurones convolutifs

Introduction

1Le cours s’est concentré sur l’analyse des propriétés d’approximation des réseaux de neurones convolutifs, en lien avec l’information a priori qui est disponible. Pour vaincre la malédiction de la grande dimension, les réseaux doivent exploiter des formes de régularité très fortes. Cette régularité met notamment en jeu trois types de propriétés : la séparabilité multi-échelle, l’existence de groupes de symétries et l’existence de représentations parcimonieuses. Le cours a étudié ces trois formes de régularités, en lien avec l’architecture des réseaux, et l’information a priori que l’on a sur le problème. Cela concerne différentes branches des mathématiques, dont l’analyse harmonique et la théorie des groupes. Le cours et les séminaires ont aussi fait le lien avec les modèles neurophysiologiques de la perception auditive et visuelle.

Cours 1 – Architectures et applications des réseaux de neurones convolutifs

22 janvier 2019

2Le cours a commencé par un rappel des architectures multi-échelles des réseaux de neurones profonds, leurs nombreuses applications, ainsi que des questions que l’on se pose pour comprendre leur fonctionnement. Il s’agit d’établir le lien entre les architectures, les algorithmes d’apprentissage et les propriétés de généralisation. Cela demande de mettre en évidence les principes d’organisation qui permettent de contourner la malédiction de la dimensionnalité, grâce à de l’information a priori sur le problème. On peut distinguer trois types de propriétés : la séparabilité des composantes, qu’elle soit hiérarchique ou spatiale, l’existence de symétries, et l’utilisation de représentations parcimonieuses. La parcimonie permet un codage efficace sur un petit nombre de structures irréductibles qui peuvent être apprises. Ces propriétés font appel à de nombreuses branches des mathématiques dont les statistiques, les probabilités, l’optimisation, l’analyse harmonique et la géométrie. Le cours s’est concentré sur des applications pour la classification d’images ou de sons, en faisant le lien avec les modèles de neurophysiologie de la vision et de l’audition.

Séminaire 1 – Challenges de données (partie I)

22 janvier 2020

3Le site web challengedata.ens.fr met à disposition des challenges de traitement de données par apprentissage supervisé. Ces challenges sont proposés par des entreprises ou des scientifiques, et sont issus de problématiques concrètes qu’ils rencontrent dans leur activité. Ils s’inscrivent dans un esprit d’échange scientifique, avec un partage de données et d’algorithmes.

4Chaque challenge fournit des données labélisées, ainsi que des données de test. Les participants soumettent sur le site web leurs prédictions calculées sur les données de test. Le site calcule un score avec une métrique d’erreur qui est spécifiée. Il fournit un classement aux participants, ce qui permet d’évaluer leurs résultats dans une large communauté. Les challenges ont commencé le 1er janvier 2020. Une clôture intermédiaire a eu lieu en juin par une évaluation des prédictions sur de nouvelles données de test. La clôture finale était en décembre, avec une remise des prix en janvier 2021.

5Cette année, les challenges ont été organisés et supervisés à l’ENS par Rudy Morel, Tanguy Marchand, Florenting Guth, Louis Thiry, Gaspard Rochette et John Zarka. L’organisation de ces challenges de données est soutenue par la chaire CFM de l’École normale supérieure, et par la Fondation des sciences mathématiques de Paris. Lors de cette première session, les 8 challenges suivant sont présentés :

– « Où se produira la prochaine transaction d’un stock ? » présenté par Éric Lebigot, de la société CFM. Étant donné le carnet d’ordre et les transactions récentes, l’objectif de ce challenge était de prédire sur quelle plateforme se produira le prochain échange d’un stock donné ;

– « Prédiction du risque de mortalité » présenté par Rémy Dubois, de la société Owkin. Le but de ce challenge était de prédire le temps de survie d’un patient à partir de scans CT sous la forme d’images 3D et de données cliniques sous la forme de descripteurs extraits préalablement ;

– « NLP appliqué à l’analyse de décisions juridiques » présenté par Marc Sanselme, de la société Prédilex. Étant donné une jurisprudence, le but de ce challenge était d’extraire du texte les informations suivantes : sexe de la victime, la date de l’accident et la date de consolidation des blessures ;

– « Estimation de la production industrielle » présenté par Matthieu Mazzolini, de la société Kayrros. Le but de ce challenge était d’estimer la production de sites de groupes industriels à partir de mesures journalières et de données de capacités ;

– « Classification multimodal de données de produits » présenté par Laurent Ach, de la société Rakuten. Le but de ce challenge était d’effectuer une classification multimodale à partir de textes et mages d’articles en classes de produits ;

– « Prédiction de rendements de stocks » présenté par Karl Bartoli, de la société QRT. Le but de ce challenge était de prédire les rendements d’un stock du marché américain à partir des rendements des vingt derniers jours ;

– « IA appliquée à la lecture de compteur » présenté par Nicolas Daviaud, de la société Suez. Le but de ce challenge était de créer un algorithme qui relève la valeur d’un compteur à partir d’images prises sous des angles et condition divers ;

– « Métamodèles pour améliorer la consommation d’énergie et le confort de grands bâtiments » présenté par Sylvain Le Corff, de la société Oze-Energies. Le but de ce challenge était de prédire la consommation d’énergie et la température d’un immeuble à partir de relevés de capteurs.

Cours 2 – L’architecture de la complexité

29 janvier 2020

6L’apprentissage par réseaux de neurones a d’excellentes capacités de généralisation sur des problèmes aussi divers que la reconnaissance d’images, de son, du langage, la prédiction en physique ou pour des diagnostics médicaux. Cela indique que ces problèmes ont des régularités similaires. En 1962, un article de Herbert Simons, « L’architecture de la complexité », définit quelques propriétés génériques de systèmes complexes. Le cours a commencé par une présentation de cet article, qui est issu d’une analyse « cybernétique » à partir d’un modèle de système dynamique incluant une boucle de rétro-action. Les propriétés essentielles mises en avant sont l’existence d’une organisation hiérarchique, la régularité imposée par la stabilité au cours de l’évolution temporelle, ainsi que la séparabilité de certaines composantes du système qui ont des interactions faibles. Ces propriétés se retrouvent dans les systèmes neurophysiologiques, biologiques, physiques, ou symboliques.

7En lien avec cette analyse, le cours a abordé l’architecture hiérarchique et multi-échelle des réseaux de neurones convolutifs, qui sont eux-mêmes structurés par une information a priori. Comprendre ces réseaux nécessite d’analyser trois aspects : l’estimation, l’optimisation et l’approximation. L’estimation consiste à identifier le meilleur modèle dans une classe définie a priori par l’architecture. Les propriétés des estimateurs sont brièvement revues. L’estimation peut se faire en minimisant une fonction de risque. Cette minimisation est calculée avec un algorithme d’optimisation et notamment par descente de gradient stochastique, afin d’ajuster les paramètres du réseau.

Séminaire 2 – Challenges de données (partie II)

29 janvier 2020

8Lors de cette deuxième session, 9 autres challenges du site web challengedata.ens.fr ont été présentés :

– « Prédiction du sexe en fonction du rythme cérébral », présenté par Valentin Thorey, de la société Dreem. Le but de ce challenge était de prédire le genre d’individus à partir de 40 intervalles de leur électrocardiogramme ;

– « Prévision de la puissance éolienne le jour suivant sur le marché de l’énergie », présenté par Olivier Vannier, de la société CNR. Le but de ce challenge était de prédire la production d’énergie de six centrales éoliennes à partir de relevés météorologiques ;

– « Prédiction du temps de réponse d’un véhicule de la Brigade des sapeurs-pompiers de Paris », présenté par Benjamin Berhault, de l’organisme public BSPP. Le but de ce challenge était de prédire le temps entre la sélection d’un véhicule de la brigade et son arrivé sur place à partir du temps mesuré sur le passé et de données de véhicules ;

– « Prédiction de la direction du Bitcoin à partir de données de sentiment », présenté par Marc des Ligneris, de la société Napoléon AM. Le but de ce challenge était de prédire les rendements futurs du Bitcoin en les classant en trois catégories ;

– « Classification de chants de dix espèces d’Odontocètes », présenté par Hervé Glotin, de l’université de Toulon. Le but de ce challenge était de classifier en dix catégories les enregistrements sonores d’animaux marins ;

– « Prévision de défaillance dans une ligne de production », présenté par Éric Manouvrier, de la société Valeo. Le but de ce challenge était de prédire le défaut de pièces d’usines durant leur assemblage. Cette prédiction pourra se faire à partir de relevés industriels, valeurs d’angles, de mesures logiques et autres ;

– « Segmentation d’objets à partir d’images de synthèse », présenté par Eliot Angles, de la société PhotoRoom. Le but de ce challenge était de construire un algorithme permettant de déterminer où se situe l’objet central d’une image. La solution est un ensemble de pixels ;

– « Désagrégation de la courbe de charge d’un logement », présenté par Coline Baraize, de la société BCM Energy. Étant donnée la consommation globale d’un logement, le but de ce challenge était de déterminer quelle part de cette consommation est attribuée à quel appareil parmi machine à laver, réfrigérateur, télévision et bouilloire ;

– « Couverture d’un équinoxe par machine learning », présenté par Olivier Croissant, de la société Natixis. Le but de ce challenge était de construire un modèle produisant une stratégie de réplication optimale d’une option à partir de la valeur de l’actif au cours du temps et d’autres valeurs de marché comme la volatilité.

Cours 3 – Approximation et séparabilité

5 février 2020

9Le cours a repris le problème d’optimisation dans le cas particulier des réseaux de neurones. Il a décrit le phénomène de sur-paramétrisation, qui semble aider la généralisation, comme cela a été observé avec les courbes de « doubles descentes » lorsque le nombre de paramètres augmente. On a abordé ensuite le problème d’approximation de fonctions et de malédiction de la dimensionnalité. Cela a commencé par un rappel des bornes d’approximations des fonctions lipchitziennes, qui sont pessimistes en grande dimension. La séparabilité est une forme de régularité qui permet de réduire la dimension de l’espace d’approximation en réduisant les interactions entre les variables. Cela peut considérablement améliorer les vitesses d’approximation. C’est à la base de descripteurs SIFT et MFCC utilisés pour la reconnaissance d’images et de sons. La séparabilité peut aussi se faire à travers les échelles, ce qui peut s’implémenter avec des transformées en ondelettes.

10Les symétries connues a priori sont une autre source importante de régularité. Une symétrie est un opérateur qui transforme les données tout en préservant les valeurs de la fonction que l’on veut approximer. L’ensemble des symétries définissent un groupe. Le cours a rappelé la définition d’un groupe. La réduction de dimension de l’approximation se fait en observant que l’on peut quotienter l’espace des données par le groupe de symétrie, ce qui définit des invariants.

Séminaire 3 – Présentation des gagnants des challenges 2018

5 février 2020

11Au cours de la première partie, certains gagnants des challenges 2019 présentent leurs algorithmes ainsi que les résultats obtenus :

– Christophe Leroux, gagnant présent des challenges (i) « Prédiction des mouvements journaliers de stocks sur le marché américain », proposé par la société Capital Fund Management, et (ii) « Décoder le cerveau », du laboratoire de Neurosciences cognitives computationnelles de l’ENS ;

– Hugo Touvron, gagnant du challenge « Détection de métastases de cancer du sein », proposé par la société Owkin ;

– David Atencia, gagnant des challenges (i) « Prédiction de courbe de consommation », proposé par la société Enedis, et (ii) « Prédiction de la concentration en particules PM10 » de la société PlumeLabs ;

– Florian Pothin et Morgan Riou, gagnants du challenge « Prédiction de sinistres » proposé par la société Generali.

12Une remise des prix a été faite pour les Gagnants des autres challenges :

– Armand Lacombe, gagnant du challenge « Prédiction de phases de sommeil profond », proposé par la société Dreem ;

– Laurent Deborde, gagnant des challenges (i) « Prédiction du ratio de Sharpe de stratégies financières », proposé par la société Napoléon AM ;

– Lina Mezghani et Jean-Baptiste Sevestre, gagnants du challenge « Diagnostic de cancer de l’œsophage », proposé par la société Maunea Kea Technologies ;

– Émeric de Monteville, gagnant du challenge « Valorisation d’options par interpolation non linéaire », proposé par la société Natixis ;

– Mohamed-Haykel Zayani, gagnant France du challenge « Amélioration du bien-être au travail », proposé par la société Oze-Energies ;

– Yohann Le Faou, gagnant du challenge « Classifications de questions liées aux médicaments », proposé par la société Posos ;

– Clément Roussel et Arnaud Fanthomme, gagnants du challenge « Résolution du Rubik’s cube 2 × 2 × 2 », proposé par la société Lumen AI ;

– les vainqueurs du challenge « Prédiction de la consommation d’électricité », proposé par la société BCM Energy, n’étaient pas présents.

Cours 4 – Groupes de symétries et parcimonie

12 février 2020

13Un groupe de symétrie permet d’éliminer une source de variabilité des donnés, qui n’apporte pas d’information pour un problème de régression ou de classification. Le cours a introduit la notion de groupe de Lie. Il considère le cas du groupe multiplicatif et de translation, ainsi que le groupe des difféomorphismes qui déforme les supports temporels ou spatiaux des signaux. On peut utiliser la connaissance d’un groupe de symétrie en définissant une représentation des données qui est invariante par l’action du groupe. On définit la notion d’invariant canonique à partir des orbites de l’action du groupe.

14Lorsque l’on ne connaît pas le groupe de symétrie mais que l’on sait qu’il appartient à un certain groupe de grande dimension, on peut construire des invariants avec des projecteurs linéaires si on a linéarisé l’action du plus grand groupe. C’est la stratégie utilisée pour apprendre des invariants par déformation et donc relativement à l’action d’un sous-groupe du groupe des difféomorphismes. Cette linéarisation peut se faire au 1er ordre avec un développement limité sur des fonctions régulières, mais ce n’est pas suffisant lorsque les fonctions sont irrégulières.

15La réduction de dimension peut aussi se faire en construisant des représentations parcimonieuses. De telles représentations s’obtiennent en décomposant les données avec un opérateur linéaire, appelé dictionnaire, et en sélectionnant les coefficients de plus grande amplitude. Ces dictionnaires, qui peuvent être appris, sont interprétés comme des ensembles de paternes discriminantes dans un problème de classification.

Séminaire 4 – Réseaux de neurones profonds pour le signal audio musical

Geoffroy Peeters (professeur à Telecom Paris Tech), le 12 février 2020

16Comme dans de nombreux domaines, les réseaux de neurones profonds ont permis des avancées importantes dans le traitement des signaux audio musicaux. Ce séminaire a présenté les spécificités de ces signaux et les adaptations nécessaires des réseaux de neurones profonds pour leur modélisation.

17Dans une première partie, nous avons rappelé certains éléments de traitements du signal audio (Fourier, CQT, modèle sinusoïdal harmonique, modèle source-filtre). Dans l’approche machine-learning traditionnelle, ces éléments sont utilisés pour construire des hand-crafted features donnés en entrée d’algorithmes de classification.

18Dans une deuxième partie, nous avons montré comment les réseaux de neurones profonds (en particulier convolutionnels) permettent d’effectuer du feature learning. Nous avons d’abord rappelé les différences fondamentales entre l’image 2 D et les représentations temps/fréquence. Nous avons ensuite discuté le choix de l’entrée (spectrogramme, CQT ou raw-waveform), le choix de la forme des filtres de convolutions, les modèles neuronaux autorégressifs, et les différentes manières d’injecter de la connaissance a priori (harmonicité, source/filtre) dans ces réseaux.

19Dans une troisième partie, nous avons présenté les différents paradigmes d’apprentissage utilisés dans le domaine audio musical : classification, encoder-décoder (séparation de source, contraintes sur l’espace latent), metric learning (triplet loss) et semi-supervised learning.

Cours 5 – Convolutions et représentations temps-fréquences

26 février 2020

20Une source importante d’information a priori est la structure géométrique de l’espace d’indexation des données, que ce soit l’espace pour les images, ou le temps pour des signaux audio. Cette paramétrisation définit des groupes de transformations comme les translations. Les opérateurs linéaires et covariants par translation sont les convolutions. Une classe importante d’invariant par translation s’obtient en diagonalisant les convolutions par la transformée de Fourier et en supprimant la phase avec un module.

21Un difféomorphisme est un opérateur qui déforme l’espace physique avec une fonction régulière et inversible. En une dimension, un difféomorphisme peut localement s’approximer par une translation et une dilatation. L’action d’un petit difféomorphisme n’est pas linéarisé par le module de la transformée de Fourier car il peut produire des instabilités aux hautes fréquences.

22Les représentations temps-fréquences localisent l’information de Fourier, dans la limite du théorème d’incertitude, en projetant les données sur des atomes temps-fréquences. La transformée de Fourier à fenêtre permet d’obtenir des représentations parcimonieuses qui mettent en évidence l’évolution temporelle ou spatiale des fréquences d’un signal. Cette localisation n’est cependant pas suffisante pour aussi éviter les instabilités induites par les difféomorphismes aux hautes fréquences.

Séminaire 5 – Intelligence artificielle et intelligence naturelle : vers l’IA bio-inspirée

Simon Thorpe (CNRS), le 26 février 2020

23Depuis plus de trente ans, Simon Thorpe a tenté de comprendre comment notre cerveau arrive à reconnaître des images aussi rapidement, malgré la lenteur relative de ses neurones. Il a proposé que, vu la vitesse des traitements, une grande partie de ceux-ci doivent être réalisée avec une vague de traitement unidirectionnelle en mode feed-forward. Depuis 2012, ce type d’architecture est utilisé par des systèmes artificiels avec beaucoup de succès. Mais il reste d’autres idées de la biologie qui peuvent être une source d’inspiration pour l’IA. Dans cet exposé, il a parlé de deux idées particulièrement intéressantes, absentes dans la plupart des systèmes artificiels. D’abord, le fait que les vrais neurones utilisent des « spikes » pour encoder de l’information, et plus particulièrement l’ordre des décharges des neurones. Ensuite, il y a le fait que les neurones peuvent apprendre des descripteurs qui se répètent de manière non supervisée.

Cours 6 – Transformées en ondelettes

4 mars 2020

24La transformée en ondelettes est une représentation temps-fréquence obtenue en décomposant le signal sur des fonctions localisées qui sont translatées et dilatées. Elle définit une représentation inversible et stable. On retrouve des décompositions en ondelettes dans la cochlée du système auditif. On construit des invariants par translation en éliminant la phase d’une transformée en ondelettes analytiques, avec un module, puis en calculant une moyenne spatiale. Cela définit un opérateur contractant. Le logarithme de ces invariants s’apparente aux descripteurs MFCC utilisés pour la classification de signaux audio. Contrairement à la transformée de Fourier, ou de Fourier à fenêtres, ces descripteurs multi-échelles sont stables par déformations, même aux hautes fréquences.

Séminaire 6 – Application du deep learning pour l’histologie

Pierre Courtiol (Owkin), le 4 mars 2020

25Dans cet exposé, Pierre Courtiol a présenté trois exemples récents d’applications du deep learning en histologie dans le domaine du cancer : prédiction pronostique, prédiction génomique et intégration des connaissances expertes. Il montre comment l’analyse des grandes images d’histologie (100 000 pixels par 100 000 pixels) avec des méthodes de deep learning faiblement supervisées permet de construire des modèles prédictifs interprétables et ainsi d’apporter un nouveau regard sur la biologie tumorale.

Cours 7 – Ondelettes pour les images

11 mars 2020

26La transformée en ondelettes est étendue en deux dimensions aux images en définissant plusieurs ondelettes qui subissent une rotation, puis qui sont dilatées et translatées. Les coefficients d’ondelettes se calculent avec des convolutions. On démontre à nouveau que cette représentation est stable et inversible. En supprimant la phase de ces coefficients avec un module, puis en effectuant une moyenne spatiale, on obtient une représentation localement invariante par translations. On étudie sa stabilité aux déformations en montrant que l’action d’un petit difféomorphisme peut s’approximer par un opérateur de translation en espace et le long des échelles. La transformée en ondelette définit donc une représentation stable par déformation contrairement à la transformée de Fourier, ou de Fourier à fenêtres.

27Hubel et Wiesel ont découvert que les neurones « simples » de l’aire corticale visuelle V1 se comportent comme des filtres linéaires dilatés. Cette représentation s’apparente à une transformée en ondelettes bidimensionnelles, avec des ondelettes de Gabor.

Séminaire 7 – Modèles physiologiques de l’audition

Shihab Shamma (ENS), le 13 mars 2020

28Ce séminaire présente les procédures de traitements du signal qui apparaissent dans la cochlée et dans les premières aires auditives du système cortical. Ce système prend en entrée une onde sonore monodimensionnelle et la transforme à différents niveaux sous forme de représentations permettant d’extraire des attributs sonores tels que le timbre ou le « pitch ». On a découvert que les premières transformations effectuées par la cochlée ressemblent à la transformée en ondelettes, qui permet d’extraire des caractéristiques utiles pour de nombreuses applications des traitements audio et des traitements de paroles. Au niveau cortical, la représentation cochléaire est à nouveau transformée par des ondelettes bidimensionnelles, ce qui produit une représentation dotée d’attributs très riches. Ces attributs sont utilisés par le cerveau pour classifier les sons, séparer des mixtures complexes, pour obtenir une écoute robuste aux différentes perturbations sonores ou pour effectuer des fonctions cognitives sur des signaux de parole, de musique ou produits par l’environnement, afin de créer des catégories, extraire un sens ou prendre des décisions.

Cours 8 – Réseaux de scattering par ondelettes

15 juin 2020

29Le dernier cours revoit les principes mathématiques qui guident la réduction de dimensionnalité pour la classification ou la régression. Il montre des applications pour le traitement de la parole, pour la reconnaissance d’images, mais aussi pour la régression de fonctionnelles en physique, notamment pour calculer l’énergie quantique de molécules. Il fait le lien entre les architectures convolutives et la transformée en scattering par ondelettes, qui s’obtient en itérant sur des transformées en ondelettes avec des modules qui suppriment la phase.

30Les réseaux de scattering incluent des filtres d’ondelettes optimisés à partir de l’information a priori que l’on a sur les signaux. Cette transformée s’implémente dans un réseau de neurones profonds dont les filtres ne sont donc pas appris. La séparation d’échelles et la stabilité par déformation de la transformée de scattering par ondelettes est suffisante pour obtenir des résultats proches de l’état de l’art sur des problèmes de classification qui ne sont pas trop complexes.

31Pour la classification d’images incluant des structures complexes, une représentation définie a priori ne semble pas suffisante pour atteindre les résultats obtenus par des réseaux de neurones appris. Cet apprentissage peut être capturé par des représentations parcimonieuses, dans des dictionnaires qui doivent être appris en fonction de la tâche de classification. On comprend toujours mal cet apprentissage ainsi que les propriétés des dictionnaires obtenus.

Cours à l’extérieur

32Un cours a été donné au Collège royal de Belgique, à Namur, le 15 janvier 2020, sur le thème : « Mystères mathématiques des réseaux de neurones profonds ».

33Les réseaux de neurones profonds ont permis de faire des progrès spectaculaires pour résoudre des problèmes complexes comme la reconnaissance d’images, de sons, du langage, ou en physique. Ils ont pris une part importante au renouveau de l’intelligence artificielle. Pourtant, on comprend très mal comment ils fonctionnent, ce qui pose de nombreux problèmes de robustesse et d’explicabilité.

34Reconnaître ou classifier des données revient à approximer des phénomènes qui dépendent d’un très grand nombre de variables. L’explosion combinatoire des possibilités rend ce problème extrêmement difficile, et potentiellement impossible. S’il est possible d’apprendre, c’est qu’il y a de la structure qui limite la complexité, que les réseaux de neurones semblent pouvoir capturer. Comprendre cette « architecture de la complexité » fait appel à de nombreuses branches des mathématiques. Les représentations multi-échelles et parcimonieuses ainsi que l’existence de symétries jouent un rôle important, qui sera abordé en lien avec la transformée en ondelettes. Ces problèmes sont illustrés par des applications en physique, pour la classification et pour la génération d’images.

Recherche

35Je dirige l’équipe de recherche « Data » à l’École normale supérieure, qui étudie des problèmes de mathématiques appliquées aux sciences des données. Cela couvre l’apprentissage supervisé, l’apprentissage non supervisé, ainsi que des problèmes inverses de traitement du signal.

36L’équipe travaille sur des modèles mathématiques permettant d’expliquer la performance des réseaux de neurones profonds. Ils se fondent notamment sur la transformée en ondelettes. En 2019-2020, une partie importante de la recherche était dédiée à la construction de modèles stochastiques pour la physique, mais aussi pour la mise en place de modèles d’apprentissage permettant d’analyser les performances de classification de réseaux de neurones profonds, avec des dictionnaires.

Publications

37Brochard A., Błaszczyszyn B., Mallat S. et Zhang S., « Statistical learning of geometric characteristics of wireless networks », in : IEEE INFOCOM 2019: IEEE Conference on Computer Communications, 2019, p. 2224-2232, https://doi.org/​10.1109/​INFOCOM.2019.8737441.

Leonarduzzi R.F., Mallat S., Bouchaud J.-P. et Rochette G., « Maximum entropy scattering models for financial time-series », in : ICASSP 2019: 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2019, p. 5496-5500, https://doi.org/​10.1109/​ICASSP.2019.8683734.

Mallat S., Zhang S. et Rochette G., « Phase harmonic correlations and convolutional neural networks », Information and Inference: A Journal of IMA, vol. 9, no 3, 2019, p. 721-747, https://doi.org/​10.1093/​imaiai/​iaz019.

Zhang S. et Mallat S., « Maximum entropy models from phase harmonic covariances », 2019, https://arxiv.org/​abs/​1911.10017.

Lapointe C., Swinburne T.D., Thiry L., Mallat S., Proville L., Becquart C.S. et Marinica M.-C., « Machine learning surrogate models for prediction of point defect vibrational entropy », Physical Review Materials, vol. 4, no 6, 2020, art. 063802, https://doi.org/​10.1103/​PhysRevMaterials.4.063802.

Zarka J., Thiry L., Angles T. et Mallat S., « Deep network classification by scattering and homotopy dictionary learning », 2020, https://arxiv.org/​abs/​1910.03561.

Zarka J., Thiry L., Angles T. et Mallat S., « Deep network classification by scattering and homotopy dictionary learning », soumis pour les actes de la Eighth International Conference on Learning Representations (ICLR 2020), 2020.

Andreux M., Angles T., Exarchakis G., Leonarduzzi R., Rochette G., Thiry L., Zarka J., Mallat S., Andén J., Belilovsky E., Bruna J., Lostanlen V., Hirn M.J., Oyallon E., Zhang S., Cella C. et Eickenberg M., « Kymatio: Scattering transforms in Python », Journal of Machine Learning Research, vol. 21, no 60, 2020, p. 1-6, [arXiv : 1812.11214].

Haut de page

Pour citer cet article

Référence papier

Stéphane Mallat, « Sciences des données »L’annuaire du Collège de France, 120 | 2023, 27-36.

Référence électronique

Stéphane Mallat, « Sciences des données »L’annuaire du Collège de France [En ligne], 120 | 2023, mis en ligne le 01 février 2023, consulté le 18 juin 2024. URL : http://journals.openedition.org/annuaire-cdf/18077 ; DOI : https://doi.org/10.4000/annuaire-cdf.18077

Haut de page

Auteur

Stéphane Mallat

Membre de l’Institut (Académie des sciences) et de l’Académie des technologies, professeur au Collège de France

Articles du même auteur

Haut de page

Droits d’auteur

Le texte et les autres éléments (illustrations, fichiers annexes importés), sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search