Assas Recherche | Sélection et approximation de modèle dans les modèles de mélange d'experts de grande dimension : de la théorie à la pratique

Sélection et approximation de modèle dans les modèles de mélange d'experts de grande dimension : de la théorie à la pratique (Document en Anglais)

Accès au(x) document(s)

Accéder au(x) document(s) :

Ce document est protégé en vertu du Code de la Propriété Intellectuelle.

Modalités de diffusion de la thèse :

Thèse consultable sur internet, en texte intégral.

Informations sur les contributeurs

Auteur : Nguyen Trung Tin

Nguyen, Trung Tin

Nom

Nguyen

Prénom

Trung Tin

Nationalité

Date de soutenance : 14-12-2021

Directeur(s) de thèse : Chamroukhi Faicel

Chamroukhi, Faicel

Nom

Chamroukhi

Prénom

Faicel

Etablissement de soutenance : Normandie

Normandie

Nom

Normandie

Laboratoire : Laboratoire de Mathématiques Nicolas Oresme (Caen ; 2002-....)

Laboratoire de Mathématiques Nicolas Oresme (Caen ; 2002-....)

Nom

Laboratoire de Mathématiques Nicolas Oresme (Caen ; 2002-....)

Ecole doctorale : École doctorale mathématiques, information et ingénierie des systèmes (Caen)

École doctorale mathématiques, information et ingénierie des systèmes (Caen)

Nom

École doctorale mathématiques, information et ingénierie des systèmes (Caen)

Informations générales

Discipline : Mathématiques
Classification : Mathématiques

Mots-clés libres : Mélange d'experts, Modèles de mélange, Approximation universelle, Maximum de vraisemblance pénalisé, Sélection de variables, Sélection non-asymptotique de modèle, Grande dimension, Lasso, Régularisation, Régression inverse, Distance de Wasserstein, Algorithme MM, Proximal-Newton, Clustering, Calcul bayésien approximatif
Mots-clés :

Statistique mathématique
Modèles mathématiques
Variables (mathématiques)
Régularisation
Analyse de régression
Distances de Wasserstein
Algorithmes EM
Classification
Théorie de la prévision
Pénalisation (optimisation mathématique)
Statistique bayésienne

Résumé : Dans cette thèse, nous étudions les capacités d'approximation et les propriétés d'estimation et de sélection de modèles, d'une riche famille de mélanges d'experts (MoE) dans un cadre de grande dimension. Cela inclut des MoE avec experts gaussiens et fonctions soft-max (SGaME) ou gaussiennes normalisées (GLoME) pour modéliser la distribution de la variable latente conditionnellement aux experts. Tout d'abord, nous améliorons les résultats d'approximation universelle dans les mélanges inconditionnels, et étudions ces capacités d'approximation pour les MoE dans une variété de contextes, y compris en approximation de fonctions de densités de probabilité (FDP) conditionnelles et en calcul bayésien approximatif. Plus précisément, nous prouvons qu'à un degré de précision arbitraire, les mélanges de translatées dilatées d'une FDP continue peuvent approximer toute FDP continue, uniformément, sur un ensemble compact; les mélanges de translatées dilatées d'une FDP essentiellement bornée, resp. d'une FDP conditionnelle, peuvent approcher toute FDP, resp. toute FDP conditionnelle continue lorsque les variables d'entrée et de sortie sont toutes deux à support compact, dans les espaces de Lebesgue. Par la suite, nous établissons des résultats non asymptotiques de sélection de modèle dans des scénarios de régression à grande dimension, pour une variété de modèles de régression MoE, y compris GLoME et SGaME, en s'appyuant sur une stratégie de régression inverse ou une pénalisation Lasso, respectivement. Ceux-ci incluent des résultats pour la sélection du nombre de composantes du mélange d'experts, ainsi que pour la sélection jointe de variable et des rangs des matrices de covariances. En particulier, ces résultats fournissent une garantie théorique solide: une inégalité d'oracle en échantillon fini satisfaite par l'estimateur du maximum de vraisemblance pénalisé avec une perte de type Jensen-Kullback-Leibler, pour soutenir l'heuristique de pente dans un cadre d'échantillon fini, par rapport aux critères asymptotiques classiques. Enfin, pour appuyer nos résultats théoriques et l'étude statistique de la sélection non-asymptotique de modèles, nous réalisons des études numériques en considérant des données simulées et réelles, qui mettent en évidence la performance de nos résultats notamment ceux d'inégalités d'oracle en échantillon fini.

Informations techniques

Type de contenu : Text
Format : PDF

Informations complémentaires

Entrepôt d'origine :

STAR : dépôt national des thèses électroniques françaises

Identifiant : 2021NORMC233
Type de ressource : Thèse