Partenaires

CNRS
Logo tutelle
Logo tutelle
Logo tutelle

Rechercher

Sur ce site

Sur le Web du CNRS

Accueil du site > Séminaires > Probabilités Statistiques et réseaux de neurones > Le Fast-Bootstrap pour la sélection de modèles

Vendredi 5 novembre 2004, à 10h

Le Fast-Bootstrap pour la sélection de modèles

Michel Verleysen (Université Catholique de Louvain, Belgique)

Résumé : L’utilisation de méthodes de rééchantillonnage, comme la validation croisée et le bootstrap, est une nécessité dans le développement de modèles tels que les réseaux de neurones artificiels. En effet, la plupart des modèles possède des « méta-paramètres », ou paramètres de complexité, dont la valeur ne peut que difficilement être fixée par apprentissage traditionnel ; c est le cas par exemple du nombre d’unités dans un perceptron multi-couches (MLP), dans un réseau à fonctions radiales de base (RBFN), etc... La seule solution effective pour optimiser la valeur de tels méta-paramètres, et donc pour sélectionner la structure de modèle adéquate, consiste alors à estimer les performances d’une large gamme de modèles ; les performances à estimer étant des performances de généralisation, et non d’apprentissage, l’utilisation de méthodes de rééchantillonnage, gourmandes en temps-calcul, s’avère nécessaire. Le bootstrap est une de ces méthodes. Il s’agit d’une méthode performante, résultant une variance peu élevée (comparée à d’autres méthodes) de l’estimation de l’erreur de généralisation. Malheureusement, la charge de calcul associée est en général peu compatible avec la réalité des applications. Cet exposé présente la méthodologie Fast-Bootstrap. Le Fast-Bootstrap utilise le fait que le terme du bootstrap qui entraîne la charge-calcul importante (l’« optimisme ») est en général une fonction simple du méta-paramètre à estimer. En utilisant une approximation de ce terme, on parvient alors à diminuer considérablement le nombre de simulations nécessaires. La méthodologie Fast-Bootstrap est illustrée sur les perceptrons multi-couches (MLP), les réseaux à fonctions radiales de base (RBFN), et les « Least-Square Support Vector Machines » (LS-SVM).

Voir en ligne : Tansparents (format PDF)

Dans la même rubrique :