Les méthodes de classification convexes dans les espaces RKHS traduites dans le formalisme des méthodes de sélection de modèles par pénalisation en M-estimation régulière : l’apport de l’heuristique de pente de Birgé et Massart pour la classification convexe.

Adrien Saumard (Université de Rennes 1)
vendredi 26 novembre 2010

Résumé : Nous introduirons tout d’abord les méthodes de classi…cation
convexes dans les espaces RKHS - comme par exemple les algorithmes
reliés aux "Support Vector" et en particulier la méthode "SVM" -, dans
leur formalisme standard, i.e. en tant que méthodes de pénalisation L2
dans un espace de Hilbert convenable. Puis nous changerons de point de
vue et nous décrirons ces algorithmes comme des méthodes de sélection
de modèles par pénalisation, sur une « petite » collection de modèles.
Cette écriture est due à P. Massart et ses coauteurs (cf. Blanchard,
G., Bousquet, O., Massart, P., 2008), qui l’ont utilisée dans le but
de déterminer si la pénalisation classique utilisée par l’algorithme
SVM est bien légitime et optimale. Il semblerait selon ces auteurs que
non, la pénalité ne soit pas optimale dans tous les cas de figure, et
qu’elle ait au contraire une tendance à « surpénaliser ». Nous irons
plus loin dans l’étude initiée par Blanchard, Bousquet et Massart et
nous utiliserons pour cela les développements récents sur la
validation théorique de l’heuristique de pente de Birgé et Massart,
cette dernière stipulant l’existence
d’une pénalité optimale et d’une pénalité minimale dans le problème
de sélection
par pénalisation parmi une famille de M-estimateurs, telles que la
pénalité optimale vaut deux fois la pénalité minimale (pour se
familiariser avec ces développements récents, on pourra par exemple
consulter les prépublications disponibles sur ma page personnelle :
https://sites.google.com/site/adrie....


Cet exposé se tiendra en salle C20-13, 20ème étage, Université
Paris 1, Centre Pierre Mendes-France, 90 rue de Tolbiac, 75013 Paris
(métro : Olympiades).