Le séminaire du SAMOS 2004-2005
José Léon (Université Centrale de Caracas, Venezuela)
Résumé :
Nous montrons une Loi des Grands Nombres et un TLC pour des
fonctionnelles additives d’un processus gaussien stationnaire en utilisant
une approximation pour des processus m-dépendants. En suite, nous utilisons ce
type de résultats pour obtenir la consistance et normalité asymptotique des
estimateurs du paramètre de Hurst d’un mouvement brownien fractionnaire,
nous appelons cette situation non-ergodique. Après en utilisant une
représentation dans le chaos du nombre de franchissements d’un processus
gaussien stationnaire et de la longueur d’une courbe de niveau d'un
champ, nous appliquons à nouveau notre premier résultat pour obtenir des TLC
pour ces fonctionnelles de niveau.
José Léon (Université Centrale de Caracas, Venezuela)
Résumé :
Dans cette conférence, nous étudions quelques propriétés géométriques
d’un champ gaussien modélisant la surface marine et pour cela on utilise
le spectre d’énergie directionnel. Nous considérons la longueur des
crêtes et la vitesse moyenne des contours, ces deux objets peuvent être
exprimés comme des intégrales par rapport aux ensembles de niveau. Nous donnons
aussi un TLC pour la longueur de crêtes en utilisant le développement dans le
chaos de Itô-Wiener.
Michel Verleysen (Université
Catholique de Louvain, Belgique)
Le Fast-Bootstrap pour la sélection de modèles
Résumé :
L'utilisation de méthodes de rééchantillonnage, comme la validation croisée
et le bootstrap, est une nécessité dans le développement de modèles tels que
les réseaux de neurones artificiels. En effet, la plupart des modèles possède
des « méta-paramètres », ou paramètres de complexité, dont la valeur ne peut
que difficilement être fixée par apprentissage traditionnel; c est le cas par
exemple du nombre d'unités dans un perceptron multi-couches (MLP), dans un
réseau à fonctions radiales de base (RBFN), etc... La seule solution effective
pour optimiser la valeur de tels méta-paramètres, et donc pour sélectionner la
structure de modèle adéquate, consiste alors à estimer les performances d'une
large gamme de modèles; les performances à estimer étant des performances de généralisation,
et non d'apprentissage, l'utilisation de méthodes de rééchantillonnage,
gourmandes en temps-calcul, s'avère nécessaire. Le bootstrap est une de ces
méthodes. Il s'agit d'une méthode performante, résultant une variance peu
élevée (comparée à d'autres méthodes) de l'estimation de l'erreur de
généralisation. Malheureusement, la charge de calcul associée est en général
peu compatible avec la réalité des applications. Cet exposé présente la
méthodologie Fast-Bootstrap. Le Fast-Bootstrap utilise le fait que le terme du
bootstrap qui entraîne la charge-calcul importante (l'« optimisme ») est en
général une fonction simple du méta-paramètre à estimer. En utilisant une
approximation de ce terme, on parvient alors à diminuer considérablement le
nombre de simulations nécessaires. La méthodologie Fast-Bootstrap est illustrée
sur les perceptrons multi-couches (MLP), les réseaux à fonctions radiales de
base (RBFN), et les « Least-Square Support Vector Machines » (LS-SVM).
Patrick Letrémy (SAMOS, Université Paris 1)
Traitements de données qualitatives par des algorithmes fondés sur l’algorithme de Kohonen
Résumé : Il est bien connu que l’algorithme SOM réalise une classification des données qui peut, du fait de sa propriété de conservation de la topologie, s’interpréter comme une extension de l’Analyse en Composantes Principales. Cependant l’algorithme SOM s’applique uniquement à des données quantitatives. Dans des précédents papiers, nous avons proposé différentes méthodes basées sur l’algorithme SOM pour analyser des données d’enquête qualitatives (catégorielles). Dans ce papier, nous présentons ces méthodes de manière unifiée. La première (Kohonen Analyse des Correspondances Multiples, KACM) ne gère que les modalités, alors que les deux autres (Kohonen Analyse des Correspondances Multiples avec individus, KACM_ind et Kohonen sur le tableau DISJonctif complet, KDISJ) prennent en compte les individus et les modalités simultanément.
Olivier Perrin (Université
Toulouse 1)
Identification d'une isométrie du drap brownien standard
(en commun avec Serge Cohen,
Résumé Nous utilisons un jeu de variations quadratiques pour identifier presque sûrement le système de coordonnées dans lequel le drap brownien standard est défini.
Madalina Olteanu (Université Paris 1)
Sur les propriétés de beta-mélange des modèles hybrides à chaîne de Markov cachée
Résumé : Dans le cadre de l'utilisation des modèles à chaîne de Markov cachée, l'estimation du nombre d'états du modèle reste un problème ouvert à cause de la non-identifiabilité des paramètres sous l'hypothèse nulle. Récemment, un estimateur de maximum de vraisemblance marginale pénalisée à été proposé par E. Gassiat pour des mélanges à régime markovien. On se propose d'étendre ce résultat pour des modèles hybrides intégrant des perceptrons multi-couche et des chaînes de Markov cachées. Pour cela, on a besoin de s'assurer dans un premier temps de la stationnarité stricte et du caractère beta-mélangeant des processus et, à cette fin, on donnera des conditions suffisantes pour ces deux propriétés.
Nathalie Villa-Vialaneix
(Université Toulouse 2, Le Mirail)
Réseaux neuronaux et SVM à entrées fonctionnelles: une approche par régression inverse
Résumé : Dans le domaine de l'analyse des données fonctionnelles, les méthodes statistiques classiques sont confrontées à des problèmes nouveaux dus au fait que les variables aléatoires étudiées vivent dans des espaces de dimension infinie. Beaucoup de méthodes statistiques classiques ont donc été repensées pour s'adapter aux données fonctionnelles. Nous nous intéressons ici à l'utilisation des perceptrons multi-couches pour traiter des problèmes de régression et de classification à entrées fonctionnelles : la méthode proposée est basée sur une approche par régression inverse permettant d'obtenir un pré-traitement pertinent des données ; des résultats théoriques et des applications sur données réelles montrent l'efficacité de cette approche. Nous expliquons également comment cette méthodologie peut être adaptée à d'autres types de traitements statistiques et, notamment, aux Support Vector Machine ; là aussi, des simulations illustrent notre propos.
Jean-Marc Azaïs (Université Toulouse 3, Paul
Sabatier)
Bornes et développements asymptotiques de la loi du maximum d'un champs aléatoire
Résumé :
La distribution du maximum de champs aléatoires est un thème qui intervient
notamment dans les problèmes de statistique spatiales, d'étude de la houle et
de statistique asymptotique. De manière générale, ce problème est loin d'être
résolu de façon explicite même pour les processus les plus simples (par exemple
gaussiens et stationnaires). Plusieurs méthodes d'approximation sont proposées
dans la littérature:
- la méthode de Rice, basée sur le nombre de maxima locaux.
- la méthodes de la caractéristique d'Euler de l'ensemble d'excursions au-dessus d'un niveau donné.
- la méthode des record basé sur les points extrêmaux dans un direction donnée sur la courbe de niveau.
Nous faisons ressortir les liens entre les méthode et nous les comparons tant sur le plan théorique que numérique.
Barbara Hammer (Technical
University of Clausthal, Allemagne)
Consultez le
site de Barbara Hammer
Relevance Determination in Learning
Vector Quantization
Résumé : Prototype based classifiers like
Kohonen's Learning Vector Quantization (LVQ) constitute intuitive and
efficient classification mechanisms in machine learning which application area
ranges from speach recognition up to bioinformatics. However, the basic
algorithm has several drawbacks:
it does not explicitely obey a cost
function such that the behavior can be instable in particular for
overlapping classes; the algorithm depends crucially on the euclidean metric
and fails if dimensions are inappropriately scaled or disrupted. Thus,
problems occur in particular for high dimensional and noisy real-life
data. In this talk, we introduce an alternative derivation of
LVQ-type algorithms by means of an appropriate cost function. This
general formulation allows to include arbitrary differentiable metrics
within the problem. These metrics can be designed in a problem dependent
way, and metric parameters can be automatically adapted during training. We
demonstrate the improved behavior on two examples, a technical
application and an application from computational biology. In addition,
we accompany the experimental results by a theoretical counterpart
showing that the algorithm can be interpreted (for specific metrics) as
large margin algorithm including formal generalization bounds from
statistical learning theory.
Barbara Hammer (Technical
University of Clausthal, Allemagne)
Consultez le
site de Barbara Hammer
Supervised Recursive Networks
Résumé : Nowadays, supervised recursive
neural networks (RecNNs) constitute well-established neural methods for
the automatic learning of functions on tree structured data. Application areas
range from natural language parsing, bioinformatics, chemistry, up to logo
recognition. Their training agorithms and theoretical properties such as
the approximation capability and learnability are well-established. In recent
years, an increasing interest can be observed to generalize the models, which
have been proposed for recursive structures with a distinct direction of
processing, towards more general objects such as spatial sequences and graphs.
However, results on their capacity in these domains are so far rare. In this
talk, we first give an overview about recursive neural networks, their training
methods, applications, and theoretical properties. Afterwards, we examine one
specific generalization of RecNNs to graph structures which includes context.
This model is based on the popular Cascade Correlation (CC) architecture, a
very powerful and fast learning architecture. We discuss the universal
approximation capability of this model within several variants: the original CC
architecture for time series, an extension which includes tree processing, and
an extension by means of context which can approximate mappings on acyclic
graph structures (including real valued outputs as well as IO-isomorphic
mappings).
Barbara Hammer (Technical
University of Clausthal, Allemagne)
Consultez le site
de Barbara Hammer
Recursive Self-Organizing Maps for
Structures
Résumé : The Self-Organizing Map (SOM) and
alternatives like Neural Gas (NG) constitute powerful and universal tools for clustering,
data-mining, and visualization. However, in their original form, they have been
proposed for vectorial data, and problems arise if more complex data such as
time series or structures are considered. In recent years, several different
extensions of SOM to recursive structures have been proposed based on a variety
of different schemes of time and context integration, the temporal Kohonen map
(TKM) being one of the earliest approaches, the SOM for structured data and
recursive SOM being two recent ones. In this talk, we propose a general
framework for different context and time integration schemes and we discuss the
benefits of the specific choices with respect to real-life applications. We add
a further model which can be interpreted as a more powerful realization of the
original TKM and demonstrate its benefit within a task for speaker
identification. Finally, we have a look at principled theoretical issues. These
include the question of cost functions for learning, the representational
issues, induced metrics, and the connection to classical mechanisms for
processing time series such as finite automata.
Barbara Hammer (Technical University
of Clausthal, Allemagne)
Consultez le
site de Barbara Hammer
Rule Extraction from Prototype-based
Classifiers
Résumé : Neural methods constitute quite
efficient classifiers, but they have the lack that their decisions can usually
not be understood by humans since distributed, subsymbolic modelling is used
instead of symbolic rules. This is a drawback if machine learning is used to
acquire explicit knowledge to guide humans, if an explicit identification of
the relevant parts for a decision is required, or safety-critical problems are
tackled. Nevertheless, subsymbolic methods have the benefit to provide smooth,
fault-tolerant, and robust solutions for real-life problems. This fact makes
the development of intuitive hybrid methods which combine neural classifiers
with explicit symbolic rules attractive. Within the talk, prototoype-based
classifiers will be considered and two different ways to efficiently extract
rules from the neural classifiers will be presented: the first method directly
extracts decision trees based on trained network and, afterwards, optimizes the
result with respect to the decision borders automatically.
The second method iteratively extracts
a decision border and trains a neural classifier on the resulting new
subproblems until a desired degree of accuracy is achieved. Both methods are
thereby intuitive and require little extra cost with respect to the neural
classifier. We demonstrate the good performance of the methods on several
classical rule-extraction benchmark problems.
Elina Miret Barroso, Universidad de
Résumé : Dans ce travail, plusieurs méthodes d’Analyse des Proximités (MDS, de l’anglais, Multidimensional Scaling) sont étudiées pour trouver des liens avec les techniques d'exploration définies dans la théorie générale des coordonnées canoniques proposée par R. Rao [1995]. Un point de vue unifié pour toutes les techniques avec représentation euclidienne est établi. Les ressemblances entre le MDS et les techniques usuelles que Rao a introduites dans sa théorie permettent de considérer méthodologiquement le MDS comme une méthode d'exploration avec représentation euclidienne. Différentes stratégies des MDS seront utilisées pour résoudre des problèmes donnés (à l’aide du logiciel MATLAB). En particulier, on considérera deux exemples pratiques que l’on étudiera par les MDS, mais aussi par les réseaux de neurones de Kohonen. L’avantage de la méthode de Kohonen est son utilisation comme technique de classification qui renforce la procédure MDS, étant donné que la représentation obtenue par le MDS perd beaucoup d’information. Le second exemple prouve la pertinence dans certains cas de l’utilisation des MDS. En effet, appliquer ces méthodes permet de résoudre un problème qui ne peut être en général résolu par l’approche des réseaux de neurones
Ciprian Tudor (Samos, Université Paris 1)
Sur le mouvement brownien bi-fractionnaire
Résumé : Nous étudions le mouvement brownien bifractionnaire introduit par Houdre et Villa. Ce processus est un processus gaussien, auto-similaire qui dépend de deux paramètres H et K et représente une généralisation naturelle du mouvement brownien fractionnaire (obtenu pour K=1). Un cas particulierintéressant est le cas HK=1/2, car dans ce cas la variation quadratique du processus est égale à t, modulo une constante.
Clémentine Prieur (INSA, Université Toulouse III)
Résumé : Il existe déjà une littérature assez fournie concernant les théorèmes limite ou les applications statistiques pour des suites mélangeantes. Cependant, les conditions de mélange ne sont pas toujours satisfaites, même pour des modèles classiques en modélisation. C’est pourquoi nous avons défini des versions affaiblies des coefficients de mélange, pour lesquelles nous avons plus de classes de modèles. Après avoir introduit ces coefficients, je présenterai les différents théorèmes limite et les différentes applications statistiques que nous obtenons dans ce cadre moins contraignant.
Catherine Aaron (Samos, Université Paris 1)
Résumé
: L'hypothèse de connexité est le pendant non linéaire à l'hypothèse
courante de convexité dans les méthodes linéaires. En partant de ce constat on
présente deux méthodes de segmentation en composantes connexes, l'une reposant
sur des graphes, l'autre sur les interactions entre classification et
estimation de densité. Enfin on présentera des méthode d'analyse d'une classe
connexe : normalisation et recherche des axes principaux ainsi que recherche de
dimension intrinsèque.
Olivier Winterberger (Samos, Université Paris 1)
Résumé
: Nous souhaitons résumer l'information apportée par un grand nombre de
données, ici les courbes d'évolution journalière de la vitesse moyenne des
voitures observées sur une portion de route pendant deux ans. Nous utilisons
une nouvelle méthode de classification non supervisée afin de regrouper les
observations en classes cohérentes. Une méthode classique consiste à choisir
les classes présentes à un même niveau dans une classification ascendante
hiérarchique (CAH), puis de s'entraîner sur un échantillon distinct pour
atteindre le niveau optimal. A partir de
Gilles Teyssière (Samos, Université Paris 1)
Résumé : We propose a new class of processes,
the Long-Memory Nonlinear Asymmetric GARCH (LM-NGARCH), which extend the
Nonlinear Asymmetric GARCH by \cite{engle:1990} to fractional situations. We
also consider the stationary semi long-memory ARCH processes, which mix
hyperbolic and exponential rate of decay of the lag polynomials, and the
Artificial Neural Network Long--Memory ARCH. We apply these models to the
series of log of returns on the S\&P500 index. We compare the forecasting
performance of these models.
Résumé : Two classes of tests designed
to detect changes in volatility are proposed. Procedures based on squared model
residuals and on the likelihood ratio are considered. The tests are applicable
to parametric nonlinear models like GARCH. Both asymptotic and bootstrap tests
are investigated by means of a simulation study and applied to returns data.
The tests based on the likelihood ratio are shown to be generally preferable,
and appear to have a better power that the semiparameteric and parametric
competing tests for change--point detection. A wavelet based estimator of long
memory is applied to returns data to shed light on the interplay of
change--points and long memory.
Ibrahim Ahamada (Eurequa, Université Paris 1)
Résumé : This paper proposes a nonparametric
test of covariance stationarity for high frequencies panel
data. The Alternative hypothesis is the existence of at least an individual
series which present a time varying covariance structure. Our approach is
based on the concept of time varyng spectral density. Simulaton experiments
confirm the efficiency of our approach. We show how our test detects diverse
types of instabilities that classical test can do. An application to a panel
data of financial returns reveals some instabilities in the covariance
structure. This result confirm some recent works and call to take some
precautions before using traditional stationarity tools to describe the
behavior of some long sizes financial data.
Istvan Gyongy (Edinburgh University, Grande Bretagne)
Résumé : Adapting an idea of Nicolai Krylov
we show that SDEs can be associated with mini-max problems in suitable infinite
dimensional spaces. More precisely, if the coefficients of an SDE satisfy the
so called monotonicity condition, then one can construct a mini-max problem
such that its saddle point is the solution of the given SDE. This connection
between SDEs and mini-max problems can be useful in many ways. In a recent
joint paper with
10h - 10h 50 : Istvan
Gyongy (
Résumé : We investigate the rate of
convergence of the Wong-Zakai approximations, obtained by approximating the
multi-dimensional driving process W of the SDE with continuous processes W_n of
finite variation on a finite interval [0,T]. Our main result reads as follows.
Suppose that W_n and its 'area processes' converge almost surely in the
supremum norm to $W$ and its area processes, respectively, with some given speed.
Then the solutions of the approximating equations converge also almost surely
in the supremum norm with essentially the same speed. This result is obtained
in a joint paper with Anton Shmatkov.
11h - 11h 50 : Frédéric Viens (Purdue University, Etats-Unis)
Résumé : We give the sharpest estimates to
date for the large-time exponential behavior of the stochastic
12h10 - 13h : Giovanni Peccati (Université de Paris 6, France)
Résumé
: Dans cet exposé, on présentera différentes notions d'intégrale
stochastique basée sur la décomposition chaotique sur l'espace de Wiener, dite d'espace-temps.
Les séminaires des années précédentes
SAMOS (Statistique Appliquée et MOdélisation Stochastique)
Université Paris 1