Le s�minaire du SAMOS - 2003

          

Vendredi 23 mai 2003 � 9h30, salle C-21-07, 21�me �tage, ascenseurs rouges

Professeur Magda Peligrad (Universit� de Cincinnati et Universit� Paris 6)

Une nouvelle in�galit�  maximale et un principe d'invariance pour des suites stationnaires

Dans cet expos� on montrera une nouvelle in�galit� maximale pour des suites stationnaires v�rifiant une condition de type martingale introduite par Maxwell et Woodroofe (2000). Ce r�sultat sera ensuite appliqu� pour prouver un principe d'invariance de Donsker pour ces suites stationnaires. Un exemple de cha�ne de Markov montrera enfin que les conditions impos�es sont optimales.

 

 

 

Lundi 28 avril 2003, � 13h30, salle des th�ses, 22�me �tage, ascenseurs rouges

 

Jean-Marc Bardet (Toulouse)

Propri�t�s et identification du mouvement brownien fractionnaire multi-�chelles et applications biom�caniques

Dans de nombreuses applications, par exemple en finance, t�l�communication ou biom�canique, il semble int�ressant de mod�liser les donn�es avec une g�n�ralisation du mouvement brownien fractionnaire dans laquelle le param�tre de Hurst H d�pendrait de la fr�quence. Nous construisons et d�crivons ainsi le mouvement brownien fractionnaire multi-�chelles pour lequel le param�tre H est une fonction en escalier de la fr�quence. Nous mettons en �vidence les principales propri�t�s de ce processus et proposons une m�thode statistique fond�e sur l'analyse par ondelettes pour d�tecter les ruptures fr�quentielles, estimer les diff�rents param�tres et tester l'ad�quation au mod�le. Des donn�es biom�caniques sont �tudi�es avec ces nouveaux outils et conduisent � des conclusions int�ressantes sur le comportement postural humain.

 

Vendredi 4 avril 2003, � 9h, salle B-21-97

Charles El Nouty (Paris 6)

 Le mouvement brownien fractionnaire m�lang� fractionnaire 

Soit $ \{ B_H(t), t \geq 0 \} $ un mouvement Brownien fractionnaire d'indice $ 0 < H < 1$, i.e. un processus Gaussien centr� ayant des accroissements stationnaires tel que $B_H(0)=0$, avec probabilit� 1, et v�rifiant
$\esp \Bigl( B_H(t) \Bigr)^2 = t^{2H}, \; t \geq 0$.
Talagrand (1996) a caract�ris� les classes inf�rieures de la statistique
$$
Y_0 (t) = \sup_{0 \leq s \leq t} \;
\mid B_H(s) \mid
$$
\noindent
par un test int�gral. Les classes inf�rieures d'autres statistiques ont �t� ensuite �tudi�es (El-Nouty (2001, 2002, 2003a, 2003b)).
A partir des travaux de Ch�ridito (2001), le mouvement Brownien fractionnaire m�lang� fractionnaire (MBFMF) est introduit. Nous caract�risons les classes inf�rieures du MBFMF (El-Nouty (2003c)).


Vendredi 28 mars 2003, � 9h30, salle B-14-03

Marc Hoffmann (Paris 7)

Estimation de la r�gularit� de fonctions al�atoires observ�es dans du bruit 

Nous cherchons � retrouver des propri�t�s d'invariance par �chelle sur des donn�es empiriques de la forme :
observation = signal + bruit.
Nous postulons le signal comme �tant la r�alisation d'un processus al�atoire ayant des propri�t�s d'auto-similarit�. Nous explorons syst�matiquement certaines m�thodes dites ``d'energie'' et �tudions les vitesses optimales de convergence. Un lien formel est �tabli entre ce probl�me et l'estimation bayesienne non-param�trique.
Ce travail est en collaboration avec Arnaud Gloter.

 

Vendredi 21 mars 2003, � 9h45, salle C-21-07

Florence Merlev�de (Paris 6)

 Estimation de la densit� pour des processus � temps continu via un estimateur par projection 

Dans cet expos�, on s'attache au probl�me de l'estimation non param�trique de la densit� marginale f d'un processus � temps continu observ� sur [0,T] . Dans ce but, on utilisera un estimateur par projection et on �tudiera le risque en moyenne quadratique int�gr�. On explorera les vitesses atteintes soit sous des hypoth�ses de faible d�pendance, soit sous une hypoth�se plus sp�cifique aux processus � temps continu qui est assez proche de celle introduite par Castellana et Leadbetter (1986). Cette hypoth�se contient � la fois une condition d'ind�pendance asymptotique, mais aussi une condition d'irr�gularit� locale des trajectoires. Sous cette hypoth�se, notre estimateur atteint la vitesse dite param�trique, T-1. Des exemples tendant � �tablir l'optimalit� de cette condition seront �galement exhib�s. De plus, motiv�s par le fait que m�me si le processus �volue en temps continu, les donn�es sont tr�s souvent collect�es par �chantillonnage, on explorera quels types d'�chantillonnage, d'asymptotique et quelles conditions permettent de retrouver la vitesse dite param�trique lorsque le processus est observ� � temps discret.


Vendredi 14 mars 2003 � 10 h

St�phane Boucheron (LRI, Orsay)


Exposants d�erreur optimaux pour l�identification de l�ordre d�une cha�ne de Markov cach�e (HMM)

Nous consid�rons l�estimation de l�ordre, c�est-�-dire du nombre d��tats cach�s d�une cha�ne de Markov cach�e � temps discret sur un alphabet d�observation fini. Ce probl�me a un int�r�t pratique car les param�tres d�une HMM ne sont pas identifiables si l�ordre est mal sp�cifi�.
Les estimateurs envisag�s sont li�s aux estimateurs construits sur le crit�re d�information bay�sien (BIC). Ce sont par exemple des estimateurs par maximum de vraisemblance p�nalis� ou des estimateurs construits � partir de codeurs universels, comme propos�s par Kieffer (1993) ou Liu et Narayan (1994). Nous v�rifions donc la forte consistance de ces estimateurs sans supposer de borne sup�rieure a priori sur le nombre d��tats cach�s et en utilisant les plus petites p�nalit�s connues � ce jour. Nous prouvons ensuite deux versions du Lemme de Stein pour l�estimation de l�ordre d�une HMM. Ces deux versions donnent d�une part une borne sup�rieure non-triviale pour la vitesse exponentielle avec laquelle la probabilit� de sous-estimation tend vers 0, et montrent d�autre part que la vitesse avec laquelle la probabilit� de surestimer l�ordre tend vers 0 ne peut �tre exponentielle en fonction du nombre d�observations.
Finalement le r�sultat principal est constitu� par la preuve que les estimateurs de l�ordre par maximum de vraisemblance p�nalis� ont une probabilit� de sous-estimer l�ordre qui d�cro�t de mani�re optimale. Cette preuve tourne la difficult� constitu�e par la nature myst�rieuse du maximum de vraisemblance dans les HMM en utilisant des arguments de grandes d�viations au niveau des processus de vraisemblance.


Vendredi 28 f�vrier 2003 � 10h

Gonzalo Joya
(Departamento de Tecnolog�a Electr�nica.
ETSSI Telecomunicaci�n, Universit� de M�laga, Espagne)


Algorithme de Kohonen appliqu� � l'�valuation de la Securit�

Les syst�mes de transmission d'�nergie �lectrique sont souvent oblig�s de fonctionner dans des conditions tr�s proches des limites techniques. Ces conditions exigent le d�veloppement de syst�mes d'�valuation de la s�curit� rapides et efficients, lesquels doivent permettre la d�tection d'une situation critique ou d'ins�curit� dans le moindre temps possible, ainsi que proposer les actions de contr�le appropri�es pour amener le syst�me jusqu'� une situation de s�curit�.
Dans un r�seau �lectrique de taille r�elle, le nombre de failles ou de contingences possibles, ainsi que le nombre de variables qui d�crivent l'�tat du syst�me sont excessivement �lev�s. Cela entra�ne qu'une solution du probl�me de l'�valuation de la s�curit� bas�e sur l'analyse fonctionnelle de ces variables peut-�tre inabordable.
Dans ce contexte, les algorithmes de Kohonen apparaissent comme un outil tr�s int�ressant gr�ce � leur capacit� de classification d'un ensemble de donn�es d'une mani�re visuelle rapide, et leur capacit� d'expliciter des crit�res de classification inconnues pour un op�rateur.
Dans cet expos� nous d�crivons et discutons quelques unes des applications des algorithmes de Kohonen � l'�valuation de la s�curit� d'un syst�me d'�nergie �lectrique, soit pour la d�tection de la gravit� d'un possible �tat du r�seau, soit pour la pr�diction de la gravit� d'une contingence future, soit pour la proposition des op�rations de contr�le appropri�es pour la restitution d'un �tat de s�curit�.


Vendredi 21 f�vrier 2003 � 10h

Gonzalo Joya
(Departamento de Tecnolog�a Electr�nica.
ETSSI Telecomunicaci�n, Universit� de M�laga, Espagne)


Techniques " soft-computing " pour l'Identification de Syst�mes.
Une perspective d'Optimisation

L'identification d'un syst�me peut-�tre consid�r�e l'une des plus importantes op�rations de l'ing�nierie � cause de son applicabilit� � des t�ches en rapport � des syst�mes industriels et des syst�mes d'int�r�t social tels que les impliqu�s en d�mographie, en �pid�miologie, en �conomie, etc.
Quand on dispose d'un mod�le du syst�me physique bas� sur un Syst�me d'Equations Diff�rentielles, l'identification peut �tre expos�e en termes d'estimation de la valeur des param�tres du syst�me d'�quations � partir des observations discr�tes des variables d'�tat du mod�le.
De cette perspective, l'identification peut �tre abord�e comme un probl�me d'optimisation, en ce sens qu'il s'agit de trouver les valeurs des param�tres qui produiront les erreurs les plus basses entre les valeurs observ�es et les estim�es pour les variables d'�tat. Cette fa�on d'envisager le probl�me permet sa r�solution au moyen de deux paradigmes tr�s connus parmi ceux englob�s dans le terme " soft-computing ": les Algorithmes G�n�tiques et les R�seaux de Neurones Reboucl�s d'Hopfield.
Dans cet expos�, nous d�crivons l'adaptation de ces deux paradigmes � la r�solution d'un probl�me d'identification et nous discutons et comparons ses limitations et possibilit�s.


Vendredi 14 f�vrier 2003 � 10h

B�atrice Laurent (Statistique Orsay, Universit� Paris 11)


Tests d'hypoth�ses convexes en r�gression gaussienne
En collaboration avec Yannick Baraud et Sylvie Huet

Le but de cet expos� est de pr�senter une approche g�n�rale permettant de tester l'appartenance d'une fonction de r�gression � certains ensembles fonctionnels convexes. Nous pr�senterons, comme applications, des tests de positivit�, de monotonie et de convexit�, ainsi que des tests d'appartenance � certains ensembles de solutions d'in�quations diff�rentielles. Les proc�dures de tests propos�es sont bas�es sur des tests multiples et ne n�cessitent aucune hypoth�se a priori sur la fonction de r�gression. Ces tests sont non-asymptotiques et permettent de d�tecter des �carts � l'hypoth�se nulle en norme infinie. Nous �tablissons des vitesses de s�paration sur des classes de fonctions r�guli�res et pr�sentons une �tude de simulation pour tester la monotonie

 

Vendredi 7 f�vrier 2003 � 10h

Riadh Kallel (MATISSE-SAMOS, Universit� Paris 1)


Evaluation du bootstrap pour le choix d’un mod�le neuronal

Les perceptrons multicouches (PMC) sont des mod�les statistiques qui permettent de d�terminer une relation entre des variables � expliquer et des variables explicatives. Les propri�t�s th�oriques de ces mod�les, comme par exemple, la propri�t� d'approximation universelle, sont connues. Mais, dans le cadre des applications, ces propri�t�s ne permettent pas de choisir entre diff�rents mod�les lorsque le nombre de donn�es est faible. Le bootstrap est une m�thode qui permet d'estimer la pr�cision d'un estimateur quand le nombre d'observations est petit. L'application de cette m�thode aux PMC s'est av�r�e pertinente. Dans un cas plus g�n�ral, comme celui du mod�le auto-r�gressif fonctionnel, le bootstrap param�trique apporte une solution au probl�me de choix de mod�les, par son application au test asymptotique de diff�rences de contrastes. Le test bootstrap est puissant et consistant.


Vendredi 31 janvier 2003 � 10h

Augustin Soul� (Lip6, Universit� Paris VI)


Classification de flots Internet et m�langes de lois de Dirichlet

La transmission de paquets d'information sur le r�seau Internet se fait � travers de routeurs regroup�s en AS (Autonomous System). Un flot est l'ensemble des paquets transmis entre deux AS du r�seau. Chaque flot est d�crit par un histogramme de la taille des paquets pendant une p�riode d'observation.
La classification de ces flots est int�ressante pour avoir une id�e concise du trafic mais surtout car elle facilite la d�tection d'intrusions ou d'attaques du r�seau.
La classification des histogrammes par distance n'est pas satisfaisante car les classes obtenues sont instables et n'ont pas d'interpr�tations param�triques. Nous effectuons une classification par estimation de m�langes de lois de Dirichlet. Les r�sultats obtenus confirment les observations mentionn�es dans la litt�rature sur les divers types de flots (�l�phants, souris, tortues, dragons).


Vendredi 17 janvier 2003 � 10h

Sophie Levionnois (Soci�t� BAYESIA, Laval)


Les r�seaux bay�siens, principes, mod�lisation et apprentissage

Pr�sentation formelle des r�seaux bay�siens et exemples simples. D�monstration via le logiciel BayesiaLab des techniques de mod�lisation et d'apprentissages d'un r�seau bay�sien � partir des donn�es.Recherche de d�pendances conditionnelles, classification automatique, pr�diction et clustering.
Utilisation des r�seaux bay�siens dynamiques en planification strat�gique.Int�r�ts sp�cifiques et comparaison avec d'autres techniques de mod�lisation par apprentissage.
Applications de l'analyse des donn�es � base de r�seaux bay�siens. Application � l'analyse de la trajectoires des patients dans le syst�me de soin et � la classification des clients d'une banque vis � vis de l'attrait de diff�rents produits financiers.

 

Le S�minaire en 2002

 

Vendredi 13 d�cembre 2002 � 10h

Ludovic Lebart (CNRS - Ecole Nationale Sup�rieure des T�l�communications)


Classification et analyse de contigu�t�

Lorsque des observations statistiques (multivari�es) sont associ�es � un graphe, les variances et covariances "locales" permettent de prendre en compte la d�pendance des observations vis-�-vis du graphe. L'analyse de contigu�t� permet alors de confronter structures locales et globales. Le graphe peut �tre construit � partir des donn�es elles-m�mes, ou � partir de donn�es externes ou instrumentales relatives aux m�mes observations (dans chaque cas : � partir de seuils de distance, � partir des k plus proches voisins de chaque observation, ou encore � partir de cartes de Kohonen). Les param�tres des analyses de contigu�t� (spectres et axes principaux) permettent de comparer et de qualifier les diverses visualisations obtenues.


Vendredi 29 novembre 2002 � 10h

Jean-Pascal Aboa (LISE-CEREMADE, Paris 9)


Arbres de d�cision pour donn�es al�atoires

On se donne un �chantillon de donn�es repr�sent�es chacune par des variables al�atoires simulables ou par des lois de probabilit� ou encore par des histogrammes. On propose pour de telles donn�es des algorithmes de construction d'arbres binaires de d�cision. La nouveaut� est l'introduction d'une notion de seuil al�atoire permettant de d�finir les coupures des noeuds de l'arbre. Les branches de l'arbre g�n�rent des r�gles de d�cision ou d'explication de type probabilistes. L'application porte sur des histogrammes de donn�es sociologiques anglaises expliquant le taux de ch�mage par district mais d'autres types d'applications (en traitement d'images, en informatique ou en sant� alimentaire) seront �voqu�es.


Vendredi 11 octobre 2002 � 9h30
Attention : ce s�minaire aura lieu salle C-22-04 bis

Michel Verleysen (Louvain-la-Neuve)


M�thodes de test des r�seaux de neurones artificiels, en vue de la s�lection de mod�les

Il existe de nombreuses m�thodes math�matiques et statistiques pour �valuer les performances d'un mod�le construit sur des donn�es: Monte-carlo, cross-validation, k-fold cross-validation, leave-one-out, AIC et BIC, bootstrap, bootstrap 632, etc. Toutes ces m�thodes peuvent �tre appliqu�es aux r�seaux de neurones artificiels utilis�s par exemple pour l'approximation de fonction ou la classification. L'expos� passera en revue les diff�rents principes de base de ces m�thodes, et montrera comment elles peuvent �tre appliqu�es d'une part � la s�lection de r�gresseurs dans le contexte de la pr�vision de s�ries temporelles, et d'autre part au choix de param�tres (nombre de neurones par exemple) dans un approximateur de fonctions.


Vendredi 25 octobre 2002 � 10h00

Catherine Aaron (MATISSE-SAMOS, Paris 1)


Le point sur les m�thodes de classifications non param�triques en vue d'effectuer des segmentations en classes connexes

On peut, notamment dans le cadre de la mod�lisation, avoir besoin de s'assurer que l'on travaille sur un espace connexe, ceci permet, par exemple, d'exclure des cas de recherche de fonctions non continues. Le cas �ch�ant on devra effectuer un partitionnement de l'espace en classes qui v�rifient cette propri�t�.
Apr�s avoir d�fini une notion de connexit� pour des ensembles discrets (correspondant � des observations de donn�es), nous allons �tudier les r�sultats des m�thodes classiques de classification du point de vue de leur compatibilit� avec l'obtention de partitions connexes pertinentes puis proposer une m�thode de classification reposant uniquement sur le crit�re de connexit�.


Vendredi 29 novembre 2002 � 10h00

Jean-Pascal Aboa (LISE-CEREMADE, Paris 9)


Arbres de d�cision pour donn�es al�atoires

On se donne un �chantillon de donn�es repr�sent�es chacune par des variables al�atoires simulables ou par des lois de probabilit� ou encore par des histogrammes. On propose pour de telles donn�es des algorithmes de construction d'arbres binaires de d�cision. La nouveaut� est l'introduction d'une notion de seuil al�atoire permettant de d�finir les coupures des noeuds de l'arbre. Les branches de l'arbre g�n�rent des r�gles de d�cision ou d'explication de type probabilistes. L'application porte sur des histogrammes de donn�es sociologiques anglaises expliquant le taux de ch�mage par district mais d'autres types d'applications (en traitement d'images, en informatique ou en sant� alimentaire) seront �voqu�es.



Vendredi 28 juin 2002 � 9h30

Carlo Gaetan (Universit� de Padoue)


A Metropolis version of the EM algorithm

The Expectation Maximisation (EM) algorithm is a popular technique for maximum likelihood in incomplete data models. In order to overcome its documented limitations,several stochastic variants are proposed in the literature. However, none of these algorithms is guaranteed to provide a global maximizer of the likelihood function. In this talk we briefly review the stochastic variants and we introduce the MEM algorithm --- a Metropolis version of the EM --- that achieves the global maximisation of the likelihood with probability that goes to one when the number of iterations goes to infinity (This is a joint work with Jian-feng Yao, Universit� de Rennes).





Vendredi 21 juin 2002 � 11h00

Gonzalo Joya (Universit� de Malaga)


Recurrent Artificial Neural Networks for Optimization

Recurrent artificial neural networks (RANNs) are fundamentally defined by its dynamics - expressed with a system of ordinary differential equations- and an associated energy function. The existence of this energy function allows this paradigm for the application to optimization problems, which are relevant from both a theoretical and practical perspective. From a theoretical point of view, because optimization problems are frequently NP-complete, thus providing a good benchmark for comparison with other optimization methods. From a practical point of view, because these problems frequently describe real problems, which are not efficiently solved by classical techniques. Moreover, other interesting problem classes such as control and parameter estimation can be described in terms of optimization. The most important limitations of RANNs regarding this field are two: existence of local minima and slow convergence. Besides, the association between the diverse dynamical equations and the corresponding energy functions is often carried out with insufficient rigor. Several methods have been proposed to face the problem of local minima: on the one hand, strategies for both local minima avoidance and global minimum search have been established, mainly based on the variation of the neuron gain parameters. On the other hand, new energy functions that possess only one global minimum have been explored, resulting in new conditions on the network weights.
The slow convergence problem may be approached by either a parallel implementation or searching new numerical methods for solving the system of differential equations that describe the network dynamics. In this course, a review of the previous questions is carried out. Thus, we describe the process of obtaining the network structure that solves each particular optimization problem, and we analyze each of the above mentioned applicability limitations and some of the proposed solutions.





Vendredi 21 juin 2002 � 9h30

Francisco Sandoval (Universit� de Malaga)


Short-term load forecasting using artificial neural networks

The prediction of the electric demand has become as one of the main investigation fields in the electric engineering. The electric industry needs to predict the load consumption with lead time in the range from the short term (hours or days ahead) to the long term (with several years ahead). The short-term prediction, in particular, has become increasingly important for various operations in power systems, such as economic scheduling of generating capacity, fuel purchase scheduling, security analysis, and planning activities. In addition, since many countries have recently privatized and deregulated their power systems, load forecasting play a crucial role in the final price of the energy. Small errors in the load forecasting have a significant economic impact. However, load forecasting is a difficult task because the load series is complex. First, the series exhibits several level of seasonality, and second, there are many exogenous variables that must be considered, specially weather-related variables. Thus, the relationships between hourly load and these factors are non-linear, so the forecasting problem requires a non-linear specification with a wide number of variables. Conventional load forecasting techniques, categorized into statistical methods, such as multiple regression and Box-Jenkins time series methods, present several limitations: complexity of modeling, lack of flexibility, low accuracy of results, mainly in special days, weekends and holidays, etc. In recent times, much research has been carried out on the application of artificial intelligence techniques to the load forecasting problem. Among these techniques, the models with the highest attention have been the Artificial Neural Networks (ANNs), mathematical tools originally inspired by the way the human brain processes information. ANNs are being applied to forecasting problems since they have a distributed architecture and their weights store interrelationships between variables without specifying them explicitly in advance. ANNs applications to the forecasting problem usually employ supervised learning in order to implement the non-linear mapping between historical data and future values of load. However, although the ANNs are being used by many utilities, there is certain skepticism among the researchers and the industries. And this, among another reasons, because the issues derived from the design of ANN-based forecasting system. In this conference we shall address the problem of designing a proper ANN attending to the main task to be performed, such as data pre-processing, the ANN design itself and its implementation, and the ANN validation.





Vendredi 14 juin 2002 � 9h30

Michel Verleysen (Louvain-la-Neuve)


Projection non-lin�aire de donn�es

Les m�thodes de projection de donn�es, destin�es � r�duire la dimension de l'espace de travail, sont utilis�es, entre autres, pour des questions de repr�sentation et pour simplifier l'information ou r�duire sa redondance en vue d'un traitement ult�rieur. Si les m�thodes de projection lin�aire sont bien connues, des m�thodes non-lin�aires ont fait leur apparition ces derni�res ann�es. Elles ont comme avantage de pouvoir, a priori, permettre de projeter efficacement des distributions plus complexes de donn�es, au prix des difficult�s g�n�ralement associ�es aux m�thodes d'analyse non-lin�aire (convergence, minima locaux, etc.). De plus, elles utilisent de plus en plus des notions de distance non-Euclidiennes, les distances euclidiennes �tant peu adapt�es aux espaces de grande dimension. L'expos� donnera un aper�u des recherches concernant les m�thodes de projection non-lin�aire, bas�es par exemple sur des crit�res de conservation de la variance, des distances entre points, ou des voisinages (Multi-Dimensional Scaling, Curvilinear Component Analysis, Curvilinear Distance Analysis, Shannon mapping, Isomap, etc.). Il tentera de montrer les avantages et inconv�nients respectifs de ces m�thodes, montrera les travaux actuels dans ce domaine, ainsi que des directions possibles de recherche.





Vendredi 24 mai 2002 � 9h30

Gwenaelle Castellan (Universit� Lille 1)


S�lection d'histogrammes � l'aide d'un crit�re de type Akaike

Nous �tudions le probl�me du choix d'un estimateur par histogramme bas� sur un �chantillon i.i.d. issu d'une densit� inconnue.
Et plus pr�cis�ment, nous nous int�ressons au choix d'une "meilleure" partition construite uniquement en fonction des observations. Nous consid�rons le cas de partitions r�guli�res et le cas de partitions irr�guli�res et nous proposons un crit�re de s�lection par maximum de vraisemblance p�nalis�. Nous d�finissons le terme de p�nalit� pr�sent dans notre crit�re de mani�re � minimiser non asymptotiquement le risque Hellinger de l'estimateur p�nalis� qui en r�sulte. Notre crit�re appara�t alors, soit comme une l�g�re correction, soit comme une modification substantielle du crit�re d'Akaike, selon la complexit� de la famille de partitions consid�r�e.





Vendredi 3 mai 2002 � 9h30

Emmanuel Flachaire (EUREQUA, Paris 1)


Les tests robustes � l'h�t�rosc�dasticit� de forme inconnue

En pr�sence d'h�t�rosc�dasticit� de forme inconnue, l'estimateur par Moindres Carr�s Ordinaires des param�tres n'est plus efficace, son estimateur de la matrice de covariance est non-convergent. Eicker (1963) et White (1980) ont d�velopp� un estimateur de la matrice de covariance robuste � l'h�t�rosc�dasticit� de forme inconnue, qui permet de faire de l'inf�rence. Cet estimateur est largement utilis� en pratique. Cragg (1983) a propose un estimateur plus efficace, qui utilise comme instruments les puissances respectives et les produits-crois�s des r�gresseurs. Toutefois, ce dernier est peu utilis� en pratique car ses performances en �chantillon fini ne sont pas bonnes. Dans cet expos�, nous montrons qu'a l'aide des m�thodes du bootstrap et de l'utilisation des r�sidus contraints dans la construction des estimateurs, les tests bas�s sur l'estimateur de Cragg sont largement plus performants en �chantillons finis que ceux bas�s sur l'estimateur de Eicker et White. Finalement, nous montrons qu'une inf�rence fiable et efficace peut �tre obtenu, m�me pour des �chantillons de petite taille.





Vendredi 5 avril 2002 � 9h30

Alain Dutot (LISA, Cr�teil)


R�gression neuronale et s�lection des variables dans le cas de la mod�lisation de la pollution photochimique

On montrera les d�terminants physico-chimiques du ph�nom�ne de pollution en milieu atmosph�rique urbain et les difficult�s de s�lectionner des r�gresseurs pertinents, en utilisant soit une approche chimique d�terministe soit une approche statistique.





Vendredi 29 mars 2002 � 11h00

Francisco Sandoval (Universit� de Malaga)


Design of Artificial Neural Networks using Evolutionary Computation

Artificial Neural Networks (ANNs) offer an attractive paradigm of computation for many applications (pattern recognition, system identification, cognitive modeling, etc.) for a number of reasons including: potential for massively parallel computation, robustness in the presence of noise, resilience to the failure of components, amenability to adaptation and learning, etc. Practical applications of ANNs require the choice of a suitable network topology and the processing functions computed by individual units. However, it is often hard to design good ANNs, because many of the basic principles governing information processing in ANNs are difficult to understand, and the complex interactions among network units usually makes engineering techniques like divide and conquer inapplicable.
When complex combinations of behavior approaches are given (such as learning speed, compactness, generalization capacity and resistance to the noise), and the size of the nets grows in dimension and complexity, the approach to its solution by means of the human engineering doesn't work and it is necessary to appeal to more efficient automated procedures.
In this intent of automated solutions it appears the evolutionary techniques, denominated, in a generic way, evolutionary computation. These techniques take form in a group of evolutionary algorithms whose main implementations have been summed up in three approaches, strongly related, but developed in an independent way: genetic algorithms (with links to genetic programming and classifier systems), evolution strategies, and evolutionary programming. All these algorithms respond to a class of population-based stochastic search algorithms, and they have been developed from ideas and principles of natural evolution. An important characteristic of all these algorithms is its search strategy based on the population.
The evolutionary algorithms can be used for the design of artificial neural networks, in which, besides the learning, the evolution is another fundamental form of adaptation. This way, the evolutionary algorithms can be used for the realization of diverse tasks, as training of the weights of connection, design of the architecture, adaptation of the learning rules, initialization of the weights, extraction of rules, etc. That is, we try to design artificial neural networks able to adapt to an environment as well as to changes in that environment.
The conference will deal with which are the most important characteristics in the evolutionary algorithms, analyzing and comparing their most important constituents, and how these algorithms can be applied in the design of artificial neural networks.





Vendredi 29 mars 2002 � 9h30

Gonzalo Joya (Universit� de Malaga)


Artificial Neural Networks for Energy Management System. Applicability and limitations of the main paradigms

Electrical energy has obviously become an essential element for the operation and development of current society. Consequently, the improvement of the set of tasks implicated in its management - what we call Energy Management System (EMS)- constitutes a high-priority research field from the social, economical and human points of view. These tasks, which may be grouped as forecasting, state estimation and security related tasks, present all or most of the following characteristics: 1) their solution involves a high number of noisy and/or incomplete data. 2) Complex relationships exist among the variables implicated in each problem. 3) They are difficult to handle by an operator. 4) It is difficult to find a numerical or algorithmical solution to the problem, and if this solution is found, it presents a high computational cost. 5) They cannot be described by means of a simple set of rules based on the expert's knowledge. 6) Real time operation is frequently required. These features discourage the application of classical numerical methods, whereas Artificial Neural Networks (ANN) based techniques turn out to be especially well suited for them. Besides, many of these problems may be approached as either a classification or a function approximation problem, and both approaches fit into the different paradigms that ANN techniques comprise. Thus, on one hand, feed-forward supervised neural networks may be used to obtain a particular numerical function. On the other hand, unsupervised neural networks take advantage of their ability to extract unknown criteria from a pattern set to achieve a visual classification of the patterns.
Yet ANNs are often improperly used and they are required to solve problems that they are not prepared for. This spurious usage is partly due to the complex internal representation of the network parameters, but these parameters are easily obtained by means of well-established training algorithms. Thus, we are tempted to use ANNs not only as "black boxes" but as some kind of "magic boxes". This risk justifies a deep study of the internal behavior of ANNs.
In this course we review the application of ANNs for EMS from a double perspective. On one hand, we will study the most significant operations on an EMS. From their features and the limitations of the classical solutions, we will justify a neural solution and the choice of the most appropriate neural paradigm. On the other hand, we will use the EMS environment as a "benchmark" to highlight the main features, limitations and usage recommendations of the mostly applied neural paradigms.





Vendredi 22 mars 2002 � 9h30

Michel Verleysen (Louvain-la-Neuve)


Les r�seaux RBFN (Radial-Basis Function Networks)

Les r�seaux RBFN sont des approximateurs de fonction, ayant des propri�t�s d'approximation universelle similaires au MLP (perceptrons multi-couches). L'apprentissage de leurs coefficients passe par deux phases, la premi�re �tant non-supervis�e (quantification vectorielle) et la seconde supervis�e. L'avantage des r�seaux RBFN r�side dans le fait que cette seconde partie est un probl�me lin�aire, ne n�cessitant pas de descente de gradient ou autre algorithme d'optimisation, et �vitant donc les minima locaux.
N�anmoins, il existe de nombreux algorithmes d'apprentissage diff�rents (principalement pour la partie non-supervis�e), sans qu'il ne s'en d�gage un consensus sur quant � leurs performances respectives.
Le s�minaire donnera un aper�u des r�seaux RBFN, au point de vue apprentissage et utilisation, ainsi que quelques perspectives quant aux axes de recherche � explorer dans ce domaine.





Vendredi 8 mars 2002 � 9h30

Brieuc Conan-Guez (Inria) et Fabrice Rossi (Paris Dauphine)


Traitement neuronal de donn�es fonctionnelles

Nous pr�sentons une extension des perceptrons multi-couches (PMC) au cas o� les donn�es d'entr�e sont des fonctions r�guli�res. Contrairement � la plupart des m�thodes de l'analyse de donn�es fonctionnelles, le mod�le propos� est non-lin�aire et ne se base pas sur une repr�sentation r�gularis�e des fonctions manipul�es, qui sont trait�es directement.
Apr�s avoir d�crit les PMC fonctionnels, nous montrons que deux r�sultats fondamentaux des PMC classiques peuvent s'�tendre au cas fonctionnel : 1) nous montrons que les PMC fonctionnels sont des approximateurs universels :une fonction continue d'un compact d'un espace fonctionnel dans R peut �tre approch�e arbitrairement bien par un PMC. Pour une pr�cision donn�e, le PMC d'approximation utilise un nombre fini de param�tres num�riques.
2) nous montrons que l'apprentissage des PMC fonctionnels est consistant : les param�tres optimaux empiriques d'un PMC fonctionnel convergent presque s�rement vers les param�tres optimaux quand le nombre d'observations tant vers l'infini. Nous illustrons le comportement du mod�le sur quelques exemples.





Vendredi 8 f�vrier 2002 � 9h30

Richard Emilion (Paris Dauphine et Nanterre)


Classification et m�lange de processus

Nous proposons une m�thode de classification bas�e sur l'estimation de m�langes de lois lorsque les observations sont d�crites par des lois de probabilit�s.
Les composantes du m�lange sont des lois de variables al�atoires � valeurs lois qui apparaissent dans des analyses Bayesiennes de probl�mes non param�triques : processus de Dirichlet, processus Gamma pond�r�s, processus de Kraft.
Nous montrons comment appliquer les algorithmes S.E.M. et D.S. aux marginales fini-dimensionnelles pour obtenir des m�langes qui convergent vers le m�lange recherch� lorsque la dimension augmente. La d�monstration repose sur le fait que les lois des processus composants sont mutuellement �trang�res gr�ce � un th�or�me de Kakutani, les classes recherch�es �tant alors les supports de ces composantes.





Vendredi 25 janvier 2002 � 9h30

Michel Verleysen (Louvain-la-Neuve)


Apprentissage par r�seaux de neurones :
le probl�me des donn�es en grande dimension

Les r�seaux de neurones artificiels sont des m�thodes non-lin�aires et adaptatives utilis�es en analyse de donn�es, traitement de signal et identification. Comme avec n'importe quelle m�thode d'analyse de donn�es,il devient difficile de maintenir les performances des m�thodes lorsque le nombre de variables d'entr�e des mod�les cro�t. Les probl�mes li�s aux espaces de donn�es de grande dimension apparaissent alors, comme le ph�nom�ne d'espace vide, la non-ad�quation des notions usuelles de distance (Euclidienne), etc.
Cet expos� aborde bri�vement le d�veloppement d'algorithmes d'apprentissage adapt�s aux espaces de donn�es de grande dimension, en particulier les m�thodes locales, telles que la quantification vectorielle, les mod�les d'approximation � fonctions radiales, et la classification Bay�sienne bas�e sur l'approximation des densit�s de probabilit�s.
R�duire la dimension de l'espace par un pr�-traitement des donn�es permet �galement de limiter les difficult�s. Bas�e sur le concept de dimension intrins�que (ou fractale), une m�thode de projection non-lin�aire est pr�sent�e, g�n�ralisant les m�thodes lin�aires telles que l'analyse en composantes principales.
Les m�thodes d'apprentissage et de r�duction de dimension d�velopp�es sont illustr�es dans le cadre de la pr�vision de s�ries temporelles, en particulier dans le domaine financier

 

 


SAMOS
Universit� Paris 1