[Description asymptotique de réseaux de neurones stochastiques. I. Existence d'un principe de grandes déviations]
Nous considérons un réseau de neurones décrit par un système d'équations différentielles stochastiques en temps discret. Les neurones interagissent au travers de poids synaptiques qui sont des variables aléatoires gaussiennes corrélées. Nous caractérisons la loi asymptotique de ce réseau lorsque le nombre de neurones tend vers l'infini. Tous les travaux précédents faisaient l'hypothèse, irréaliste du point de vue de la biologie, de poids indépendants. Nous introduisons la mesure empirique sur l'espace des trajectoires solutions des équations du réseau de neurones de taille finie et la loi moyennée (par rapport aux poids synaptiques) des trajectoires de ces solutions. Le résultat (théorème 3.1 ci-dessous) est que l'image de cette loi par la mesure empirique satisfait un principe de grandes déviations avec une bonne fonction de taux, dont nous donnons une expression analytique en fonction de la représentation spectrale de certains processus gaussiens.
We study the asymptotic law of a network of interacting neurons when the number of neurons becomes infinite. The dynamics of the neurons is described by a set of stochastic differential equations in discrete time. The neurons interact through the synaptic weights that are Gaussian correlated random variables. We describe the asymptotic law of the network when the number of neurons goes to infinity. Unlike previous works which made the biologically unrealistic assumption that the weights were i.i.d. random variables, we assume that they are correlated. We introduce the process-level empirical measure of the trajectories of the solutions into the equations of the finite network of neurons and the averaged law (with respect to the synaptic weights) of the trajectories of the solutions into the equations of the network of neurons. The result (Theorem 3.1 below) is that the image law through the empirical measure satisfies a large deviation principle with a good rate function. We provide an analytical expression of this rate function in terms of the spectral representation of certain Gaussian processes.
Accepté le :
Publié le :
@article{CRMATH_2014__352_10_841_0,
author = {Faugeras, Olivier and Maclaurin, James},
title = {Asymptotic description of stochastic neural networks. {I.} {Existence} of a large deviation principle},
journal = {Comptes Rendus. Math\'ematique},
pages = {841--846},
publisher = {Elsevier},
volume = {352},
number = {10},
year = {2014},
doi = {10.1016/j.crma.2014.08.018},
language = {en},
url = {http://www.numdam.org/articles/10.1016/j.crma.2014.08.018/}
}
TY - JOUR AU - Faugeras, Olivier AU - Maclaurin, James TI - Asymptotic description of stochastic neural networks. I. Existence of a large deviation principle JO - Comptes Rendus. Mathématique PY - 2014 SP - 841 EP - 846 VL - 352 IS - 10 PB - Elsevier UR - http://www.numdam.org/articles/10.1016/j.crma.2014.08.018/ DO - 10.1016/j.crma.2014.08.018 LA - en ID - CRMATH_2014__352_10_841_0 ER -
%0 Journal Article %A Faugeras, Olivier %A Maclaurin, James %T Asymptotic description of stochastic neural networks. I. Existence of a large deviation principle %J Comptes Rendus. Mathématique %D 2014 %P 841-846 %V 352 %N 10 %I Elsevier %U http://www.numdam.org/articles/10.1016/j.crma.2014.08.018/ %R 10.1016/j.crma.2014.08.018 %G en %F CRMATH_2014__352_10_841_0
Faugeras, Olivier; Maclaurin, James. Asymptotic description of stochastic neural networks. I. Existence of a large deviation principle. Comptes Rendus. Mathématique, Tome 352 (2014) no. 10, pp. 841-846. doi : 10.1016/j.crma.2014.08.018. http://www.numdam.org/articles/10.1016/j.crma.2014.08.018/
[1] Increase in complexity in random neural networks, J. Phys. I, Fr., Volume 5 (1995), pp. 409-432
[2] From neuron to neural networks dynamics, Eur. Phys. J. Spec. Top., Volume 142 (2007), pp. 7-88 (topics in dynamical neural networks)
[3] Microcanonical distributions for lattice gases, Commun. Math. Phys., Volume 139 (1991)
[4] O. Faugeras, J. Maclaurin, Asymptotic description of neural networks with correlated synaptic weights, Rapport de recherche RR-8495, INRIA, March 2014.
[5] Asymptotic description of stochastic neural networks. II. Characterization of the limit law, C. R. Acad. Sci. Paris, Ser. I, Volume 352 (2014) no. 10, pp. 847-852
[6] Dynamique de Langevin d'un verre de spins, Université de Paris-Sud, 1995 (PhD thesis)
[7] Étude mathématique de la dynamique des réseaux neuronaux aléatoires récurrents, Université Paul-Sabatier, Toulouse, France, 1999 (PhD thesis)
[8] Large deviations and mean-field theory for asymmetric random recurrent neural networks, Probab. Theory Relat. Fields, Volume 123 (2002), pp. 41-75
[9] The point of view of the particle on the law of large numbers for random walks in a mixing environment, Ann. Appl. Probab., Volume 31 (2003) no. 3, pp. 1441-1463
[10] Random recurrent neural networks, Eur. Phys. J. Spec. Top., Volume 142 (2007), pp. 7-88
[11] Chaos in random neural networks, Phys. Rev. Lett., Volume 61 (1988), pp. 259-262
[12] A law of large numbers for random walks in random environment, Ann. Probab., Volume 27 (1999), pp. 1851-1869
Cité par Sources :
