Sur l'estimation de l'entropie des lois à support dénombrable
Keziou, Amor1
1 LSTA, boîte courrier 158, 8A, Université Paris-6, 175, rue du Chevaleret, 75013 Paris, France
Comptes Rendus. Mathématique, Tome 335 (2002) no. 9, pp. 763-766.

Soit P une loi de probabilité discrète sur un espace infini dénombrable 𝒳. On étudie la vitesse de convergence presque sûre de l'estimateur « plug-in » de l'entropie H :=H(P) de la loi de probabilité inconnue P. On démontre aussi la convergence presque sûre de l'estimateur pour des variables aléatoires stationnaires ergodiques, et pour des variables aléatoires stationnaires α-mélangeantes sous une condition faible sur la queue de distribution de la loi P.

Suppose P is a discrete distribution on an infinite countable space 𝒳. We study the almost surely convergence rate of the ‘plug-in’ estimate of the entropy H:=H(P) of the arbitrary distribution P. We prove also the consistency of the estimate for ergodic stationary random variables and for α-mixing stationary random variables under weak assumptions on the tail of the distribution P.

Reçu le :
Révisé le :
Publié le :
DOI : 10.1016/S1631-073X(02)02559-1
Keziou, Amor 1

1 LSTA, boîte courrier 158, 8A, Université Paris-6, 175, rue du Chevaleret, 75013 Paris, France 
@article{CRMATH_2002__335_9_763_0,
     author = {Keziou, Amor},
     title = {Sur l'estimation de l'entropie des lois \`a support d\'enombrable},
     journal = {Comptes Rendus. Math\'ematique},
     pages = {763--766},
     publisher = {Elsevier},
     volume = {335},
     number = {9},
     year = {2002},
     doi = {10.1016/S1631-073X(02)02559-1},
     language = {fr},
     url = {http://www.numdam.org/articles/10.1016/S1631-073X(02)02559-1/}
}
TY  - JOUR
AU  - Keziou, Amor
TI  - Sur l'estimation de l'entropie des lois à support dénombrable
JO  - Comptes Rendus. Mathématique
PY  - 2002
SP  - 763
EP  - 766
VL  - 335
IS  - 9
PB  - Elsevier
UR  - http://www.numdam.org/articles/10.1016/S1631-073X(02)02559-1/
DO  - 10.1016/S1631-073X(02)02559-1
LA  - fr
ID  - CRMATH_2002__335_9_763_0
ER  - 
%0 Journal Article
%A Keziou, Amor
%T Sur l'estimation de l'entropie des lois à support dénombrable
%J Comptes Rendus. Mathématique
%D 2002
%P 763-766
%V 335
%N 9
%I Elsevier
%U http://www.numdam.org/articles/10.1016/S1631-073X(02)02559-1/
%R 10.1016/S1631-073X(02)02559-1
%G fr
%F CRMATH_2002__335_9_763_0
Keziou, Amor. Sur l'estimation de l'entropie des lois à support dénombrable. Comptes Rendus. Mathématique, Tome 335 (2002) no. 9, pp. 763-766. doi : 10.1016/S1631-073X(02)02559-1. http://www.numdam.org/articles/10.1016/S1631-073X(02)02559-1/

[1] Antos, A.; Kontoyiannis, I. Convergence properties of functional estimates for discrete distributions, Random Structures Algorithms, Volume 1 (2001), pp. 163-193

[2] Antos, A.; Kontoyiannis, I. Estimating the entropy of discrete distributions, IEEE Internat. Sympos. Inform. Theory, Volume 1 (2001), pp. 45-51

[3] Bas̆arin, G.P. On a statistical estimate for the entropy of a sequence of independent random variables, Theory Probab. Appl., Volume 4 (1959), pp. 333-336

[4] E. Guerre, Méthodes non paramétriques d'analyse des séries temporelles multivariées : estimation de mesures de dépendance, Doc. d'univ., Math., Paris 6, 1993

[5] Pollard, D. Convergence of Stochastic Processes, Springer-Verlag, 1984

[6] Rio, E. Théorie asymptotique des processus aléatoires faiblement dépendants, Springer-Verlag, 2000

[7] Verdú, S. Fifty years of Shannon theory, IEEE Trans. Inform. Theory, Volume 44 (1998) no. 6, pp. 2057-2078 (Information theory: 1948–1998)

[8] Yang, E.H.; Jia, Y. Universal lossless coding of sources with large or unbounded alphabets (Althfor, I. et al., eds.), Numbers, Information and Complexity, Kluwer Academic, 2000, pp. 421-442

Cité par Sources :