Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic.

RO) 2018-2019

Processus Stochastiques
On considère (Ω, 𝒜, 𝑃) un espace de probabilité, (𝑇, 𝒯) un espace mesurable.
On prend une application :
𝑋: Ω × T → 𝔼
(𝑤, 𝑡) → 𝑋(𝑤, 𝑡) = 𝑋 (𝑤)
Telle que 𝑋 (𝑤) est une variable aléatoire sur (Ω, 𝒜) ∀𝑡 ∈ 𝑇.
On adaptera la notation suivante :
{𝑋(𝑡), 𝑡 ∈ 𝑇} = {𝑋(𝑤, 𝑡), 𝑤 ∈ Ω et 𝑡 ∈ 𝑇}
La famille {𝑋(𝑡), 𝑡 ∈ 𝑇} est appelée Processus stochastique, ou processus aléatoire.
• Un Processus stochastique, ou processus aléatoire est une famille de variables aléatoires {𝑋(𝑡), 𝑡 ∈ 𝑇}.
Ces variables aléatoires sont définies sur un même espace de probabilité (Ω, 𝒜, 𝑃).
• L’ensemble 𝔼 est l’espace des états où les variables aléatoires prennent leurs valeurs. « L’observable » :
réalisations, trajectoires. On note qu’un même processus a une infinité de réalisations.
• En pratique : T soit L’ensemble ℕ, ℤ, ℝ, ℝ , …
• L’espace des états 𝔼 soit L’ensemble ℕ, ℤ, ℝ, ℝ , …

𝔼 ∖ 𝑇 Discret dénombrable Continu

Discret dénombrable Suite stochastique Processus permanent
à espace d’états discret à espace d’états discret
Continu Suite stochastique Processus permanent
à espace d’états continu à espace d’états continu

• Lorsque T est discret le processus stochastique est discret.

• Lorsque T est continu le processus stochastique est continu ou permanent
• Si le processus stochastique est discret il est à espace d’états discret ou à espace d’états continu.
• Si le processus stochastique est continu il est à espace d’états discret ou à espace d’états continu.
EX1 :
Considérons un joueur joue au « pile ou face » un très grand nombre de parties.
Soit 𝑋 la variable aléatoire représentant le résultat de la nième partie.
𝑇 = ℕ∗ = {1,2, … } et 𝔼 = {𝜋, 𝐹}.
Le processus {𝑋 , 𝑛 ∈ ℕ} est un processus stochastique discret à espace d’états discret.
EX2 :
Soit {𝑇 , 𝑛 ∈ ℕ∗ } un processus stochastique.
Où 𝑇 est le temps d’attente du nième client dans la fille d’attente. 𝔼 = ℝ et 𝑇 = ℕ∗ .
Donc, {𝑇 , 𝑛 ∈ ℕ∗ } est un processus stochastique discret à espace d’états continu.
EX3 :
Soit {𝑁 , 𝑡 ∈ ℝ } un processus stochastique.
Où 𝑁 est le nombre de clients dans la fille d’attente à l’instant t. 𝔼 = ℕ et 𝑇 = ℝ .
Donc, {𝑁 , 𝑡 ∈ ℝ } est un processus stochastique continu à espace d’états discret.

1
 Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

EX4 :
Soit {𝑌 , 𝑡 ∈ ℝ } un processus stochastique.
Où 𝑌 est la température d’un objet à l’instant t. 𝔼 = ℝ et 𝑇 = ℝ .
Donc, {𝑌 , 𝑡 ∈ ℝ } est un processus stochastique continu à espace d’états continu.

Chaîne de Markov

Un processus stochastique {𝑋 𝑛 ∈ ℕ}, avec l’espace des états 𝔼 = ℕ, est appelé une chaîne de Markov
Si n  1 , on a :
𝑃(𝑋 = 𝑖 /𝑋 = 𝑖 ,𝑋 = 𝑖 , … , 𝑋 = 𝑖 , 𝑋 = 𝑖 ) = 𝑃(𝑋 = 𝑖 /𝑋 =𝑖 )

Où 𝑖 ,𝑖 ,…,𝑖 ∈ ℕ
Chaîne de Markov homogène
On dit que la chaîne de Markov est homogène si  n  1 , on a :
𝑃(𝑋 = 𝑗/𝑋 = 𝑖) = 𝑃(𝑋 = 𝑗/𝑋 = 𝑖) = ⋯ = 𝑃(𝑋 = 𝑗/𝑋 = 𝑖).

Ordre d’une chaîne de Markov.

On dit qu’une chaîne de Markov est de l’ordre m, si le résultat de la nième épreuve ne dépend que
des m épreuves l’ayant précédées ;
 n  m , on a :
P X n  in / X n 1  in 1 , X n  2  in  2 ,..., X n  m  in  m ,..., X 1  i1 , X 0  i0 
.
 P  X n  in / X n 1  in 1 , X n  2  in  2 ,..., X n  m  in  m 
Remarques :
1- On considère le plus souvent les chaînes de Markov d’ordre 1.
C’est-à-dire P X n  in / X n 1  in 1 , X n  2  in  2 ,..., X 1  i1 , X 0  i0   P X n  in / X n 1  in 1  .
2- Dans une chaîne de Markov d’ordre 1, l’état futur ne dépend que de l’état présent et de l’époque n.
3- Si en plus la chaîne de Markov est homogène, donc elle ne dépend pas de l’époque n.
4- On ne considère que les chaînes de Markov homogènes et d’ordre 1.

Matrice de transition d’une chaîne de Markov.

On appelle les probabilités de transition les quantités :
Pij  P X n  j / X n 1  i  .
Si la chaîne de Markov est homogène on a :
 n 1 P X n  j / X n 1  i   P X n 1  j / X n  2  i   ...  P X 1  j / X 0  i  i, j  N 2 .
i.e Les probabilités de transition sont indépendantes de l’instant n.
La matrice de transition d’une chaîne de Markov notée P est donnée :

2
 Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

 p00 p01 p02 .... .... .... ....

p p11 p12 .... .... .... ....
 10
 p20 p21 p22 .... .... .... ....
 
P   .... .... .... .... .... .... ....
 .... .... .... ....
 
 .... .... .... ....
 .... .... .... .... .... .... ....

P  Pij , c’est une matrice carrée satisfaisant les conditions suivantes :
1- Pij  0  i, j  0, 1, 2, .....

2- p
j 0
ij  1, pour i  0, 1, 2, .....

Définition
On appelle matrice stochastique une matrice carrée P dont ces éléments vérifient :
1- 0  Pij  1  i, j  0, 1, 2, .....

2- p
j 0
ij  1, pour i  0, 1, 2, .....


Si en plus p
i 0
ij  1 , la matrice est dite bistochastique.

Exemple :

Soit la promenade aléatoire sur l’ensemble ℕ.

i.e X n , n  N est une chaîne de Markov, où 𝔼 = ℕ et telle que :
 pi si j  i  1
r si j  i

Pij  P  X n  j / X n 1  i    i avec pi  ri  qi  1 i  0, 1, 2, .... 𝑒𝑡 𝑞 = 0.
q i si j  i - 1
0 si non
La matrice de transition :
0 1 2 3 4 .. .. .. ..
0 r0 p0 0 0 0 0 0 .. ..
1 q1 r1 p1 0 0 0 0
2 0 q2 r2 p2 0 0 0
3 0 0 q3 r3 p3 0 0
4 0 0 0 q4 r4 p4 0
.. 0 0 0 0 .. .. ..
.. 0 0 0 0 0 .. .. ..
..

3
 Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

Si r0  1  p0  0 , alors, si le processus rentre à l’état 0, il reste à l’état 0 pour toujours.

Donc, l’état 0 est une barrière absorbante ; ie si X n  0 alors,  m  n on a : X m  0.
Si r0  0  p0  1 , alors, si le processus rentre à l’état 0 à l’étape n, à l’étape n  1 , il sera à l’état 1.
Donc, l’état 0 est une barrière réfléchissante; ie si X n  0 alors on a : X n 1  1 .

Les probabilités de transition en n étapes

Pijn est la probabilité que le processus X n arrive l’état j à partir de l’état i en n étapes ;
ie pijn  P  X n  m  j / X m  i   P  X n  j / X 0  i 
P n  Pijn , c’est une matrice carrée satisfaisant les conditions suivantes :

1- Pijn  0  i, j  0, 1, 2, .....

2- p
j 0
n
ij  1, pour i  0, 1, 2, .....

Lemme 1 (Les équations de Chapman- Kolmogorov)

p ijn   p ikr p nkj-r , pour i, j  E 2 , E  0, 1, 2, .....  N, et r  N avec 0  r  n .

kE

1 si i  j
Avec Pij0  
0 si i  j

r  0 ona : pijn   p0ik p nkj  pii0 pijn  pijn
k 0

r  n ona : p ijn   pikn p 0kj  p ijn p 0jj  pijn
k 0

0  r  n , on prend E  X n  j / X 0  i et E k  X n  j, X r  k / X 0  i

Donc 𝐸=⋃ {𝑋 = 𝑗, 𝑋 = 𝑘/𝑋 = 𝑖} = ⋃ 𝐸

𝑃(𝐸) = 𝑃 𝐸 = 𝑃(𝐸 ) 𝑐𝑎𝑟 𝐸 , 𝐸 , … , 𝐸 , … 𝑠𝑜𝑛𝑡 𝑖𝑚𝑐𝑜𝑚𝑝𝑎𝑡𝑖𝑏𝑖𝑙𝑒𝑠

P E   Pijn et P Ek   Pikr Pkjn  r .

D’où 𝑃 =∑ 𝑃 𝑃
Autre preuve :

A  X n  j, X 0  i et A k  X n  j, X r  k , X 0  i

𝐴= {𝑋 = 𝑗, 𝑋 = 𝑘, 𝑋 = 𝑖 } = 𝐴

4
 Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

𝑃(𝐴) = 𝑃 𝐴 = 𝑃(𝐴 ) 𝑐𝑎𝑟 𝐴 , 𝐴 , … , 𝐴 , … 𝑠𝑜𝑛𝑡 𝑖𝑚𝑐𝑜𝑚𝑝𝑎𝑡𝑖𝑏𝑖𝑙𝑒𝑠

P A  P X n  j , X 0  i   P X 0  i P X n  j / X 0  i 
P  Ak   P  X n  j , X r  k , X 0  i   P  X 0  i P X r  k / X 0  i P  X n  j / X r  k , X 0  i 
 P  X 0  i P X r  k / X 0  i P  X n  j / X r  k  X n est une chaîne de Markov

Donc : P X 0  i P X n  j / X 0  i  =  P X 0  i P X r  k / X 0  i P  X n  j / X r  k 
k 0

P X n  j / X 0  i  =  P X r  k / X 0  i P  X n  j / X r  k 
k 0

D’où Pijn   Pikr Pkjn  r
k 0

Remarque
Sous la forme matricielle on a :
P  n   P  r  P  n r  avec P 0  I N et P 1  P
P n   P 1 P n1  PP  n1  P n   P n

Classification des états

Accessibilité
- L’état j est accessible à partir de l’état i i  j   n  N tel que Pijn  0.
Deux états communicants
- L’état i se communique avec l’état j i  j   r, s  N tel que Pijr  0 et Pijs  0 .
Remarques
- La relation  forme une relation d’équivalence dans l’espace des états.
- Un sous ensemble C de E, est fermé, si et seulement si,
 i  C et j  C   n  N on a : Pijn  0.
- Un ensemble fermé constitue une chaîne de Markov indépendante.
- Une chaîne de Markov est irréductible, si et seulement si, elle contient qu’une seule
classe d’équivalence. C’est-à-dire E  C C est une classe d’équivalence fermée.
Lemme 2
Si C1 et C 2 sont deux classes communicantes, alors, C1  C 2 ou C1  C 2   .
Remarques
- Lemme 2, signifie que : C1  C 2    C1  C 2 et C1  C 2  C1  C 2  
- L’espace des états E, se partage en classes disjointes d’états communicants ;
i.e. 𝐸 = ⋃∞ 𝐶 𝑎𝑣𝑒𝑐 𝐶 = {𝑗 ∈ 𝐸/𝑖 → 𝑗}.
- Lemme 2, ne signifie pas qu’on peut pas aller d’une classe communicante à une autre,
mais veut dire, si on sort de cette classe on n’y revient plus.

5
Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

Probabilités de premier passage

Soient,
- A  Le processus étant initialement dans l' état i, repasse par i 
-
Bn  Le processus étant initialement dans l' état i, repasse par i pour la 1ère fois, au bout de n étapes .

i.e. Bn  X n  i, X m  i, 1  m  n - 1 / X 0  0
- fii  P A .
- fiin  PBn   PX n  i, X m  i, 1  m  n - 1 / X 0  0 .
- On note que : 𝐴 = ⋃ 𝐵 ⇒ 𝑃(𝐴) = ∑ 𝐵 𝑖. 𝑒 𝑓 = ∑ 𝑓

- De même f ij   f ijn avec f ijn  PX n  j , X m  j , m  1, 2, ..., n - 1 / X 0  i .
n 1

Définitions
- L’état i est récurrent (persistant), si et seulement si, f ii  1 .
- L’état i est transitoire, si et seulement si, fii  1 .
Lemme 3
Si 0   i  1 i  0, 1, 2, ... , alors, on a :
m m

lim   i  0  lim  1   i    .
m  i 0 m  i 0

Lemme 4
 n k nk
P  
 f ii Pii
n si n  1
ii
k 1
1 si n  0
Prenons, A  X n  i / X 0  i et
Bk  X n  i, X k  i, X m  i, 1  m  k - 1 , 1  k  n / X0  i
Donc, 𝐴 = ⋃ 𝐵 .

Corollaire (lemme 4)
1
Pii s   Fii s Pii s   1 i.e. Pii s  
1  Fii s 
 
Où Pii s    piin s n avec s  1 et Fii s    f iin s n avec s  1.
n 0 n 1

Lemme 5
n
Pijn   f ijk Pjjn  k avec i  j.
k 1

6
Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

Prenons, A  X n  j / X 0  i et
Bk  X n  j, X k  j , X m  j , 1  m  k - 1 , 1  k  n / X 0  i
Donc, 𝐴 = ⋃ 𝐵 .

Corollaire (lemme 5)
Pij s   Fij s Pjj s  avec i  j
 
Où Pij s    pijn s n avec s  1 et Fij s    f ijn s n avec s  1.
n1 n1

Lemme 6 (Abel)
Soit un , n  0 une suite des nombres réels.
  
(a) Si u
n 0
n  a   , alors, lim  un s   un  a.
s 1 n  0
n

n0
 
(b) Si n  N, u n  0 et lim  un s  a   , alors,  un  a.
n

s1 n 0 n 0

Théorème 1

L’état i est récurrent, si et seulement si, P
n 0
n
ii  .

C’est-à-dire i est récurrent   Piin  .
n 0

i est transitoire   Piin  .
n 0

Corollaire (théorème 1)

Si i  j et i est un état récurrent, alors j est aussi un état récurrent .

Remarques
 i est est un état transitoire  lim Piin  0
n 

 0 si i   i.e. récurrent positif.

1
 i est un état récurrent  lim Piin  
n  i 0 si i   i.e. récurrent nul.
Où  i est le temps moyen de retour à l’état i, donné par :

i   nfiin .
n 1

Lemme 7
Si l' état i est récurrent et i  j , alors on a :
f ji  1  f ij .
Dém
i  j   n  N * t.q pijn  0 , on prend 
m  min n : pijn  0 
A  X k  i, k  1, 2, ..../ X 0  i i.e. Partant de l’état i, le processus ne revient jamais à i.

7
Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

B  X m  j , X k  i, k  m  1, m  2, ..../ X 0  i i.e. Partant de l’état i, le processus arrive à

j en m étapes et le processus ne revient jamais à i.

On note que B  A , donc P  A  P B 


P  A  1  P A  1  Ppartant de i le processus repasse par i   1  f ii

PB   P  X m  j , X k  i, k  m  1, m  2, ..../ X 0  i 
 P  X m  j / X 0  i P X k  i, k  m  1, m  2, ..../ X m  j , X 0  i 
 P  X m  j / X 0  i P X k  i, k  m  1, m  2, ..../ X m  j 
 P  X m  j / X 0  i P X k  i, k  1, 2, ..../ X 0  j 
 Pijm 1  P X k  i, k  1, 2, ..../ X 0  j 

 Pijm 1  f ji 
Donc 1  f ii  pijm 1  f ji  ; mais fii  1 (i est récurrent) et pijm  0 .

D’où 1  f ji   0  f ji  1 . De même pour f ij  1 .

Corollaire lemme 7
Si l' état i est récurrent et i  j , alors on a : Q ij  1

QiiN  Ppartant de i, le processus repasse par i au moins N fois  .

QiiN  P le processus repasse par i au moins N fois / X 0  i 

Qii  lim Q iiN  P partant de i, le processus repasse par i un nombre infini de fois 
N

Q ijN  P partant de i, le processus repasse par j au moins N fois  .

Qij  lim QijN  P partant de i, le processus repasse par j un nombre infini de fois 
N 

Q ijN  Q N -1
jj f  Q ij  Q jj f ij
ij Q jj  1 et f ij  1.

Les états périodiques

Un état i est dit de période d i  , si et seulement si, le plus grand commun diviseur (PGCD) de
tous les entiers n  1 pour lesquels piin  0.

Soit 𝑇 = {𝑛 ∈ ℕ∗ /𝑃 > 0}, si d i  est le PGCD d’éléments de Ti , alors d i  est la période de l’état i.

EX1
Soit la matrice de transition d’une chaîne de Markov est donnée par :
0 1 0 
0 0 1  .
 
1 0 0

8
Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

On note que chaque état à pour période 3.

EX2
Soit la matrice de transition d’une chaîne de Markov est donnée par :
0 1 2 3
0 0 1 0 0
1 0 0 1 0
2 0 .5 0 .5
3 .5 0 .5 0
On note que 𝔼 = {0, 1, 2, 3} et chaque état à pour période 2.
Remarques
- Dire que d i  est la de période de l’état i n’implique pas que piid i   0.
2
(dans l’Ex2 l’état 0 a pour période 2, pourtant que p00  0,
4
Mais, p00  0, p00
6
 0, p00
8
 0, ....), T0  4, 6, 8, .....
- Dire que d i  est la période de l’état i  n0  N * tel que : piin0 d i   0.
- L’état i est apériodique, si et seulement si, d i   1.
Lemme 8
Si l' état i est récurrent et i  j , alors on a :
d i   d  j 
C’est-à-dire que : Les états d’une classe récurrente ont la même période.
Dém


Soient Ti  n  N * / piin  0. et T j  m  N * / p mjj  0 . 
Si d i  est le PGCD d’éléments de Ti et si d  j  est le PGCD d’éléments de T j ,
i.e. d i  est la période de l’état i et d  j  est la période de l’état j.
i  j   r, s  , t.q. pijr  0 et p sji  0 .
   
p rjj s  n   Pjlr Plln Pljs  Pjir Piin Pijs  0 si, n  Ti puisque piin  0 , ou si, n  0 puisque pii0  1 .
l E

Donc r  s  n   T j et r  s   T j . Ce qui signifie que d  j  divise r  s  n  et divise

aussi r  s  . D’où d  j  divise n où n  Ti , alors d  j   d i  .
De même, on trouvera d i   d  j  . Ce qui donne d i   d  j .

Remarques
- Les états d’une chaîne de Markov irréductible ont la même période.
- La chaîne est dite apériodique si la période d’un état de cette chaîne est égale à 1.

9
Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

Lemme 9
L’espace des états 𝔼 d’une chaîne de Markov irréductible et de période d, se partage en d
classes disjointes D0 , D1 , D2 , ...., Dd 1 , telle que : La chaîne passe de D j à D j 1 pour
j  0, 1, ..., d - 2 et de Dd 1 à D0 , i.e. D0  D1  D2  ....  Dd 1  D0 .
Le système D0 , D1 , D2 , ...., Dd 1 forme une partition de 𝔼.

i.e. 〈∀ 𝑗 ∈ {0, 1, … , (𝑑 − 1)}, 𝑜𝑛 𝑎: 𝐷 ≠ ∅, (𝑗 ≠ 𝑗 ) 𝐷 ∩ 𝐷 = ∅ 𝑒𝑡 𝔼 = ⋃ 𝐷 〉

Lemme 10
Supposons trois suites ak k  0 , uk k  0 et bk k  0 tel que :

(1) k ak  0 et a
k 0
k  1.

(2) 1 est le PGCD des entiers k tel que ak  0 .


(3) b
k 0
k  .
n
(4) un   an  k uk  bn .
k 0

Alors : (i) La suite un converge.

 
  bk 
 k 0

si  ka k 
(ii) lim u n     kak k 0
.
n   k 0 

0

si  ka
k 0
k 

Théorème 2
Soit X n , n  N une chaîne de Markov récurrente, irréductible et apériodique,
alors ∀ 𝑖, 𝑗 ∈ 𝔼 𝑜𝑛 𝑎 ∶

 

1
(1) lim Piin  où i   nf iin .
n  i n 1

 
(2) lim Pjin  lim Piin .
n  n 

On prend
- p iin  u n .
n
0 si n  0
- piin   f iin  k piik  
k 0 1 si n  0
0 si k  0
- bk  
1 si k  0

10
Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

 
- ak  f iik  ak  1
k 0
i.e.  f iik  1 l' état i est récurrent
k 0

- La condition 1 est le PGCD des entiers k  l’état i est apériodique.

Remarque
Si l’état i est récurrent, alors :
 
L’état i est récurrent positif, si et seulement si, lim Piin  0 i.e. i   .
n 

L’état i est récurrent nul, si et seulement si, lim P   0 n

ii i.e. i   .
n 

Corollaire (théorème 1)
   
Si  i  lim Piin  0 et j  Ci alors,  j  lim Pjjn  0 où Ci   j  E / i  j .
n  n 

C’est-à-dire, dans une classe récurrente, tous les états sont de même natures.

Distribution limite d’une chaîne de Markov.

Soit X n , n  N une chaîne de Markov sur E  0, 1, ..., N.

Supposons q jn   P X n  j 
De
𝐷𝑒 {𝑋 = 𝑗} = {𝑋 = 𝑗, 𝑋 = 𝑘} 𝑜𝑛 𝑎:
∈

𝑃(𝑋 = 𝑗) = 𝑃 {𝑋 = 𝑗, 𝑋 = 𝑘} = 𝑃(𝑋 = 𝑗, 𝑋 = 𝑘)
∈ ∈

= 𝑃(𝑋 = 𝑘)𝑃(𝑋 = 𝑗/𝑋 = 𝑘)

∈

Donc q jn    qk0 Pkjn *

k E

Si Q n   q1n  q2n  ... .... qNn   , Q n  est la distribution des états de la chaîne à
l’époque n.

Q 0   q10  
q20  ... .... q N0  , Q 0  est la distribution initiale des états de la
chaîne.
De (*) on aura :

Q  n   Q  0 P n .

11
Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

Définition

On dit qu’une chaîne de Markov est régulière, si et seulement si, elle possède une distribution
limite indépendante de l’état initial.
n 
i.e. lim Q  Q* indépentante de Q0  .
n 

Q  q
*
 *
1 q2* ... ... q*N  où q*j  lim q jn    avec j  E.
n 

 
q*j  lim   qk0  Pkjn  
n    k E 
 q  lim P     q  
k E
k
0

n 
n
kj j
k E
k
0
j car  q  1
k E
k
0
.

D’où Q*  1  2 ... ...  N  où  j  lim Pjjn  lim Pkjn .    

n  n 

Remarques
(1)- Si la chaîne de Markov possède une distribution limite Q* alors Q*  Q*P.
Nous avons  
Qn 1  Qn P  lim Qn 1  lim Qn  P , donc Q*  Q*P.  
n  n 

(2)- Dire que Q* existe, veut dire qu’elle existe une matrice P* telle que :

P*  lim Pn .  
n 

En effet nous avons Qn   Q 0  P n Qn   Q* et P n  P* .

 1  2 ... ...  N 
  2 ... ...  N 
 1
Donc Q*   1  2 ... ...  N  et P*  ... ... ... ... ... 
 
... ... ... ... ... 
 1 2 ... ...  N 

Théorème 3
Dans une classe C apériodique et récurrente positive (ergodique), j  C , on a :
 j    i pij , avec  i 1 i.e.  T   T P
iC iC

1 
 
 2 
où    ..  où N  cad C  .
 
 .. 
 
 N

12
Processus Stochastiques (Chaîne de Markov) (section A) (3ème année Lic. RO) 2018-2019

13