L3 – Probabilités (Année 2018/2019) Tien-Nam Le & Alice Pellet--Mary

TD 12 – Chaînes de Markov (distributions invariantes) (corrigé)

Exercice 1. Proposition utiles

Le but de cet exercice est de démontrer les propriétés observées sur les exemples de chaînes de Markov.
1. On regroupe les états d’une chaîne de markov en classes d’équivalence pour la relation d’acces-
sibilité : deux états i et j sont dans la même classe si et seulement si i est accessible depuis j et j
est accessible depuis i. Une classe C d’états est dite close ou fermée si pour tout i ∈ C et pour tout
j∈/ C , pi,j = 0 (où ( pi,j )i,j est la matrice de transition). Autrement dit, il n’y a aucune arête sortant
de cette classe. Démontrez que :
— Une classe non close est transitoire.
— Une classe close finie est récurrente.
En particulier, pour les chaînes de Markov à espace d’états fini, les classes récurrentes sont les
classes closes, et les classes transitoires sont les classes non closes.
+ Soit C une classe non-close : il existe donc i ∈ C et j ∈/ C tels que pi,j 6= 0. Or i et j ne communiquent pas car ils ne sont pas dans
les mêmes classes, donc i n'est pas accessible depuis j. Donc pour tout n, P {X = i|X = j} = 0 (où X décrit le n-ième état dans
une marche sur la chaîne de Markov). Soit T le temps d'atteinte de i, alors on déduit de ce qui précède que P {T < ∞|X = j} = 0.
n 1 n

Finalement, P {T = +∞|X = i} ≥ P {T = +∞|X = i, X = j} P {X = j|X = i} = 1 · p > 0. Cela prouve que i est transitoire, et donc
i i 1

que C l'est. i 0 i 0 1 1 0 i,j

On considère maintenant une classe C close nie. On va procéder par l'absurde et supposer que toutes les états de C sont transitoires.
Soit i ∈ C . Partant de i, la chaîne reste dans C . On note N le nombre de passages en l'état j. Alors
j
( )
P ∑ Nj = ∞|X0 = i =1.
j∈C

Cette somme est en fait nie, donc on en déduit que P ∃j ∈ C , N = ∞|X = i = 1. Or on a supposé que tout j ∈ C est transitoire
donc P N = ∞|X = i = 0. On aboutit donc à une contradiction. Ainsi, toute classe nie close est récurrente.
j 0
j 0

2. Démontrez que si π est une loi de probabilité stationnaire et si i est un état transitoire, alors
π (i ) = 0.
+ Soit π une loi de probabilité stationnaire et i un état transitoire. π vérie pour tout n, πP = π donc π = ∑ π p . Or si i
n (n)

est transitoire, p tend vers 0. On peut inverser série et limite par convergence dominée car | p | ≤ 1 et ∑ π = 1 et on en déduit
i j j j,i
(n) (n)

π = 0.
j,i j,i j j

Exercice 2. Classification des états

On dispose de trois chaînes de Markov définies par les matrices de transition suivantes :
 
  0 2/3 0 1/3  
2/3 0 1/3  0 1/2 1/4 1/4
0 1/2 1/2 
A = 1/4 1/2 1/4 B= 1/4
 C= 0 1/2 1/2
0 0 3/4
1/2 0 1/2 1/4 0 3/4
0 0 0 1
Pour chacune d’entre elles :
— Donner sa représentation graphique.
— Partitionner les états en composantes irréductibles.
— Pour chaque état, dire s’il est transitoire ou récurrent.
— Pour chaque état, dire s’il est périodique ou apériodique.
— Donner la distribution stationnaire.
— Pour chaque état, donner le temps de retour moyen.
+ Case A :
 There are two components {1, 3} and {2}
 The recurrent states are {1, 3} since for the state (1), we have ∑ r = 2/3 + 1/3 ∑ (1/2) t ∞ t
, and for the state (3),
∑ r = 1/2 + 1/2 · 1/3 ∑(2/3) = 1. The state (2) is transient.
t≥1 1,1 t =1 = 1

 The chain is aperiodic

t t
t≥1 3,3

 The stationary distribution is π = (3/5, 0, 2/5).

 One can compute h either using h = 1/π(i), or, for the state (1) and (3) using the denition of h .
Case B :
t
i,i i,i i,i = ∑t≥1 tri,i

 There are two components {1, 2, 3} and {4}.

 The recurrent state is {4}. The states {1, 2, 3} are transient.
 State 4 is apériodique. States 1, 2, 3 have period 3.
1
  The stationary distribution is π = (0, 0, 0, 1). We have (4) as an absorbing state.
 We have h = ∞ for i ∈ {1, 2, 3} and h = 1.
Case B : i,i 4,4

 La chaîne est irréductible.

 Tous les états sont récurrents.
 Tous les états sont apériodiques.
 Le distribution stationnaire est π = (2/7, 1/7, 4/7) (peut être calculée avec un pivot de Gauss)
 On a h = 7/2, h = 7 et h = 7/4.
11 22 33

Exercice 3. Marche aléatoire dans un graphe

On considère une marche aléatoire sur le graphe suivant (c’est à dire qu’à chaque étape, on choisi le
sommet suivant uniformément au hasard parmi les voisin du sommet courant).

1 2

3 4

1. On suppose que la distribution initiale est π0 = (1, 0, 0, 0, 0) (i.e. X0 = 0 avec probabilité 1). Le
vecteur de distribution πn converge-t-il lorsque n tend vers l’infini ? Si oui, déterminer sa limite.
+ La chaîne de Markov associée à la marche aléatoire sur le graphe est irréductible (le graphe est connexe). Elle est aussi apériodique
grâce au triangle formé par les états 0, 1 et 2. En eet, la période de l'état 0 est le pgcd de 2 (un aller retour 0 − 1 − 0) et 3 (un
cycle 0 − 1 − 2 − 0). Donc l'état 0 est apériodique. Comme la chaîne est irréductible tous les états sont apériodiques. Si on trouve une
distribution stationnaire, le théorème de convergence nous assurera une convergence vers cette distribution stationnaire. On observe
que la distribution π = (1/6, 1/4, 1/4, 1/6, 1/6) est stationnaire (on peut la calculer en résolvant le système d'équations πQ = π par
exemple). Le théorème de convergence nous permet de conclure que π → π quand n tend vers l'inni.
n

2. Même question si la distribution initiale est π0 = (0, 14 , 14 , 41 , 14 ).

+ La réponse est la même, le théorème de convergence ne dépend pas de l'état initial.

Exercice 4. Absorption
On considère une chaîne de Markov donnée par la matrice suivante :
 
0 0 0 0 0 1/2 0 1/2 0 0
 0 0 0 0 1 0 0 0 0 0 
 
 0 0 1/2 0 1/4 0 1/4 0 0 0 
 
 0 0 0 0 0 0 1 0 0 0 
 
 0 0 1/4 0 0 0 1/4 1/2 0 0 
P= 1/2

 0 0 0 0 0 0 1/2 0 0 

 0 0 0 1/2 0 0 0 0 0 1/2
 
1/2 0 0 0 0 1/2 0 0 0 0 
 
 0 3/4 0 0 0 0 0 0 1/4 0 
0 0 0 0 0 0 1 0 0 0
1. Représenter le graphe de cette chaîne.
+
2. Déterminer les classes de communication, leur nature et leur périodicité.
+ Voir http://w3.mathinfolmd.univ-tlse2.fr/membres/chabriac/M1process/exopoly2c.pdf There are two recurrent classes, na-
mely, A = {1, 6, 8} and B = {4, 7, 10}. Correspondingly, the states {2, 3, 5, 9} are transient. The states in class B have period 2. The
states in class A and all the transient states are aperiodic.

2
On note A et B les deux classes récurrentes obtenues. Pour chaque état transitoire i, on note ai (resp.
bi ) la probabilité d’absorption de i par A (resp. B), c’est-à-dire la probabilité, en partant de i, d’aller dans
A (resp. B) en une ou plusieurs étapes, et donc d’y rester car A (resp. B) est récurrente.
3. Quel est le système d’équation vérifié par les ai ? Le résoudre. Idem pour les probabilités d’ab-
sorption par B.
+ From the graph, notice that a2 = a5 = a9 and a3 , a5 should satisfy the system a5 = 1/2 + (1/4)a3 , a3 = (1/2)a3 + (1/4)a5 , from
which we have a = 4/7 and a = 2/7.
5 3

Similarly, b , b should satisfy the system b

3 5 5 = (1/4) a3 , a3 = (1/2) a3 + (1/4) a5 , from which we have b
5 = 3/7 and b 3 = 5/7.
4. Quelles sont les distributions stationnaires ?
+ Du type π = λ π + λ π avec π stationnaire pour la classe A, π stationnaire pour la classe B, et λ
A B
+ λB = 1 . On observe
que la distribution stationnaire doit être nulle sur les états transitoires.
A B A B A

Exercice 5. Triangles monochromatiques

Une k-coloration d’un graphe est un assignement pour chaque sommet d’une couleur parmi k couleurs
au total. Elle est propre si deux sommets adjacents ne reçoivent jamais la même couleur. Un graphe est
k-colorable s’il existe une k-coloration propre. Soit G un graphe 3-colorable.
1. Prouver qu’il existe une 2-coloration (non propre) telle qu’aucun triangle n’est monochroma-
tique (un triangle est monochromatique si les trois sommets qui le composent reçoivent la meme
couleur).
+ Il existe une coloration propre Rouge, Bleu, Vert. On recolorie les sommets verts en rouge. Chaque triangle contenait déjà un
sommet rouge et un sommet bleu avant la recoloration, et c'est toujours le cas.
On considère maintenant l’algorithme suivant dont le but est de trouver une telle 2-coloration : on
commence avec une 2-coloration arbitraire. Tant qu’il y a un triangle monochromatique, on choisit
uniformément un sommet parmi les trois sommets qui le composent, et on change sa couleur. On veut
étudier l’espérance du nombre de recolorations avant de s’arrêter.
Comme G est 3-colorable, il existe une coloration propre Rouge, Bleu, Vert (mais que l’on ne connaît
pas). On note R (resp. B, V) l’ensemble des sommets colorés rouge (resp. bleu, vert) dans cette 3-
coloration. Considérons maintenant une 2-coloration arbitraire c de G (en rouge et bleu, disons). Soit
m(c) le nombre de sommets de R qui ne sont pas colorés rouge dans c, plus le nombre de sommets de
B qui ne sont pas colorés bleu dans c.
2. Que dire si m(c) = n ou m(c) = 0 ?
+ Dans ces cas, aucun triangle n'est monochromatique et l'on a terminé.
3. En s’inspirant de l’exemple du cours sur 2-SAT, modéliser l’évolution de m(c) par une chaîne de
Markov sur {0, . . . , n}. Quels sont le ou les sommets à atteindre pour terminer ? Que pouvez-vous
dire de l’état j par rapport à l’état n − j pour j ∈ {0, . . . , n} ?
+ Supposons m(c) = j 6= 0, n et regardons le triangle monochromatique choisi. Sans perte de généralité, on peut supposer qu'il est
entièrement rouge. Avec proba 1/3, on tire le sommet de V et on le recolore : cela laisse m(c) inchangé; avec proba 1/3, on tire le
sommet de B et on le recolore : on passe à m(c) + 1 ; et enn avec proba 1/3, on tire le sommet de R et on le recolore : on passe de
m(c) à m(c) − 1. La chaîne de Markov est donc ainsi : pour j 6= 0, n, avec proba 1/3 on passe à j − 1, avec proab 1/3 on reste sur j et
avec proba 1/3 on passe à j + 1. Pour j = 0 ou n, on reste sur l'état courant avec proba 1. Le but est d'atteindre le sommet 0 ou le
sommet n. La chaîne est complètement symétrique entre l'état j et l'état n − j.
4. Soit h j l’espérance du nombre de recolorations à effectuer pour terminer, en partant d’une 2-
coloration c pour laquelle m(c) = j. Exprimer h j en fonction de h j−1 et h j+1 pour j = 1 . . . (n − 1).
Determiner h0 et hn .
+ On a h 0 =0 et h n =0 . De plus, on a :
1
hj = ( 1 + h j −1 + 1 + h j + 1 + h j +1 )
3
autrement dit
3 1
hj = + ( h j −1 + h j +1 )
2 2

3
5. Montrer que h j = h j+1 + f ( j) pour une certaine fonction f à déterminer, avec f (0) = −h1 .
+ On a h = h1 + f (0) = h1 − h1 = 0 : ok.
Puis
0

3 1 3 1
hj = + ( h j −1 + h j +1 ) = + ( h j + f ( j − 1 ) + h j +1 )
2 2 2 2
donc
1 3 1 1
h j = + f ( j − 1 ) + h j +1
2 2 2 2

donc h = h
j j +1 + 3 + f ( j − 1 ) = h j +1 + f ( j ) avec f (j) = 3 + f (j − 1) donc f (j) = 3j − h . 1

6. Prouver que hn/2 = O(n2 )

et conclure. (On pourra utiliser la relation h1 = hn−1 que l’on obtient par
symétrie, pour finir de résoudre la récurrence).
+ On a hn−1 = hn + f (n − 1) = 0 + f (n − 1). Comme h1 = hn−1 et , on obtient : h donc
. Donc h(j) = h .
f ( n − 1) = 3( n − 1) − h1 1 = 3( n − 1) − h1
h1 = 3(n − 1)/2 + 3j − 3(n − 1)/2
Donc
j +1

n −1 n −1
3 3(n − 1)(n − j) (n − 1 + j)(n − j) 3(n − 1)(n − j) (n − j) 3j(n − j)
h j = hn + ∑ (3j − (n − 1)) = 0 + 3 ∑ j − =3 − =3 (n − 1 + j − (n − 1)) =
k= j
2 k= j
2 2 2 2 2

donc
3(n/2)2
hn/2 = = O(n2 )
.
2

Comme h est le "milieu" de la chaine, c'est le pire cas (on peut vérier que c'est le maximum de h ) et donc l'espérance du nombre
de recolorations est quadratique.
n/2 j