Chaines Markov

1
IFT-3655, Modèles Stochastiques
aft
Chaı̂nes de Markov en temps discret
Prof. Pierre L’Ecuyer

DIRO, Université de Montréal
Dr
Ces “diapos” sont surtout un support pour les présentations en classe.
Elles ne contiennent pas toutes les explications détaillées.
Pour cela il est recommandé d’étudier le livre recommandé, de Sheldon Ross.
2
Chaı̂ne de Markov en temps discret
On considère un processus stochastique en temps discret {Xn , n = 0, 1, 2, . . . } dont l’espace
aft
d’états X (l’ensemble de tous les états possibles) est dénombrable. On va habituellement
numéroter les états par des entiers non négatifs, et ainsi supposer que X = {0, 1, . . . , r }
(fini) ou X = {0, 1, 2, . . . } (infini).
Ce processus est une chaı̂ne de Markov homogène si
P[Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ] = P[Xn+1 = j | Xn = i] = Pi,j .
Dr
En d’autres mots, la loi de probabilité du prochain état Xn+1 conditionnellement à
l’histoire passée ne dépend que de l’état actuel Xn et ne dépend pas de n.
Les Pi,j sont les probabilités de transition de la chaı̂ne .

L’adjectif homogène veut dire que ces probabilités ne dépendent pas de n.
3
aft
Les Pi,j doivent nécessairement satisfaire:
∞
X
Pi,j ≥ 0 for all i, j; Pi,j = 1 for all i.
j=1
Ils sont les éléments de la matrice de transition

 
P0,0 P0,1 P0,2 · · ·
Dr P1,0 P1,1 P1,2 · · ·

P = P

 2,0 P2,1 P2,2 · · ·
..
.
..
.
..
.


4
aft
Exemple. Deux états possibles: “il pleut” (0) et “il ne pleut pas” (1). Le temps est en jours.
α = P[pluie demain | pluie aujourd’hui], β = P[pluie demain | pas de pluie aujourd’hui].
On a
α 1−α
P=
β 1−β
Exemple. Marche aléatoire sur les entiers:
Dr Pi,i+1 = p = 1 − Pi,i−1 , pour i ∈ Z.
Modèle de parieur: Comme ci-haut mais P0,0 = PN,N = 1 pour un N > 0.

Xn représente la fortune du joueur à l’étape n.
Quand Xn = 0, il est ruiné; quand Xn = N, il s’arrête de jouer.
5
Risque d’assurance d’un client: modèle Bonus-Malus
Dans ce modèle, Xn représente le risque d’un client pour une cie d’assurance, en fonction de
aft
son historique d’accidents. L’idée est de définir un nombre fini de catégories de risque, et une
chaı̂ne de Markov dont les états sont ces catégories.
Un client dans l’état i qui a k accidents durant l’année passera à l’état si (k), où les si (k)
sont spécifiés à l’avance. Par exemple, on pourrait avoir si (k) = i + k − I[k = 0] , ou bien
si (k) = i + 2k − I[k = 0], ou une fonction plus complexe.
On suppose que le nombre Y d’accidents par un client durant une année est Poisson(λ), où
le paramètre λ = λc peut dépendre du client et être inconnu. Si le client est dans l’état i, il
aura Y = k accidents avec probabilité e −λ λk /k!, et sa probabilité de passer à l’état j est
Dr Pi,j =
X
e −λ λk /k!
{k:si (k)=j}
Il y a différentes façons d’utiliser ce modèle. Idéalement, on voudrait pouvoir “apprendre” λc

et la loi des montants de réclamations, pour chaque client, en fonction de son historique.
6
Équation de Chapman-Kolmogorov
Soit
(n)
Pi,j = P[Xn = j | X0 = i],
aft
la probabilité de passer de i à j en exactement n étapes. Équation de Chapman-Kolmogorov:
∞ ∞
(n+m) (n) (m)
X X
Pi,j = P[Xn+m = j | Xn = k] P[Xn = k | X0 = i] = Pi,k Pk,j
k=0 k=0
(n)
En notation matricielle, si P(n) est la matrice contenant les Pi,j , cela donne
Dr P(n+m) = P(n) · P(m) .
En particulier, P(2) = P · P, et par induction sur n, on a P(n) = P(n−1) · P = Pn .
Similaire aux matrices donnant les nombres de chemins de longueur n entre chaque paire de
sommets dans un graphe.
7
Exemple. Dans l’exemple de “pluie” vs “non pluie”, supposons que α = 0.7 et β = 0.4, de
sorte que
aft

α 1−α 0.7 0.3
P= = .
β 1−β 0.4 0.6
les probabilités de transition en deux jours et en 4 jours sont:

2 0.61 0.39 4 0.5749 0.4251
P = , P = .
0.52 0.48 0.5668 0.4332
Que se passe-t-il avec Pn quand n → ∞? On a
Dr n
lim P =
n→∞

4/7 3/7
4/7 3/7

.
Les lignes sont identiques et donnent les probabilités limites des deux états.
Interprétation.
8
Exemple. On dispose de balles rouges et de balles bleues, et d’une urne qui contient 2
balles. À chaque étape, on tire une balle de l’urne et on la remplace par une balle de la
même couleur avec probabilité 0.8 et de l’autre couleur avec probabilité 0.2. On définit une
aft
chaı̂ne où Xn est le nombre de balles rouges dans l’urne à l’étape n. L’espace d’états est
{0, 1, 2} et la matrice des probabilités de transition est
 
0.8 0.2 0
P = 0.1 0.8 0.1 .
0 0.2 0.8
Si X0 = 2 (2 balles rouges au départ), alors la première balle tirée est certainement rouge.
Soit bn la probabilité que la (n + 1)-ième balle tirée est rouge. On aura
Dr
b4 = 0.4872 + 0.4352/2 = 0.7048.
(4)
(n)
bn = 1 · P[Xn = 2 | X0 = 2] + (1/2)P[Xn = 1 | X0 = 2] = P2,2 + P2,1 /2.
(4)
(n)
Par exemple, en calculant P4 et on trouve P2,2 = 0.4872 et P2,1 = 0.4352, ce qui donne
Que se passe-t-il quand n → ∞? On peut montrer que Pn converge vers une matrice dont
les 3 lignes sont (1/4, 1/2, 1/4), et que bn → 1/2, ce qui correspond à l’intuition.
9
Exemple 4.11 du livre: Encore le problème du collectionneur de capsules.

Il y a k types de capsules. À chaque étape on tire une capsule, avec probabilité 1/k pour
aft
chaque type. Soit Xn le nombre de types que l’on a après n tirages. Les probabilités de
transition sont P0,1 = 1, Pk,k = 1,
Pi,i = i/k = 1 − Pi,i+1 pour i < k, et Pi,j = 0 ailleurs.
On peut facilement construire P puis calculer ses puissances.

P est une matrice (k + 1) × (k + 1).
(n)
La probabilité d’avoir exactement j types après n tirages est P0,j .
Dr (n)
La probabilité d’avoir une collection complète après n tirages est P0,k .
Et si les probabilités ne sont pas toutes 1/k? Le modèle avec k + 1 états ne tient plus.
L’état doit indiquer quelles capsules il nous manque! Donc 2k états possibles.
Et si on veut “apprendre” ces probabilités à partir d’observations?
10
Chaı̂nes avec états absorbants ou tabous
Parfois, pour une chaı̂ne de Markov, on a un sous-ensemble d’états A ⊂ X et on s’intéresse à
un événement qui dépend de N = inf{n ≥ 1 : Xn ∈ A}, l’instant de la première visite à A, ou
aft
du premier retour à A si on y est déjà. Si Xn n’atteint jamais A, on a N = ∞.
On peut vouloir calculer par exemple
β = P[N ≤ m | X0 = i].
Dans ce genre de situation, on peut réduire la taille de la chaı̂ne en fusionnant tous les états
de A en un seul état absorbant, disons ∆. Quand la chaı̂ne atteint cet état, elle y reste.
La nouvelle chaı̂ne {Wn , n ≥ 0} est définie par
Dr
Wn = Xn pour n < N;
Qi,j = Pi,j pour i, j 6∈ A; Qi,∆ =

Wn = ∆ pour n ≥ N.
Les probabilités de transition pour cette chaı̂ne sont
X
j∈A
Pi,j pour i 6∈ A;
On obtient β = P[N ≤ m | X0 = i] = P[Wm = ∆ | W0 = i] = Qi,∆ .

(m)
Q∆,∆ = 1.
11
Exemple: On tire à pile ou face et on s’intéresse à la loi de probabilité de N, le nombre de

tirages requis pour avoir s faces d’affilée.
aft
Soit Xn le nombre de faces de suite que l’on vient d’obtenir rendu à l’étape n si on a face à
cette étape, et Xn = 0 si on a pile.
On pose ensuite A = {s}, ∆ = s, et N = inf{n ≥ 1 : Xn ∈ A}.
Ainsi Wn = Xn avant d’avoir atteint s, et par la suite Wn = s = ∆ (le cimetière).
Par exemple, pour s = 3, les Qi,j sont donnés par
 
1/2 1/2 0 0
Dr 1/2 0 1/2 0 
Q=
1/2 0
(n)
0 0 0 1
.
0 1/2
Pour chaque n > 0, l’élément Q0,s de la matrice Qn donne la valeur de P(N ≤ n).
On peut ainsi calculer toute la distribution de N.
12
Contraintes sur les trajectoires
aft
Si i, j 6∈ A, la probabilité que Xm = j et que la chaı̂ne n’ait pas visité l’ensemble A jusqu’à
l’étape m s’écrit
α = P[Xm = j, N > m − 1 | X0 = i].
Pour calculer α, il suffit de construire Q et la chaı̂ne {Wn , n ≥ 0} comme ci-haut.
(m)
L’élément Qi,j donne la probabilité α cherchée.
Dr
Pour le cas où j ∈ A, voir Ross (2014), page 193.
13
Classification des états
(n)
On dit qu’un état j est accessible de l’état i s’il existe un n ≥ 0 tel que pij > 0. Cela veut
aft
dire que si on est dans l’état i, la probabilité d’atteindre j éventuellement n’est pas nulle.
Notez que i est toujours accessible de i.
Deux états i et j communiquent si chacun est accessible de l’autre. On note cela i ↔ j.
La communication est une relation d’équivalence: c’est réflexif et symétrique (découle
directement de la définition), et aussi transitif (découle de l’équation de
Chapman-Kolmogorov).
Les classes d’équivalence forment une partition de l’espace d’états X .
Dr
On les appelle les classes de communication.
La chaı̂ne est irreductible si tous les états communiquent (une seule classe d’équivalence).
On peut représenter une chaı̂ne de Markov à espace d’états discret par un graphe orienté.
Les états sont les sommets, les transitions de probabilité positive sont les arcs, et on peut
aller de i à j en n étapes s’il y a un chemin de i à j de longueur n.
14
Exemple.
1/2 1/4 2/3
 
1/2 1/2 0
aft
1/2 1/4
P = 1/2 1/4 1/4
0 1/3 2/3 0 1 2
1/2 1/3
Ici, tous les états communiquent. La chaı̂ne est irréductible.
1/2 1/2 1/4 1

Exemple.
1/2 1/4
P=

1/2 1/2 0
1/2 1/2 0
0

0 
1/4 1/4 1/4 1/4 .
0 0 0 1

Dr 0
1/2
1
1/4
1/4
2 3
Ici, on a trois classes: {0, 1}, {2}, et {3}. L’état 2 est transitoire et l’état 3 est absorbant.
15
États récurrents et transitoires
Pour chaque état i, soit fi la probabilité que si on part de i, on va y revenir ultérieurement.
aft
L’état i est dit récurrent si fi = 1 (on est certain d’y revenir) et transitoire si fi < 1.
Voir les exemples.
Si fi = 1, le processus va revenir à i avec probabilité 1, puis va y revenir encore une fois avec
probabilité 1, et ainsi de suite. La chaı̂ne va donc revenir à i une infinité de fois, et le nombre
espéré de visites à i est nécessairement infini.
Par contre, si fi < 1, à chaque passage à i, la chaı̂ne va y revenir avec probabilité fi < 1, et
Dr
n’y reviendra plus jamais avec probabilité 1 − fi . Le nombre de retours à i est donc dans ce
cas une v.a. géométrique de paramètre p = 1 − fi , dont l’espérance est (1 − p)/p < ∞
(ici, chaque retour correspond à un “échec”).
Donc si fi < 1, le nombre de visites à l’état i est fini avec probabilité 1, et le nombre espéré
de visites à i est fini.
16
P∞
Soit Mi = n=1 I[Xn = i] le nombre de retours à l’état i, en supposant que X0 = i.
On a fi = 1 ssi E[Mi | X0 = i] = ∞. Mais
aft
∞ ∞ ∞
(n)
X X X
E[Mi | X0 = i] = E[I(Xn = i) | X0 = i] = P[Xn = i | X0 = i] = Pi,i .
n=1 n=1 n=1
P∞ (n)
Proposition. Un état i est récurrent si n=1 Pi,i = ∞ et transitoire sinon.
Corollaire. Le caractère récurrent ou transitoire est une propriété de classe: si i est récurrent
[transitoire] et i ↔ j, alors j est récurrent [transitoire].
n=1
(n)
Pj,j ≥
X
n=1
Dr(m+n+k)
Pj,j
(m)
≥
X
n=1
(m)
(k)
Preuve: Prenons m et k tels que Pj,i > 0 et Pi,j > 0, i.e., i ↔ j. Si i est récurrent,
∞ ∞ ∞
(n)
Pj,i Pi,i Pi,j
(k) (m)
≥ Pj,i Pi,j
(k)
∞
X
n=1
(n)
Pi,i = ∞.
17
Exemple
aft
 
1/2 1/2 0 0 0
1/2 1/2 0 0 0 
 
 0
P= 0 1/2 1/2 0 .
 0 0 1/2 1/2 0 
1/4 1/4 0 0 1/2
Quelles sont les classes de communication, et lesquelles sont récurrentes?
Il y a trois classes: {0, 1}, {2, 3}, et {4}.
Dr
Les deux premières sont récurrentes et la troisième est transitoire.
Rendu ici, 23 janv. 2020

18
Une marche aléatoire sur les entiers
aft
p p p p p
··· -2 -1 0 1 2 3 ···
1−p 1−p 1−p 1−p 1−p
Ici, tous les états communiquent (une seule classe), donc ils sont ou bien tous récurrents, ou
bien tous transitoires! Pour savoir s’ils sont récurrents ou pas, on va calculer
∞
Dr E[M0 | X0 = 0] =
X
n=1
(n)
P0,0 .
On sait qu’on ne peut revenir à 0 qu’en un nombre pair de coups, donc il suffit de considérer19
(2n)
les termes de la forme P0,0 , i.e., aller n fois à gauche et n fois à droite:
√
aft
4πn(2n/e)2n (4p(1 − p))n

(2n) 2n n n (2n)! n n
P0,0 = p (1 − p) = (p(1 − p)) ∼ (p(1 − p)) = √
n n!n! 2πn(n/e)2n πn
√
en utilisant l’approximation de Stirling n! ≈ 2πn(n/e)n . Donc les états sont récurrents ssi
∞
X (4p(1 − p))n
√ = ∞.
n=1
πn
Mais cela est vrai ssi p = 1/2, auquel cas le numérateur est 4p(1 − p) = 1 et ∞
P
n=1 1/n = ∞.
Dr
Si p 6= 1/2, 4p(1 − p) < 1, et la série est bornée par une série géométrique, qui converge.
On a donc: La marche aléatoire est récurrente ssi p = 1/2 (la marche est symétrique).
On peut définir aussi une marche aléatoire sur les entiers en 2 dimensions ou plus.
On peut prouver qu’une marche symétrique en 2 dimensions est aussi récurrente,
mais une marche en 3 dimensions ou plus est toujours transitoire!
Plus la dimension augmente, plus c’est facile de s’évader!
20
Fréquences de visites et récurrence positive
aft
La probabilité d’atteindre éventuellement j quand on est à i:
"∞ #
X
fi,j = P[Xn = j pour un n > 0 | X0 = i] = P I[Xn = j] > 0 | X0 = i .
n=1
Proposition. Si i est récurrent et i ↔ j, alors fi,j = 1.

(n)
Preuve. Puisque i ↔ j, il existe un n > 0 tel que p = Pi,j > 0. Donc chaque fois qu’on
Dr
visite i, on visitera j dans n étapes avec probabilité au moins p. Mais on visite i infiniment
souvent. On a donc une infinité d’occasions d’aller à j, chaque fois avec probabilité de succès
au moins p. Le nombre de ces occasions que l’on va rater avant le premier succès est une
v.a. géométrique(p), donc ce nombre est fini avec probabilité 1.
21
Soit j un état récurrent et X0 = j. Le temps de premier retour à j est
aft
Rj = min{n ≥ 1 : Xn = j},
Le temps de récurrence moyen est
mj = E[Rj | X0 = j].
On dit que j est récurrent positif si mj < ∞ et récurrent nul si mj = ∞.

Proposition. Si i est récurrent positif et i ↔ j, alors j est récurrent positif aussi. En d’autres
Dr
mots, la récurrence positive est une propriété de classe. La récurrence nulle aussi.
(n) (n)
Preuve. Par hypothèse, πi > 0 et Pi,j > 0 pour un certain n. Donc πi Pi,j > 0. Mais cette
valeurs est la proportion des étapes ou on arrive à j et on était à i il y a n étapes, et elle ne
peut pas dépasser la proportion πj des étapes où on arrive à j (de n’importe où). Par
(n)
conséquent, πj ≥ πi Pi,j > 0, donc j est récurrent positif.
22
Pour un état j récurrent positif, on revient donc à j en moyenne à toutes les mj unités de
aft
temps (à long terme). La proportion des étapes où on est dans l’état j est donc πj = 1/mj .
Plus précisément, si j est récurrent positif et X0 ↔ j, on a:
n
1X w.p.1 1
lim I[Xk = j] = πj = .
n→∞ n mj
k=1
Quand mj = ∞, on pose πj = 0. Ainsi, l’état j est récurrent positif ssi πj > 0.
Dr
Une chaı̂ne est dite récurrente positive si tous les états sont récurrents positifs.
En particulier, une chaı̂ne irréductible dont l’espace d’états est fini est nécessairement
récurrente positive.
Dans ce qui suit, on examine les propriétés d’une chaı̂ne irréductible et récurrente positive.
23
Probabilités d’équilibre (ou d’état stationnaire)
Théorème. Pour une chaı̂ne irréductible récurrente positive, les πj forment la solution
aft
unique des équations d’équilibre suivantes:
X X
πj = πi Pi,j pour tout j ∈ X , πi = 1.
i∈X i∈X
Sous forme matricielle: πP = π et π1t = 1, où π = (π0 , π1 , . . . ).

Si ce système n’a pas de solution, la chaı̂ne est transitoire ou récurrente nulle.
Dr
Justification intuitive. La proportion des transitions où on part de i pour aller à j est égale à
la probabililité d’être à i, puis ensuite de transiter vers j, qui est πi Pi,j . En sommant sur tous
les i, on obtient la proportion des transitions qui arrivent à j, qui est πj . La somme doit égaler
πj , ce qui donne la première équation. La seconde dit que les probabilités somment à 1.
Ce vecteur π donne la loi d’équilibre, ou loi stationnaire.
Si X0 suit la loi π, alors X1 et tous les Xn suivent aussi la loi π (on y reviendra).
24
Exemple. Dans l’exemple de “pluie” vs “non pluie”, on a

α 1−α
aft
P=
β 1−β
Les équations πP = π et π1t = 1 deviennent:
π0 = απ0 + βπ1
π1 = (1 − α)π0 + (1 − β)π1
1 = π0 + π1
Dr
Trois équations et deux inconnues: on peut remplacer π1 par 1 − π0 . Solution:
π0 =
β
1+β−α
, π1 =
1−α
1+β−α
.
Pour α = 0.7 et β = 0.4, cela donne π0 = P[pluie] = 4/7 = .571 et π1 = 3/7.

25
Mouvement dans les classes sociales
Si le parent est dans la classe sociale i, l’enfant sera dans la classe j avec probabilité Pi,j .
Supposons qu’on a 3 classes, {0, 1, 2}, et la matrice des probabilités de transition est
aft
 
0.45 0.48 0.07
P = 0.05 0.70 0.25
0.01 0.50 0.49
Les équations pour les πi sont:
π0 = 0.45π0 + 0.05π1 + 0.01π2

π1 = 0.48π0 + 0.70π1 + 0.25π2
Dr π2 = 0.07π0 + 0.25π1 + 0.49π2
La solution est (à interpréter):

1 = π0 + π1 + π2 .
π0 = 0.07, π1 = 0.62, π2 = 0.31.

26
Modèle d’inventaire
On vend un certain type d’item. La demande à chaque jour est une v.a. D telle que
P[D = k] = pk pour k = 0, 1, 2, . . . , kmax < ∞ (demande bornée). Le niveau d’inventaire à
aft
la fin du jour n est Xn . Politique de gestion (s, S), avec s < S: Si Xn ≤ s, on remonte
l’inventaire à S pour le lendemain matin, sinon on le laisse à Xn .
On aura ainsi, si on permet les inventaires négatifs.
(
Xn − D si Xn > s;
Xn+1 =
S −D si Xn ≤ s.
Dr
Avec ceci et les pk , on peut définir les probabilités de transition de la chaı̂ne .
On a toujours s + 1 − kmax ≤ Xn ≤ S (espace d’états fini).
On peut facilement calculer les probabilités d’équilibre πi , qui nous donnent la loi de
probabilité du niveau d’inventaire, en moyenne sur les jours.
On peut avoir un coût d’inventaire c(Xn ) à payer, chaque
P jour, en fonction du niveau
d’inventaire. Le coût moyen par jour à long terme sera i∈Z πi c(i).
27
Modèle de diffusion à travers une membrane: Urne de Ehrenfest
aft
Modélise la diffusion de molécules à travers une membrane.
Deux urnes contiennent m balles (ou molécules), réparties arbitrairement entre les deux.
À chaque étape, on pige au hasard l’une des m balles et on la change d’urne.
Soit Xn ∈ X = {0, 1, . . . , m} le nombre de balles dans l’urne 1 à l’étape n. On a
(
i/m pour j = i − 1, (On pige dans l’urne 1)
Pi,j = P[Xn+1 = j | Xn = i] =
(m − i)/m pour j = i + 1. (On pige dans l’urne 2)
0
1
1/m
1
1 − 1/m
2/m
Dr 2
1 − 2/m
3/m
3
1 − 3/m
4/m
···
2/m
1 − 1/m
m−1
1/m
1
m
28
(
i/m pour j = i − 1, (On pige dans l’urne 1)
= j | Xn = i] =
aft
Pi,j = P[Xn+1
(m − i)/m pour j = i + 1. (On pige dans l’urne 2)
Cette chaı̂ne est irréductible et récurrente positive.

On peut s’intéresser aux probabilités d’équilibre πi , qui donnent la loi de probabilité de la
concentration de molécules d’un coté, à long terme. Comment les trouver?
Si toutes les balles sont initialement placées au hasard et indépendamment, chaque balle
tombe dans l’urne 1 avec probabilité 1/2, et X0 ∼ Binomiale(m, 1/2). Puis si on tire une
Dr
balle au hasard et la déplace, la probabilité est encore 1/2 pour chaque balle et on aura
encore X1 ∼ Binomiale(m, 1/2). Donc cette loi doit être la loi stationnaire:
πi =

m
i
i
(1/2) (1/2) m−i
=

m −m
i
2 .
Cette loi est symmétrique par rapport à m/2. Donc à l’équilibre, E[Xi ] = m/2.
29
Génétique: Loi de Hardy-Weinberg
Chaque individu a une paire de gènes: AA ou aa ou Aa, donc 3 possibilités.
Soient p0 , q0 , r0 la proportion d’individus de chaque type au départ, dans la population.
aft
Si on prend au hasard un gène d’un individu choisi au hasard, ce sera A avec probabilité
P(A) = p0 + r0 /2
et a avec probabilité
P(a) = 1 − P(A) = q0 + r0 /2.
Si on choisit ainsi deux gènes au hasard pour former un nouvel individu, cet individu sera de
type AA ou aa ou Aa, avec les probabilités p, q, et r suivantes:
Dr
p = P(A)P(A) = (p0 + r0 /2)2
q = P(a)P(a) = (q0 + r0 /2)2
r = 2P(A)P(a) = 2(p0 + r0 /2)(q0 + r0 /2).
Ces valeurs indiquent les proportions d’individus des trois types, à la seconde génération.
30
La proportion des gènes qui sont de type A à cette seconde génération sera
P2 (A) = p + r /2 = (p0 + r0 /2)2 + (p0 + r0 /2)(q0 + r0 /2) = p0 + r0 /2.
aft
C’est la même qu’au départ! Idem pour le type a.
Cela s’appelle la Loi de Hardy-Weinberg.
Pour un individu quelconque, soit Xn le type de paire de gènes de son descendant de

génération n. La matrice de transition pour la chaı̂ne {Xn , n ≥ 0} est
AA aa Aa
Dr
AA
P = aa 

p + r /2
0
Aa p/2 + r /4
0
q + r /2
q/2 + r /4
q + r /2
p + r /2 
(p + q + r )/2

On peut vérifier ici que les probabilités d’équilibre (ou d’état stationnaire) sont
(π0 , π1 , π2 ) = (p, q, r ).
31
Processus de production: état fonctionnel vs défaillant
aft
L’état d’un processus de production évolue selon une chaı̂ne de Markov avec probabilités de
transition Pi,j et probabilités d’équilibre πi .
Soit A l’ensemble des états où le système est fonctionnel, et Ac = X \ A l’ensemble des
états où il est défaillant.
La proportion des transitions où le système est fonctionnel est
X
pf = πi
Dr i∈A
et la proportion des transitions où il est défaillant est 1 − pf =

P
i∈Ac πi .
32
À quelle fréquence en moyenne le système tombe-t-il en panne?

C’est le taux de passage de A à Ac , i.e., la proportion des transitions qui se font d’un état
aft
i ∈ A à un état j ∈ Ac . Cette proportion est
XX
ν= πi Pi,j ,
i∈A j∈Ac
car la probabilité qu’une transition se fasse de i à j est πi Pi,j .

La durée moyenne entre les pannes est 1/ν.
Dr
Quelle est la durée moyenne des pannes?
En moyenne, il y a une panne (ou un cycle défaillant–fonctionnel) chaque 1/ν transitions, et
la proportion des transitions où le système est en panne est 1 − pf . La durée moyenne des
pannes est donc de (1 − pf )/ν transitions, et la durée moyenne des périodes de
fonctionnement est pf /ν.
33
Fréquence de visite d’un patron donné
Pour une chaı̂ne de Markov avec probabilités de transition Pi,j et probabilités d’état
stationnaire πi , à quelle fréquence va-t-on visiter la suite de k états successifs (le patron)
aft
i1 , i2 , . . . , ik ?
La probabilité d’avoir ce patron, à l’état stationnaire, est
π(i1 , . . . , ik ) = πi1 Pi1 ,i2 · · · Pik−1 ,ik .
C’est la fréquence à long terme. Le nombre moyen d’étapes entre les visites est l’inverse de
cette probabilité.
Dr
Supposons maintenant qu’on est dans l’état X0 = r et on pose
N(i1 , . . . , ik ) = min{n ≥ k : Xn−k+1 = i1 , . . . , Xn = ik }.
Note: ici, n ≥ k, donc l’état X0 ne compte pas dans la suite même si X0 = r = i1 .

On veut calculer
E[N(i1 , . . . , ik ) | X0 = r ].
34
Soit µ(i, i1 ) le nombre espéré d’étapes requises pour atteindre i1 quand on part de i.
Soit a(i1 ) le nombre espéré d’étapes requises pour avoir le patron quand on part de l’état i1 .
aft
Supposons pour simplifier que le patron n’a pas de chevauchement; i.e., il n’y a pas de s > 0
tel que (i1 , . . . , is ) = (ik−s+1 , . . . , ik ).
Exemple de chevauchement avec s = 2: (8, 7, 3, 7, 0, 1, 8, 7).
Si pas de chevauchement, quand r = ik , on a
1
= E[N(i1 , . . . , ik ) | X0 = ik ] = µ(ik , i1 ) + a(i1 ).
π(i1 , . . . , ik )
d’où on tire
Dr
E[N(i1 , . . . , ik ) | X0 = r ] = µ(r , i1 ) + a(i1 ) = µ(r , i1 ) +
1
π(i1 , . . . , ik )
Le cas d’un patron avec chevauchement est un brin plus compliqué; voir Ross, page 216.
− µ(ik , i1 ).
35
Occupation d’un hôtel
Les clients arrivent à un hôtel selon un processus de Poisson de taux λ (par jour). Chaque
client reste à l’hôtel au moins un jour, plus un nombre additionnel de jours qui suit une loi
aft
géométrique de paramètre p. Autrement dit, après chaque jour, le client quitte avec
probabilité p et reste (au moins) un autre jour avec probabilité q = 1 − p.
Soit Xn le nombre de clients dans l’hôtel le jour n. On veut calculer les Pi,j et les πi pour
cette chaı̂ne, ainsi que E[Xn | X0 = i].
(a) Pour trouver Pi,j , supposons qu’on est dans l’état Xn = i.
Soient Ri le nombre de clients qui restent un jour de plus et N le nombre de nouveaux
clients. On a Ri ∼ Binomiale(i, q) et N ∼ Poisson(λ).
Pi,j
=
Dr
= P(Ri + N = j) =
min(i,j)
X
k=0
e −λ λj−k
i
X
k=0

i
(j − k)! k
P(N = j − k | Ri = k)P[Ri = k]
q k p i−k .
Cette formule est compliquée; dans ce qui suit, on va trouver E[Xn | X0 = i] et les πi sans l’utiliser.
36
(b) On peut calculer E[Xn | X0 = i] via une récurrence. On a
aft
E[Xn | Xn−1 = i] = E[Ri + N] = iq + λ.
Donc E[Xn | Xn−1 ] = Xn−1 q + λ. En prenant l’espérance: E[Xn ] = E[Xn−1 ]q + λ.

On peut itérer ce processus:
E[Xn ] = λ + qE[Xn−1 ] = λ + q(λ + qE[Xn−2 ]) = · · ·

= λ(1 + q + q 2 + · · · + q n−1 ) + q n E[X0 ].
Ainsi
Dr
E[Xn | X0 = i] = λ
(1 − q n )
1−q
n→∞
+ qn i →
λ
1−q
λ
= .
p
Interprétation: Il arrive en moyenne λ clients par jour et chaque client reste en moyenne 1/p
jours. Le produit donne le nombre moyen de nuitées par jour.
37
(c) Trouvons maintenant les πi sans utiliser la formule compliquée pour les Pi,j .
On sait que les πi forment l’unique loi stationnaire. Donc si on trouve (devine) des πi qui
aft
satisfont les équations d’équilibre, ils sont nécessairement les valeurs cherchées.
On va supposer que X0 ∼ Poisson(α), puis on va montrer qu’en prenant α = λ/p, on a aussi
que X1 ∼ Poisson(α), et donc par récurrence Xn ∼ Poisson(α) pour tout n > 0.
Si X0 ∼ Poisson(α), le nombre de ces X0 clients qui restent pour le jour suivant est
R ∼ Poisson(αq), et le nombre d’arrivées le jour suivant est N ∼ Poisson(λ).
Donc X1 = R + N ∼ Poisson(αq + λ).
En prenant α = λ/p, on obtient αq + λ = α(q + p) = α, et donc X1 ∼ Poisson(α).
Dr
Les πi sont donc donnés par cette loi de Poisson:
πi = e −λ/p (λ/p)i /i!
X0 ∼ Poisson(α) que quand on suppose que X0 = i.

pour i ≥ 0.
En bref, c’est beaucoup plus facile de trouver la loi de X1 quand on suppose que
38
Généralisation: composition d’une population
Une population est formée d’individus de r types différents. À chaque étape, chaque individu
aft
de type i passe au typePj avec probabilité qi,j , i, j = 1, . . . , r , et quitte la population avec
probabilité qi,0 = 1 − rj=1 qi,j , indépendamment les uns des autres. De plus, on a
Nj ∼ Poisson(λj ) nouveaux individus de type j (immigrants), pour j = 1, . . . , r .
Soit Xn = (Xn,1 , . . . , Xn,r ) le nombre d’individus de chaque type à l’étape n.
Supposons que X0,1 , . . . , X0,r sont indépendants, X0,i ∼ Poisson(αi ).
Le nombre qui va passer du type i au type j à l’étape 1 est alors Mi,j ∼ Poisson(αi qi,j ), et
Mi,1 , . . . , Mi,r sont indépendants. (Mais pas indépendants conditionnellement aux X0,i .)
On aura
Dr
Notez que la somme inclut i = j.
X1,j = Nj +
Xr
i=1
Mi,j , j = 1, . . . , r .
Pr 39
Les X1,j = Nj + i=1 Mi,j , j = 1, . . . , r , sont Poisson indépendantes, de moyennes
r
aft
X
E[X1,j ] = λj + αi qi,j .
i=1
En prenant pour α1 , . . . , αr la solution des équations

r
X
αj = λj + αi qi,j , j = 1, . . . , r ,
i=1
Dr
on obtient que X1,j ∼ Poisson(αj ) et les X1,j sont indépendants. C’est la loi stationnaire.
Elle définit implicitement le vecteur π des probabilités stationaires pour l’état Xn :
P[Xn = x = (x1 , . . . , xr )] =
r
Y
j=1
x
αj j e −αj /xj !
Ceci est vrai ssi chaque individu quitte éventuellement la population avec probabilité 1.
40
Coût moyen par étape
Soit {Xn , n ≥ 0} une chaı̂ne irréductible avec probabilités stationnaires πj , j ≥ 0. Supposons
aft
qu’à chaque étape, si on est dans l’état Xn = j, on paye un “coût” (ou on reçoit un revenu)
r (j). Le coût moyen par étape satisfait alors
n ∞ n ∞
1X 1 XX w.p.1 X
lim r (Xk ) = lim I[Xk = j]r (j) = r (j)πj .
n→∞ n n→∞ n
k=1 j=0 k=1 j=0
Exemple. Assurance Bonus-Malus de la page 5 des diapos: Supposons que pour chaque
Dr
client dans l’état j on a un coût espéré r (j) pour l’année. On a une formule pour les Pi,j , on
peut calculer les πi , puis le coût moyen par année.
Voir Exemple 4.27, page 218 du livre.
Exemples. Modèle d’inventaire, page 26. Aussi l’exemple précédent.

41
États périodiques et apériodiques
Dans l’exemple de la marche aléatoire sur les entiers, on a vu que si on part de l’état 0, on ne
peut y revenir qu’après un nombre d’étapes pair, i.e., quand n est un multiple de 2. On dit
aft
que l’état 0 est périodique de période 2. Dans cet exemple, tous les états sont en fait
périodiques de période 2.
En général, quand un état i peut être visité seulement quand n est un multiple de d(i), on
dit qu’il est périodique de période d(i). Quand d(i) = 1, l’état i est dit apériodique.
La période est une propriété de classe: tous les états d’une même classe de communication
ont la même période. S’il y a une seule classe et que les états sont apériodiques, on dit que
la chaı̂ne est apériodique.
Dr
Théorème. Dans une chaı̂ne irréductible, récurrente, et apériodique, pour tous i, j, on a
(n)
πj = lim Pi,j .
n→∞
Ce sont les probabilités limites. Si la chaı̂ne est récurrente positive, la somme de ces πj est 1.
42
aft
Théorème. Dans une chaı̂ne irréductible apériodique à espace d’états fini, il existe un entier
N < ∞ tel que pour tout n ≥ N, tous les éléments de la matrice Pn sont strictement positifs.
Autrement dit, la probabilité d’aller de i à j en n étapes est positive pour tout i, j, et n ≥ N.
Exemple. On a 5 états, {0, 1, 2, 3, 4}. De 0 on peut aller à 1 ou 4. Des autres états i, on

peut seulement aller à i + 1 mod 4. Trouvez le plus petit N pour lequel the théorème
précédent s’applique.
Dr
43
Probabilités limites, fréquences, et probabilités d’état stationnaire
Probabilités limites:
(n)
πj = lim Pi,j .
aft
n→∞
Fréquence de visite à long terme:

n
1 X (k)
πj = lim Pi,j . C’est la limite de Cesàro.
n→∞ n
k=1
Probabilités d’état stationnaire (ou d’équilibre): c’est un vecteur π de probabilités qui

satisfait
Dr π = πP et π1 = 1.
Les deux premières peuvent dépendre de l’état initial si la chaı̂ne a plusieurs classes.
Il se peut que les fréquences à long terme existent et pas les probabilités limites. Mais pas
l’inverse. Quand les probabilités limites existent, elles sont nécessairement égales aux
fréquences, et aux probabilités d’état stationnaire dans le cas irréductible.
44
État initial aléatoire
aft
Jusqu’à date, on a conditionné sur l’état initial, ou fixé cet état à X0 = i, par exemple.
Mais en général, on peut avoir une loi de probabilité sur l’état initial, qui est aléatoire.
On peut avoir disons
αi = P[X0 = i] pour tout i ∈ X .
On a alors
(n)
X
P[Xn = j] = αi Pi,j .
i∈X
Dr
Si la chaı̂ne est irréductible et récurrente positive, avec π comme vecteur des probabilités
d’état stationnaire, et si αi = πi pour tout i, puisque π = πP = · · · = πPn , on obtient
P[Xn = j] = πj pour tout j et tout n > 0. La loi est effectivement stationnaire.
45
Marche aléatoire: probabilité de ruine d’un joueur
1 1
p p p p p
aft
0 1 2 3 ··· N −1 N
1−p 1−p 1−p 1−p 1−p
Si on part à i, quelle est la probabilité Pi d’atteindre N avant d’atteindre 0?

On a Pi,i+1 = p = 1 − Pi,i−1 pour i = 1, . . . , N − 1.
Trois classes d’états: {0}, {N}, et {1, 2, . . . , N − 1}. Les deux premières sont récurrentes
ce qui donne
Dr
(états absorbants) et la troisième est transitoire. On va terminer à 0 ou à N.
Soit Pi = P[terminer à N | X0 = i]. On a les équations
(p + q)Pi = Pi = pPi+1 + qPi−1 ,
Pi+1 − Pi =
q
p
(Pi − Pi−1 ),
i = 1, . . . , N − 1,
i = 1, . . . , N − 1.
46
Sachant que P0 = 0, on obtient

q q
aft
P2 − P1 = (P1 − P0 ) = P1
p p
2
q q
P3 − P2 = (P2 − P1 ) = P1
p p
..
.
i−1
q q
Pi − Pi−1 = (Pi−1 − Pi−2 ) = P1 .
p p
"
Pi = P1 1 + Dr
En additionnant ces i − 1 équations, on obtient
2
q
p
+
q
p
+ ··· +
i−1 # ( 1−(q/p)i
q
p
= 1−q/p P1
iP1
si q/p 6= 1,
si q/p = 1.
47
Comme on sait que PN = 1, on peut trouver P1 :
aft
( 1−(q/p)
1−(q/p)N
si p 6= 1/2,
P1 =
1/N si p = 1/2,
et puis ( 1−(q/p)i
1−(q/p)N
si p 6= 1/2,
Pi =
i/N si p = 1/2.
Quand N → ∞, on obtient
Dr Pi →
(
1 − (q/p)i
0
si p > 1/2,
si p ≤ 1/2.
48
Exemples. Max et Patty jouent l’un contre l’autre jusqu’à ce que l’un des deux soit ruiné.
À chaque coup, ils misent 1 dollar et Patty gagne avec probabilité p = 0.6.
aft
(a) Si Patty démarre avec 5$ et Max avec 10$, quelle est la probabilité que Patty l’emporte?
On a N = 15, i = 5, et p = 0.6. La probabilité que Patty l’emporte est
1 − (q/p)i 1 − (2/3)5
Pi = = ≈ 0.87.
1 − (q/p)N 1 − (2/3)15
(b) Et si Patty démarre avec 10$ et Max avec 20$?
Dr
On a N = 30, i = 10, et p = 0.6. La probabilité que Patty l’emporte est
Pi =
1 − (q/p)i
1 − (q/p)N
=
1 − (2/3)10
1 − (2/3)30
≈ 0.98.
Même si Max a le double au départ, les chances sont contre lui!

49
Application: comparaison de médicaments
aft
On veut comparer deux types de traitements pour une maladie. Le traitement i fonctionne
(guérit le patient) avec probabilité pi , pour i = 1, 2, mais les pi sont inconnus.
Pour tester si p1 > p2 ou l’inverse, on fait ce qui suit: On pige des paires de patients au
hasard et pour chaque paire on applique le traitement 1 à l’un et 2 à l’autre. Après chaque
paire, on met à jour la différence D entre le nombre total de patients guéris avec le traitement
1 et le nombre avec le traitement 2. On fixe un seuil M. Si D ≥ M on déclare le traitement
1 vainqueur, si D ≤ −M on déclare le traitement 2 vainqueur, et sinon on poursuit.
−M ···
Dr i
p
1−p
i +1 ··· M
50
La probabilité que 1 soit vainqueur dépend de p1 et p2 . La valeur de D suit une marche

aléatoire sur les entiers de −M à M. À chaque étape, elle va à droite (vers M) avec
aft
probabilité p1 (1 − p2 ), à gauche avec probabilité p2 (1 − p1 ), et sinon elle ne bouge pas.
Lorsqu’il y a un mouvement, il est vers la droite avec probabilité
p1 (1 − p2 )
p=
p1 (1 − p2 ) + p2 (1 − p1 )
et vers la gauche avec probabilité q = 1 − p.

La probabilité d’atteindre M avant −M (et de déclarer 1 vainqueur) est la même que celle
d’atteindre 2M avant 0 dans un jeu de ruine où on part de i = M; c’est
Pi =
Dr 1 − (q/p)M
1 − (q/p) 2M
=
1 − (q/p)M
1 − (q/p)2M
=
1
1 + (q/p)M
.
Par exemple, si p1 = 0.4 et p2 = 0.6, la probabilité de prendre la mauvaise décision (choisir

1) est Pi = 0.017 pour M = 5 et 0.0003 pour M = 10.
51
Généralisation: probabilités qui dépendent de l’état
Supposons que les pi et qi = 1 − pi peuvent dépendre de l’état i où l’on est.
aft
Quand on est à 0, on peut y rester ou aller à 1.
Quand on est à N, on peut y rester ou aller à N − 1.
q0 pN
p0 p1 p2 p3 pN−2 pN−1
0 1 2 3 ··· N −1 N
q1 q2 q3 q4 qN−1 qN
Dr
Les états sont {0, 1, . . . , N} et les Pi,j sont indiqués sur la figure.
Si p0 = qN = 0 et 0 < pi < 1 pour i = 1, . . . , N − 1, on a deux états absorbants et les autres
sont transitoires. On peut s’intéresser à la probabilité d’atteindre N avant 0, par exemple.
Dans le cas où 0 < pi < 1 pour i = 0, . . . , N, la chaı̂ne est irréductible et récurrente positive.
Dans ce cas, on peut vouloir calculer les πi .
52
Cas où p0 = qN = 0 et 0 < pi < 1 pour i = 1, . . . , N − 1.
aft
Soit Pi = P[terminer à N | X0 = i], pour i = 1, . . . , N − 1.
On peut calculer les Pi comme dans l’exemple précédent de la probabilité de ruine.
On a les équations
(pi + qi )Pi = Pi = pi Pi+1 + qi Pi−1 , i = 1, . . . , N − 1,
ce qui donne
qi
Dr
Pi+1 − Pi =
pi
(Pi − Pi−1 ), i = 1, . . . , N − 1.
Exercice: En utilisant cela, dérivez une formule pour P1 , puis pour chacun des autres Pi .
53
Cas où 0 < pi < 1 pour i = 0, . . . , N.
On a ici une chaı̂ne irréductible récurrente positive et non périodique.
Trouvons les probabilités d’état stationnaire πi .
aft
À long terme, la fréquence des transitions de i vers i + 1 doit être la même que de i + 1 vers i:
πi pi = πi+1 qi+1 , pour i = 0, . . . , N − 1.
Ces équations d’équilibre permettent d’écrire tous les πi en fonction de π0 :
p0 pi−1 pi−1 · · · p0
π1 = π0 , πi = πi−1 = π0 , i = 1, . . . , N.
q1 qi qi · · · q1
Par ailleurs,
N N
" #
ce qui donne Dr 1=
et permet de calculer tous les πi .

X
i=0
πi = π0 1 +
"
π0 = 1 +
N
X
X pi−1 · · · p0
i=1
pi−1 · · · p0
i=1
qi · · · q1
qi · · · q1
#−1
,
54
aft
Cas particulier: si pi = p et qi = q = 1 − p pour tout i et si β = p/q 6= 1, on a
" N
#−1 −1
1 − β N+1

X
i 1−β
π0 = 1 + (p/q) = =
1−β 1 − β N+1
i=1
Cela donne
1−β βi
πi = β i π0 = β i N+1
= .
1−β 1 + β + β + · · · + βN
2
Dr
On peut avoir β < 1 ou β > 1.
Pour β = 1 (p = 1/2), on a πi = 1/(N + 1).
55
Application au modèle des deux urnes de Ehrenfest
Pour ce modèle, on a N = m, pi = (m − i)/m, et qi = i/m, pour i = 0, . . . , m.
aft
En appliquant les formules pour la chaı̂ne irreductible, on obtient
" m m
#−1 " #−1
X pi−1 · · · p0 X m(m − 1) · · · (m − i + 1)
π0 = 1+ = 1+
qi · · · q1 i(i − 1) · · · 2 · 1
i=1 i=1
" m #−1 " m
#−1
X m X m
= = 2 m i
(1/2) (1/2)m−i
= 2−m .
i i
i=0 i=0
On obtient ensuite
πi = Dr
pi−1 · · · p0
qi · · · q1
π0 =
m(m − 1) · · · (m − i + 1)
i(i − 1) · · · 2 · 1
π0 =

m −m
i
Cela qui correspond à ce qu’on a obtenu précédemment par un argument intuitif.

2 .
56
Temps passé dans les états transitoires
On considère une chaı̂ne à espace d’états X fini et un sous-ensemble T = {1, . . . , t} d’états
transitoires. La sous-matrice des probabilités de transition pour ces états transitoires:
aft
 
P1,1 P1,2 · · · P1,t
P2,1 P2,2 · · · P2,t 
PT =  . .
 
. ..
 . . 
Pt,1 Pt,2 · · · Pt,t
Pour certaines lignes de cette matrice, la somme des éléments est < 1 (sinon l’ensemble T
ne serait pas transitoire).
Dr
Pour i, j ∈ T , posons δi,j = I[i = j] et si,j = E [ ∞
si,j = δi,j +
X
k∈X
P
n=0 I[Xn = j] | X0 = i] , le nombre espéré
de visites à j quand on part de i. On a la récurrence
Pi,k sk,j = δi,j +
car sk,j = 0 si k est récurrent et j est transitoire.

t
X
k=1
Pi,k sk,j
57
aft
On peut écrire ce système d’équations linéaires sous forme matricielle. Si on pose
 
s1,1 s1,2 · · · s1,t
s2,1 s2,2 · · · s2,t 
S= . ,
 
..
 .. . 
st,1 st,2 · · · st,t
on a
S = I + PT S,
qui s’écrit aussi
Dr
(I − PT )S = I ou encore
On peut calculer les si,j en résolvant le système linéaire.
S = (I − PT )−1 .
58
Probabilité de visiter j.
aft
Pour i, j ∈ T , soit "∞ #
X
fi,j = P I[Xn = j] > 0 | X0 = i ,
n=1
la probabilité de visiter j au moins une fois (à partir de l’étape 1) si on part de i. On a la

récurrence
si,j = δi,j + fi,j sj,j .
Le second terme est la probabilité de se rendre à j au moins une fois, multiplié par le nombre

Dr
espéré de visites à j quand on y est déjà. On peut ainsi calculer les fi,j en fonction des si,j :
fi,j =
si,j − δi,j
sj,j
.
59
Temps espéré pour atteindre un ensemble A
aft
Soit A ⊂ X un sous-ensemble d’états quelconque (récurrents ou pas).
Soit mi (A) le nombre espéré d’étapes requises pour visiter A quand on part de i 6∈ A. Pour
calculer les mi (A), on peut fusionner tous les états de A en un seul état absorbant ∆.
Autrement dit, dès qu’on atteint un état de A, on ne bouge plus.
Tous les états i qui ne sont pas dans A et desquels A est accessible deviennent transitoires.
On peut utiliser l’approche précédente avec T = X \ A et calculer les si,j , puis calculer
Dr mi (A) =
X
si,j .
j∈T
Si on est certain d’aller à A au premier coup (cas dégénéré), alors la somme vaut si,i = 1.
60
Exemple: application au problème du collectionneur
Il y a k types d’items, chacun ayant la probabilité 1/k pour chaque tirage et
aft
indépendamment des autres tirages. Soit N le nombre de tirages requis pour avoir au moins
un item de chaque type.
On peut représenter ceci par une chaı̂ne de Markov où Xn est le nombre de types d’items que
l’on a après n tirages. On a X0 = 0. Si Xn = i (on a i des k types), alors Xn+1 = i (pas de
nouveau type) avec probabilité i/k et Xn = i + 1 (nouveau type) avec probabilité 1 − i/k.
On a N = min{n : Xn = k}.
L’état k est récurrent (absorbant) et les états dans T = {0, 1, . . . , k − 1} sont transitoires.
Dr
Pour 0 < i < k les étapes passées dans l’état i sont nécessairement successives. On a
E[N] = 1 + s1,1 + s1,2 + · · · + s1,k−1 .
On peut obtenir ces valeurs en calculant la matrice S pour cette chaı̂ne.

Cela donne le même E[N] que dans le chapitre précédent (somme de v.a. géométriques).
61
Exemple: problème de ruine d’un joueur
1 1
aft
p p p p p
0 1 2 3 ··· N −1 N
1−p 1−p 1−p 1−p 1−p
Les états transitoires sont T = {1, 2, . . . , N − 1}. On a

 
0 p 0 0 ··· 0
0
Dr 1 − p

 0
PT =  .

 ..

 0
0
1
0
−
0
0
p
p 0 ···
0 p ···
..
.
0 0 ···
0 0 ···
..
.
0
0
0
0
0
.
p
1−p 0

..  .


62
1 1
0.4 0.4 0.4 0.4 0.4 0.4
aft
0 1 2 3 4 5 6 7
0.6 0.6 0.6 0.6 0.6 0.6
Par exemple, si p = 0.4 et N = 7, PT et S sont données dans Ross, pages 232–233.

On a par exemple s3,5 = 0.9228 et s3,2 = 2.3677. Interpréter.
La probabilité d’atteindre une fortune de 1 avant 7, quand on part de 3 est f3,1 = 0.8797.
C’est la même probabilité que d’atteindre 0 avant 6 quand on part de 2.
Dr
Cela correspond à 1 − Pi pour i = 2 et N = 6:
1 − Pi = 1 −
1 − (q/p)i
1 − (q/p)N
= 1 −
1 − (3/2)2
1 − (3/2)6
= 0.8797.
Quel est le nombre espéré d’étapes passées dans T avant d’en sortir?
63
Équations d’équilibre
On considère une chaı̂ne de Markov irréductible récurrente positive, avec probabilités d’état
aft
stationnaire πi > 0 pour i ∈ X . Si A ⊂ X est un sous-ensemble d’états non vide quelconque,
la proportion des transitions entrant dans A doit être la même que la proportion des
transitions sortant de A: XX XX
πi Pi,j = πj Pj,i .
i∈Ac j∈A j∈A i∈Ac
En particulier, si A = {j}, on a
X X
πi Pi,j = πj Pj,i .
Dr i6=j
A
i6=j
64
Par contre, si on considère uniquement les transitions entre deux états i et j, la fréquence
aft
n’est pas nécessairement la même dans les deux directions.
Ici, elle est la même dans la figure de gauche pour toute paire (i, j), mais pas à droite, car
par exemple on va souvent de 0 à 2, mais jamais de 2 à 0.
1/2 2/3 2 0.2

0.8
0.8
1/2 1/4
0.2
0
3/4
1
1/3
Dr 2
0
0.8
1 0.2
65
Chaı̂ne réversible
aft
P
Definition: Si un vecteur π = (π0 , π1 , π2 , . . . ) > 0 satisfait i πi = 1 et
πi Pi,j = πj Pj,i pour toute paire d’états (i, j), on dit que la chaı̂ne est réversible et
que le vecteur π est réversible pour cette chaı̂ne.
Certains appellent ces équations les équations d’équilibre détaillées.

Quand une chaı̂ne est réversible, cela implique que pour toute paire d’états (i, j), la
fréquence des transitions de i à j est la même que de j à i.
Preuve. On a πi = πi
P
Dr
Théorème. Si π est réversible pour une chaı̂ne, alors π est nécessairement le vecteur
des probabilités d’état stationnaire pour cette chaı̂ne.
j∈X Pi,j =
P
j∈X πi Pi,j =
P
j∈X πj Pj,i , donc π = πP.
66
Évolution à reculons
Pour une chaı̂ne irréductible récurrente positive, la trajectoire inverse (qui va à reculons dans
le temps), disons Xn , Xn−1 , Xn−2 , . . . , constitue aussi une chaı̂ne de Markov. En effet,
aft
P[Xm = j | Xm+1 = i, Xm+2 , Xm+3 , . . . ] = P[Xm = j | Xm+1 = i],
car conditionnellement à Xm+1 = i, Xm et (Xm+2 , Xm+3 , . . . ) sont indépendants.

Les probabilités de transition de la chaı̂ne inverse à l’état stationnaire sont:
P[Xm = j, Xm+1 = i]
Qi,j = P[Xm = j | Xm+1 = i] =
P[Xm+1 = i]
Dr
=
P[Xm+1 = i | Xm = j] P[Xm = j]
P[Xm+1 = i]
=
πj
πi
Pj,i .
En utilisant ces probabilités Qi,j , on peut faire évoluer la chaı̂ne à reculons dans le temps.
On voit que la chaı̂ne est réversible si et seulement si Qi,j = Pi,j pour toute paire (i, j), i.e.,
si la chaı̂ne qui va à reculons a les mêmes probabilités de transition que la chaı̂ne qui avance!
67
Considérons une portion finie de la trajectoire pour la chaı̂ne {Xn , n ≥ 0}, disons
(X1 , . . . , Xk ) = (i1 , . . . , ik ). À l’état stationnaire, on a P[Xn = i] = πi pour tout i et tout n,
aft
et la probabilité de cette trajectoire est
P[(X1 , . . . , Xk ) = (i1 , . . . , ik )] = P(X1 = i1 ) · P(X2 = i2 | X1 = i1 ) · · · P(Xk = ik | Xk−1 = ik−1 )

= πi1 Pi1 ,i2 · · · Pik−1 ,ik .
La probabilité de la trajectoire inverse pour la chaı̂ne qui évolue à reculons selon les
probabilités Qi,j est la même, même si la chaı̂ne n’est pas réversible:
Dr
P[(Xk , . . . , X1 ) = (ik , . . . , i1 )] = πik Qik ,ik−1 · · · Qi2 ,i1
πi πi
= πik Pik−1 ,ik k−1 · · · Pi1 ,i2 1
πik
= πi1 Pi1 ,i2 · · · Pik−1 ,ik .
πi2
68
Probabilités d’état stationnaire via la chaı̂ne inverse
aft
Le théorème suivant est parfois utile pour trouver les probabilités d’état stationnaire dans le
cas où il est plus facile de travailler avec la chaı̂ne inverse, même dans le cas où la chaı̂ne
n’est pas réversible.
P
Théorème. Si un vecteur π = (π0 , π1 , π2 , . . . ) > 0 satisfait i πi = 1 et
πi Pi,j = πj Qj,i pour toute paire d’états (i, j), où les Qi,j satisfont 0 ≤ Qi,j ≤ 1 et
P
j∈X Qi,j = 1 pour tout i, alors les Qi,j sont nécessairement les probabilités de transi-
Dr
tion de la chaı̂ne inverse et les πi sont les probabilités d’état stationnaire de la chaine
et aussi de sa version inversée.
Preuve. Exercice.
69
Théorème. Une chaı̂ne pour laquelle Pi,j = 0 ssi Pj,i = 0 est réversible si et seulement
si pour tout chemin (cycle) qui part d’un état i et revient à i, disons (i, i1 , . . . , ik , i), la
probabilité du chemin inverse en utilisant les probabilités Pi,j est la même:
aft
Pi,i1 Pi1 ,i2 · · · Pik ,i = Pi,ik Pik ,ik−1 · · · Pi1 ,i .
Preuve. Si la chaı̂ne est réversible, on a Pj,i = Pi,j πi /πj et donc

πi πi πi
Pi,i1 Pi1 ,i2 · · · Pik ,i = Pi1 ,i 1 Pi2 ,i1 2 · · · Pi,ik = Pi,ik Pik ,ik−1 · · · Pi1 ,i .
πi πi1 πik
Inversement, si cette équation tient, alors pour toute paire (i, j), on a
Dr
Pi,i1 Pi1 ,i2 · · · Pik ,j Pj,i = Pi,j Pj,ik Pik ,ik−1 · · · Pi1 ,i .
En sommant sur toutes les trajectoires (i1 , . . . , ik ) possibles, on obtient
(k+1)
Pi,j Pj,i = Pi,j Pj,i
(k+1)
.
En prenant k → ∞ (avec k + 1 multiple de la période si la chaı̂ne est périodique), on a
πj Pj,i = πi Pi,j .
70
Exemple: marche aléatoire sur {0, 1, . . . , N}
q0 pN
aft
p0 p1 p2 p3 pN−2 pN−1
0 1 2 3 ··· N −1 N
q1 q2 q3 q4 qN−1 qN
On suppose que q0 < 1, pN < 1, et 0 < pi < 1 pour i = 1, . . . , N − 1. La chaı̂ne est alors
irréductible.
Dr
Pour chaque paire d’états adjacents (i, j) = (i, i + 1), on a
donc la chaı̂ne est réversible.

πi Pi,j = πi pi = πi+1 qi+1 = πj Pj,i ,
71
aft
Exemples.
Pour les deux chaines de la page 64, écrire P, puis calculer π et la matrice Q.
Dr
72
Marche aléatoire sur un graphe

On a un graphe G = (N , A) dont l’ensemble des sommets est N et l’ensemble A des arêtes
aft
est choisi de manière à ce que le graphe soit connexe (tous les sommets communiquent). Les
sommets sont les états de la chaı̂ne. Chaque arête (i, j) a un poids wi,j = wj,i > 0. Si l’arête
(i, j) n’existe pas, on pose wi,j = wj,i = 0. Exemple:
3 1
2 1 4
Dr 3
6
5
4
Ici on va trouver c = 32 et (π1 , . . . , π5 ) = (6/32, 3/32, 6/32, 5/32, 12/32).

73
Quand on est dans l’état i (au sommet i), on va à j avec probabilité
wi,j
Pi,j = P .
k∈X wi,k
aft
Cherchons des πi qui satisfont les équations d’équilibre détaillées πi Pi,j = πj Pj,i . On veut
πw πj wj,i
P i i,j = πi Pi,j = πj Pj,i = P .
k∈X wi,k k∈X wj,k
Mais puisque wi,j = wj,i , on en déduit que
π πj
P i =P =c
k∈X wi,k k∈X wj,k
πi = c
X
wi,k
k∈X
Dr
pour tout j, pour une constante c > 0. Cela donne
(proportionnel à la somme des poids des arêtes adjacentes)
et on trouve c en observant que 1 =

P
i∈X πi = c
P
i∈X
P
k∈X wi,k .
Le vecteur π résultant est réversible pour cette chaı̂ne et donc la chaı̂ne est réversible.
Cas particulier: si tous les wi,j valent 1, πi est proportionnel au degré du sommet i.
74
Exemple: un processus de renouvellement
Un système (par exemple une ampoule électrique) a une durée de vie aléatoire L (en jours)
pour laquelle pi = P[L = i] pour i = 1, 2, 3, . . . . Si le système meurt au jour n − 1, on le
aft
remplace par un nouveau, qui aura l’âge 1 au jour n.
On définit une chaı̂ne dont l’état Xn est l’âge du système au jour n.
Si Xn = i, la probabilité Pi,1 que le système meure ce jour là et soit remplacé par un neuf
pour le lendemain est
pi
Pi,1 = P[Xn+1 = 1 | Xn = i] = P[L = i | L ≥ i] = .
P[L ≥ i]
On a aussi Pi,i+1 = 1 − Pi,1 , la probabilité qu’il survive un jour de plus.
1
Dr
La chaı̂ne qui évolue à reculons a les probabilités de transition Qi,i−1 = 1 pour i > 1 et
Q1,j = pj pour tout j ≥ 1. On va l’utiliser pour trouver les πi .
1 − P1,1
P2,1
2
1 − P2,1
P3,1
3
1 − P3,1
P4,1
4
1 − P4,1
P5,1
5
75
Les probabilités d’état stationnaire πi sont les solutions (uniques) du système d’équations
πi Pi,j = πj Qj,i .
aft
Pour résoudre ce système, écrivons πi en fonction de π1 . En prenant j = 1 ci-haut, on a
π1 Q1,i pi
πi = = π1 = π1 P[L ≥ i].
Pi,1 pi /P[L ≥ i]
En sommant sur tous les i,

∞ ∞
Dr 1=
X
i=1
On doit donc avoir πi = P[L ≥ i]/E[L].

πi = π1
X
i=1
P[L ≥ i] = π1 E[L].
On vérifie facilement que ces πi avec les Qi,j proposés satisfont les équations d’équilibre
détaillées: πi Pi,j = πj Qj,i = πj Pj,i .
76
Markov Chain Monte Carlo (MCMC)
La notion de réversibilité est utile pour savoir comment construire une chaı̂ne artificielle dont
aft
la loi d’équilibre est un vecteur π fixé à l’avance, possiblement de dimension infinie, quand
on ne connait pas a priori de chaı̂ne qui a ce π. En fait, il suffit de connaitre π à un facteur
multiplicatif près. L’idée générale est de construire une chaı̂ne réversible pour π.
La méthode s’appelle méthode Monte Carlo par chaı̂ne de Markov, ou en anglais “Markov
Chain Monte Carlo (MCMC).”
On veut construire une chaı̂ne de Markov {Xn , n ≥ 0} irréductible et récurrente
positive et dont la loi d’équilibre est π. Comment?
P Dr
Souvent, on ne connait même pas π, mais on connait seulement un vecteur
h = (h0 , h1 , h2 , . . . ) tel que h = K π pour une constante de normalisation K que l’on ne
connait peut-être pas. On verra des exemples où cela se produit.
P
On sait que K = i∈X hi , car on doit avoir i∈X πi = 1, mais souvent cette somme est
trop difficile à calculer.
77
Algorithme de Metropolis-Hastings (MH), cas discret
On choisit d’abord une matrice Q dont les éléments qi,j sont les probabilités des transitions
aft
proposées. Cette matrice doit donner lieu à une chaı̂ne irréductible. On utilise ces qi,j comme
suit, pour construire une chaı̂ne {Xn , n ≥ 0} réversible par rapport à π.
Quand Xn = i, on choisit un prochain état proposé Y selon les probabilités
P[Y = j | Xn = i] = qi,j pour tout j ∈ X . Ensuite, on calcule le quotient de Hasting pour
cette paire (i, j):
hj qj,i πj qj,i
ri,j = = ,
hi qi,j πi qi,j
Dr
et on accepte la transition proposée avec probabilité ai,j = min(1, ri,j ) .
Si on accepte la transition, on va à j (Xn+1 = j), sinon on reste à i (Xn+1 = i).
Ces ai,j sont choisis pour rendre la fréquence des transitions i → j égale à celle des
transitions j → i, pour que la chaı̂ne soit réversible.
On verra différentes façons de choisir Q: échantillonnage indépendant, de Gibbs, etc.
78
Le théorème de Metropolis-Hastings, cas discret.
La chaı̂ne de Markov {Xn , n ≥ 0} construite par l’algorithme de MH est réversible par
aft
rapport au vecteur de probabilités π. Par conséquent, elle a π comme loi d’équilible
(probabilités d’état stationnaire).
Preuve. Il suffit de montrer que πi pi,j = πj pj,i pour toute paire (i, j).
Pour j = i, c’est trivial, car cela donne πi pi,i = πi pi,i .
On peut donc supposer pour la suite que j 6= i. On a pi,j = qi,j ai,j .
Si ai,j = ri,j < 1, alors rj,i = 1/ri,j > 1, donc aj,i = 1 et
Dr
πi pi,j = πi qi,j ai,j = πi qi,j ri,j = πi qi,j
Si ri,j > 1, il suffit d’échanger i et j dans l’argument.

πj qj,i
πi qi,j
= πj qj,i = πj qj,i aj,i = πj pj,i .
Si 0 < ri,j < 1 pour au moins une paire d’états (i, j) pour lesquels πi > 0 et πj > 0, alors la
chaı̂ne est apériodique.
79
D’où vient ce choix des ai,j ?
aft
Pour des qi,j donnés, on veut avoir
πi pi,j = πj pj,i
πi qi,j ai,j = πj qj,i aj,i
Il faut donc que

ai,j πj qj,i
= ri,j := ,
aj,i πi qi,j
Dr
avec 0 ≤ ai,j ≤ 1 pour tous i, j.
Idéalement, on veut aussi les ai,j les plus grands possibles, pour que la chaı̂ne bouge plus vite
(gaspiller moins de tentatives de transitions).
On va donc prendre le plus grand égal à 1, soit aj,i = 1 si ri,j ≤ 1 et ai,j = 1 si ri,j > 1.
Cela donne l’algorithme de MH.
80
Exemple: Loi uniforme sur les sommets d’un graphe
aft
2 1 4
3 5
Supposons qu’à chaque sommet i, on a qi,j = 1/n(i) où n(i) est le nombre de voisins: on
ri,j =
hj qj,i
hi qi,j
=
Dr
choisit un sommet adjacent au hasard selon la loi uniforme. Supposons que l’on vise une loi
stationnaire π uniforme sur tous les sommets: hi = 1/K pour tout i. Il suffit de prendre
πj qj,i
πi qi,j
=
n(i)
n(j)
; ai,j = 1 si
n(i)
n(j)
On peut aussi choisir les hi différemment! Les ri,j seront différents.

Rendu ici, 4 fév. 2020
≥ 1, ai,j =
n(i)
n(j)
sinon.
81
Exemple: Loi stationnaire uniforme sur un ensemble fini
Supposons que l’on veut construire un chaı̂ne dont la loi stationnaire π est uniforme sur un
grand ensemble fini N . On ne sait pas comment tirer au hasard des éléments de N selon la
aft
loi uniforme, et on ne connait pas (en général) la cardinalité de N .
On peut définir un graphe G = (N , A) dont l’ensemble des sommets est N et l’ensemble A
des arêtes est choisi de manière à ce que G soit connexe (tous les sommets communiquent).
Les sommets sont les états de la chaı̂ne. Pour chaque sommet i, soit n(i) > 0 le nombre de
sommets adjacents à i. Si on est à i, le prochain sommet proposé est j avec probabilité
qi,j = 1/n(i) pour tout j adjacent à i (loi uniforme).
Posons hi = 1 pour tout i ∈ X , ce qui donne ri,j = n(i)/n(j), et qui fait que les πi seront
Dr
tous égaux à 1/|N |. Quand la transition proposée est i → j, si n(i) ≥ n(j) on y va toujours,
sinon on y va avec probabilité n(i)/n(j). Cela assure la réversibilité.
La loi d’équilibre de la chaı̂ne est alors uniforme sur N . Si la chaı̂ne est aussi apériodique
(facile à obtenir), la loi de Xn converge vers la loi uniforme sur N quand n → ∞.
Ceci a de nombreuses d’applications!
82
Exemple: Une permutation au hasard parmi celles qui satisfont une propriété
On considère l’ensemble P des k! permutations σ = (σ1 , . . . , σk ) des entiers {1, 2, . . . , k}, et
un sous-ensemble X ⊂ P de permutations qui satisfont une certaine condition.
aft
Par exemple, X pourrait être l’ensemble des permutations σ pour lesquelles ki=1 iσi > c
P
pour une certaine constante c. Ce sont les permutations pour lesquelles les plus petits
éléments se retrouvent plutôt au début et les plus grands plutôt vers la fin.
On veut construire une chaı̂ne dont la loi stationnaire est uniforme sur l’ensemble X des
permutations qui satisfont la condition. L’idée est de construire un graphe dont les sommets
sont les permutations dans X et il y a une arête entre deux permutations (elles sont
adjacentes) ssi on peut passer de l’une à l’autre par une opération simple.
Dr
Exemple de définition d’opération simple: un échange de deux éléments arbitraires.
Dans ce cas, (1, 2, 3, 4) serait adjacent à (1, 4, 3, 2), mais pas à (2, 3, 1, 4), par exemple.
Ou encore, un échange de deux éléments successifs. Dans ce cas, (1, 2, 3, 4) serait adjacent à
(1, 3, 2, 4), mais pas à (1, 4, 3, 2).
Le choix de la définition d’opération admissible définit l’ensemble des arêtes du graphe.
Une fois cette définition choisie, on applique la méthode de la diapo précédente.
83
σ0
Si l’état courant est i = σ, l’état proposé sera j = avec probabilité qi,j = 1/|n(i)| pour
chacune des n(i) permutations j = σ 0 ∈ X adjacentes à i.
aft
Pour chaque permutation i = σ, n(i) est le nombre de paires que l’on peut échanger tout en
restant dans X . On utilise ces n(i) pour calculer les ri,j = n(i)/n(j) et les
ai,j = min(n(i)/n(j), 1) dans l’algorithme. La loi stationnaire sera alors uniforme sur X .
Si on peut échanger des paires arbitraires, il y a en tout k(k − 1)/2 possibilités.
Si on ne peut échanger que deux éléments successifs, il y a k − 1 possibilités.
Dans chaque cas, n(i) est le nombre de ces possibilités qui nous font rester dans X .
Pour tirer au hasard uniformément une permutation j = σ 0 uniformément parmi les n(i)
Dr
permutations de X adjacentes à i = σ, une manière simple est la suivante. On tire au hasard
une paire à échanger (parmi celles qui sont admissibles), on échange les deux éléments à ces
deux positions, puis on vérifie si la permutation modifiée est dans X . Si oui, c’est le nouvel
état proposé, sinon on recommence en tirant deux nouvelles positions à échanger.
Pour décider si on accepte le changement proposé, il faut aussi calculer n(i) et n(j).
Ceci peut demander une quantité de travail non négligeable.
84
Exemple: Le modèle “hardcore”
On a un graphe avec sommets et arêtes fixés, pour lequel chaque sommet peut être mis en
noir ou blanc (1 ou 0), mais sans que deux sommets adjacents (reliés par une arête) soient
aft
tous les deux noirs. Une configuration donne une valeur 0 ou 1 à chaque sommet, et elle est
réalisable si elle satisfait la condition qu’il n’y a pas deux sommets adjacents qui sont noirs.
On veut tirer au hasard une configuration réalisable, selon la loi uniforme.
On pourrait par exemple vouloir estimer le nombre espéré de sommets noirs.
Dr Comment peut-on faire cela?
Directement, ce n’est pas facile. En général, on ne sait même pas combien il y a de

configurations réalisables, et leur nombre est souvent astronomique!
Ex.: modélise le comportement d’un gaz dont les particules occupent un espace important.
85
aft
Idée: On peut construire (ou imaginer) un “méta-graphe” dont les sommets sont les
configurations réalisables et il y a une arête entre deux configurations ssi on peut passer de
l’une à l’autre en changeant l’état d’un seul sommet. On applique ensuite MCMC avec une
chaı̂ne dont l’espace d’états est l’ensemble des configurations réalisables, i.e., les sommets de
ce méta-graphe, et les transitions admissibles correspondent les arêtes du méta-graphe.
Pour choisir une transition admissible, on peut choisir au hasard un sommet du graphe initial,
puis changer sa valeur (0 ou 1) avec probabilité 1/2 si cela est admissible, sinon on reste
dans le même état. À chaque étape, la valeur d’un seul sommet peut changer.
Dr
Si la chaı̂ne est irréductible, on est assuré que la loi stationnaire de cette chaı̂ne est la loi
uniforme sur l’ensemble des configurations réalisables.
86
aft
On peut vérifier directement ici que la chaı̂ne obtenue est réversible pour π.
En effet, si i et j sont deux configurations réalisables, on doit avoir πi = πj = 1/K où K est
Dr
le nombre de configurations réalisables. Si la transition i → j est possible, c’est qu’elles ne
diffèrent que par un sommet v , et que tous les sommets adjacents à v sont à 0. Dans ce cas,
la probabilité Pi,j de passer à j quand on est à i est la probabilité de choisir v , puis de
changer sa valeur. C’est (1/2)(1/d) où d est le nombre de sommets du graphe de base. La
probabilité Pj,i est la même. On a donc πi Pi,j = 1/(2dK ) = πj Pj,i .
De plus, on a toujours ri,j = rj,i = 1.
87
aft
Une variante: coloration de graphe.
On choisit q ≥ 2 couleurs et on veut choisir au hasard un q-coloriage du graphe, c’est à dire
une façon de donner une couleur à chaque sommet de manière à ce qu’aucune paire de
sommets adjacents soient de la même couleur, selon la loi uniforme sur les q-coloriages
réalisables.
MCMC: à chaque étape, on choisit un sommet au hasard, puis on choisit au hasard une
Dr
couleur parmi celles qui ne sont pas prises par les voisins.
Ici, on aura aussi toujours ri,j = rj,i = 1.
88
Échantillonnage indépendant
Une façon simple (dégénérée) de choisir Q est de prendre une matrice dont toutes les lignes
aft
sont identiques, disons qi,j = gj pour tout i. Les probabilités qi,j des transitions proposées ne
dépendent alors pas de i. Le nouvel état proposé suit toujours la même loi de probabilité,
peu importe l’état i dans lequel on se trouve. On appelle cela l’échantillonnage indépendant.
Si gj > 0 pour tous les états j tels que πj > 0, alors cette méthode satisfait les conditions du
théorème de MH.
Bien sûr, le choix des gj peut avoir beaucoup d’impact sur la performance de l’algorithme.
Par exemple, si l’objectif est de tirer un échantillon (approximativement) selon π, alors on
Dr
peut montrer que les gj optimaux sont les πj , donc on voudra que les gj soient à peu près
proportionnels aux πj . Mais si on sait faire cela, pas besoin de MCMC!
Dans lePcas où l’objectif est plutôt d’estimer une espérance par rapport aux probabilités πi ,
disons i∈X cj πi , alors on peut prouver via la théorie de l’échantillonnage stratégique
(“importance sampling”) que les gj optimaux sont proportionnels à cj πj .
89
L’échantillonnage de Gibbs
Il s’agit d’une manière très populaire de construire Q pour MCMC dans le cas où l’état de la
chaı̂ne est un vecteur à d dimensions: les éléments de X ont la forme X = (X1 , . . . , Xd ).
aft
L’objectif est de construire une chaı̂ne dont la loi stationnaire est π sur l’espace d’états X ,
pour un π qui a les propriétés suivantes.
On ne sait pas comment échantillonner X directement selon π, mais on suppose que si on
fixe d − 1 coordonnées de X, disons toutes les coordonnées sauf X` , et on définit X(−`)
comme le vecteur X duquel on a effacé la coordonnée `, alors on sait comment
(ré-)échantillonner X` selon la loi π conditionnelle à X(−`) .
Quand on est dans l’état X, le prochain état proposé est obtenu comme suit.
Dr
Échantillonnage de Gibbs par balayage systématique.
Pour ` = 1, . . . , d, faire:
effacer et ré-échantillonner X` selon sa loi conditionnelle à X(−`) ,
et remplacer l’ancien X` par le nouveau.
Soit Y le nouvel état ainsi proposé.
On va voir que ce Y est toujours accepté!
90
Variante: échantillonnage par balayage aléatoire.
Au lieu de ré-échantillonner les coordonnées X` toujours dans le même ordre, de 1 à d, on
peut les ré-échantillonner dans un ordre aléatoire. On tire d’abord au hasard une permutation
aft
de {1, . . . , d}, puis on ré-échantillonne les X` dans l’ordre correspondant.
Variante: une seule coordonnée à la fois.

Selon cette variante, on choisit une seule coordonnée ` au hasard (uniformément) et on
ré-échantillonne seulement cette coordonnée X` , à chaque étape de l’algorithme de MH.
Dans ce cas, Y est X avec cette seule coordonnée modifiée.
Dr
On va montrer que pour toutes ces variantes, l’état proposé Y est toujours accepté!
Il est essentiel pour la convergence de l’algorithme vers la bonne loi de probabilité π que
toutes les coordonnées soient échantillonnées infiniment souvent, à long terme. En
particulier, si l’une des coordonnées n’est jamais ré-échantillonnée, et si plus d’une seule
valeur de cette coordonnée a une probabilité positive sous π, alors on ne pourra jamais avoir
la bonne loi stationnaire.
91
Théorème. Dans l’échantillonnage de Gibbs, le nouvel état Y proposé est toujours
aft
accepté.
Preuve. Considérons d’abord le cas (plus simple) où on ré-échantillonne une seule
coordonnée X` conditionnnellement à X(−`) = z. Notons i = (z, x` ) la réalisation de
(X(−`) , X` ), X`0 la nouvelle valeur proposée pour X` , et j = (z, x`0 ) la réalisation de
(X(−`) , X`0 ). (Ici on fait un abus de notation en mettant la coordonnée ` à la fin.)
Soit g` (·) la loi marginale (inconnue) de X(−`) sous π, g` (z) = P[X(−`) = z], et
q` (x | z) = P[X` = x | X(−`) = z].
ri,j = Dr
On a πi = g` (z)q` (x` | z) et πj = g` (z)q` (x`0 | z), puis qi,j = q` (x`0 | z) et qj,i = q` (x` | z).
Cela donne
hj qj,i
hi qi,j
=
πj qj,i
πi qi,j
=
g` (z)q` (x`0 | z)q` (x` | z)
g` (z)q` (x` | z)q` (x`0 | z)
= 1.
92
Exemple: Deux binomiales dont la somme dépasse c
On veut une chaı̂ne dont l’état X = (X1 , X2 ) est un vecteur de deux v.a. binomiales
indépendantes, X` ∼ Binomiale(n` , p` ) pour ` = 1, 2, mais dont la loi stationnaire π est la
aft
loi conditionnelle à X1 + X2 ≥ c, pour une constante c < n1 + n2 .
Note: Même si n1 < c, si on génère d’abord X1 ∼ Binomiale(n1 , p1 ), puis ensuite X2 selon
sa loi conditionnelle X2 ≥ c − X1 , on n’a pas la loi π pour (X1 , X2 ).
Gibbs: On part d’un état quelconque X0 ∈ X , par exemple X0 = (n1 , n2 ), ou encore on

génère X0 comme dans la note précédente.
Puis à chaque étape on ré-échantillonne d’abord X1 ∼ Binomiale(n1 , p1 ) conditionnellement
Dr
à X1 ≥ c − X2 , et ensuite X2 ∼ Binomiale(n2 , p2 ) conditionnellement à X2 ≥ c − X1 .
Autrement dit, on pose P[X1 = x1 ] = 0 pour x1 < c − X2 , et sinon

P[X1 = x1 | X2 ] = p1,x1 
n1
X
i=c−X2
−1
p1,i  où p1,i =

n1 i
i
p1 (1 − p1 )1−i .
C’est le prochain état. Quelle est la loi stationnaire de Xn = (X1,n , X2,n )?

93
aft
Un vecteur de binomiales dont la somme dépasse c
On veut une chaı̂ne dont l’état X = (X1 , . . . , Xd ) est un vecteur de d v.a. binomiales
indépendantes, X` ∼ Binomiale(n` , p` ), mais dont la loi stationnaire π est la loi
conditionnelle à X ∈ X = {X : X1 + · · · + Xd ≥ c}, pour une constante c < n1 + · · · + nd .
Gibbs: On part d’un état quelconque X0 ∈ X , puis à chaque étape on ré-échantillonne une
coordonnée X` de X selon sa loi binomiale
conditionnellement à ce que X demeure dans X .
Si m` = max 0, c − dj=1,j6=` Xj , alors on doit avoir X` ≥ m` . Donc on va
P
Dr
ré-échantillonner X` selon la loi Binomiale(n` , p` ) conditionnelle à X` ≥ m` .
On verra plus tard comment faire cela efficacement.
94
Modèle de Ising sur un graphe
On a un graphe G = (V, A), où V = {1, . . . , d}. Chaque sommet v a deux états possibles:
xv = −1 ou xv = 1. Une configuration du graphe est un vecteur i = x = (x1 , . . . , xd ) où
aft
chaque xv ∈ {−1, 1}. Pour chaque sommet v ∈ V, soit N (v ) l’ensemble les sommets
adjacents à v . Le Hamiltonien d’une configuration x est
d
X X
H(x) = − xv x` .
v =1 `∈N (v )
C’est une mesure d’énergie du système. On suppose que X suit une loi de Boltzmann:
P[X = x] ∝ h(x) = exp[−βH(x)] pour une constante β > 0.
Dr
Notez que −H(x)/2 est le nombre de paires de sommets adjacents (xv , x` ) qui ont la même
valeur (xv x` = 1) moins le nombre qui ont une valeur différente (xv x` = −1).
Cette loi favorise les configurations qui ont davantage de sommets adjacents identiques: plus
il y en a, plus grand est h(x). La chaleur fait que le système n’est pas toujours dans une
configuration à énergie minimale; sa configuration est aléatoire.
L’objectif est de construire une chaı̂ne qui a cette loi stationnaire.
95
Généralisations et applications. Ce modèle se généralise en prenant par exemple:
d d
aft
X X X
H(x) = − γv ,` xv x` − αv x v
v =1 `∈N (v ) v =1
où les γv ,` et les αv sont des constantes quelconques. La seconde somme peut représenter un
effet extérieur, dont la direction dépend du signe des coefficients αv .
Ce type de modèle a de très nombreuses applications et beaucoup d’histoire.

Voir https://en.wikipedia.org/wiki/Ising_model.
Dr
Par exemple, le graphe peut représenter un réseau de neuronnes, où chaque neuronne est
actif (+1) ou inactif (−1). Le probabilité qu’un neuronne devienne actif peut dépendre de
l’état des neuronnes avoisinants.
Le modèle fut introduit initialement par Lenz (1920) et Ising (1924) pour représenter le
phénomène de ferromagnétisme dans une “grille” d’atomes ayant chacun une orientation de
“spin” de +1 ou −1, en mécanique statistique. Second terme: champ magnétique externe.
96
Un graphe en grille (“lattice graph”) peut représenter par exemple une image où chaque pixel
(sommet du graphe) est noir ou blanc. Chaque sommet a au plus 4 sommets adjacents.
aft
En général, deux pixels adjacents sur une image sont plus souvent identiques que différents.
Ainsi la loi de Boltzmann peut servir de loi a priori dans une analyse Bayesienne pour
reconstruire une image un peu bruitée.
10
v
11
01
Dr 00
000 001 011 010 110 111
On peut construire de telles grilles aussi en 3D (par exemple pour les modèles de
ferromagnétisme) ou plus.
97
Dans cet exemple, Gibbs remet en jeu la valeur d’un sommet à la fois. Si on efface xv , on
def
doit connaitre p = P[Xv = 1 | X(−v ) ], pour ré-échantillonner xv conditionnellement aux
valeurs de tous les autres sommets. Pour cela, décomposons −βH(x) = k(v ) + xv s(v ) où
aft
d
X X X
k(v ) = β xw x` s(v ) = 2β x` .
w =1, w 6=v `∈N (w )\{v } `∈N (v )
Ces deux termes k(v ) et s(v ) ne dépendent pas de xv . Le terme s(v ) est le facteur qui
multiplie xv dans la définition de −βH(x). Le terme k(v ) n’interagit pas avec xv .
On veut avoir
p=
Dr
p = P[Xv = 1 | X(−v ) ] ∝ exp[k(v ) + 1 · s(v )] = exp[k(v ) + s(v )]
1 − p = P[Xv = −1 | X(−v ) ] ∝ exp[k(v ) − 1 · s(v )] = exp[k(v ) − s(v )].
En normalisant, cela donne

exp[k(v ) + s(v )]
exp[k(v ) + s(v )] + exp[k(v ) − s(v )]
=
exp[s(v )]
exp[s(v )] + exp[−s(v )]
.
et
98
exp[s(v )]
aft
p= .
exp[s(v )] + exp[−s(v )]
Il suffit donc de calculer s(v ) (facile) pour trouver la probabilité de transition p.

De plus, en pratique s(v ) ne peut prendre qu’un nombre limité de valeurs, et on peut
facilement précalculer et mémoriser le p qui correspond à chacune de ces valeurs.
Par exemple, si chaque N (v ) est un entier de 1 à k (le nombre de noeuds adjacents ne
dépasse jamais k), alors toutes les valeurs possibles pour s(v )/(2β) sont dans
Dr
{−k, −k + 1, . . . , k}, et on peut précalculer p pour ces 2k + 1 valeurs.
Pour le graphe en grille, les sommets qui ne sont pas à la frontière ont N (v ) = k = 4, et
s(v )/(2β) ne peut prendre que les valeurs suivantes: −4, −2, 0, 2, 4. On peut facilement
précalculer p pour chacune de ces 5 valeurs possibles.
99
Chaı̂ne de Markov sur un espace d’états continu
aft
On a supposé jusqu’à maintenant que l’espace détats X était dénombrable. Mais dans les
applications, il est souvent continu, habituellement dans Rd . Dans ce cas, les probabilités de
transition Pi,j sont remplacées par des densités conditionnelles.
On note p(x, y) la densité conditionnelle de Y = Xn+1 au point y ∈ X , sachant que

Xn = x ∈ X . Pour X ⊆ Rd , on suppose que la densité est par rapport à la mesure de
Lebesgue.
Dr
La notion d’état récurrent n’a plus de sens ici, car chaque état y a la probabilité 0. On doit
développer une notion plus générale de récurrence (e.g., la récurrence au sens de Harris), qui
correspond au retour infiniment souvent dans une région A de mesure positive (par exemple,
le voisinage d’un point x0 ). L’étude de ceci dépasse le niveau de ce cours.
100
La loi stationnaire (ou loi d’équilibre) sera (sous certaines conditions) une loi continue de
densité π sur X , qui satisfait aux équations d’équilibre
aft
Z
π(y) = π(x)p(x, y)dx.
x∈X
Sous certaines conditions, pour g : X → R mesurable,

n Z
1X
lim g (Xk ) = g (x)π(x)dx.
n→∞ n x∈X
k=1
Dr
En particulier, pour tout A ⊂ X mesurable, en prenant g (x) = I[x ∈ A],
lim
n→∞ n
1X
n
I[Xk ∈ A] =
k=1
Z
x∈A
π(x)dx.
101
La chaı̂ne est reversible pour une densité de probabilité π si celle-ci satisfait les équations
d’équilibre détaillées: pour presque toute paire (x, y) ∈ X 2 , on a
aft
π(y)p(y, x) = π(x)p(x, y).
Dans ce cas, π est nécessairement la densité de la loi stationnaire.
Dans l’algorithme de Métropolis Hastings, les probabilités qi,j deviennent des densités de
transition conditionnelles q(x, y), le quotient de Hastings devient
h(y)q(y, x) π(y)q(y, x)
Dr r (x, y) =
et la probabilité d’accepter y est

h(x)q(x, y)
=
π(x)q(x, y)
a(x, y) = min(1, r (x, y)).

,
102
Exemple: Points au hasard sur un cercle, pas trop rapprochés
On veut construire une chaı̂ne dont l’état X = (X1 , . . . , Xd ) représente la position de d
aft
points répartis au hasard sur un cercle de rayon 1, en radians (de 0 à 2π). L’espace d’états
est continu.
On veut que π soit la loi de d points X` indépendants qui suivent la loi uniforme sur (0, 2π),
conditionnellement à ce que la distance minimale entre deux points soit d’au moins δ, pour
une constante δ > 0.
Gibbs: à chaque étape, on choisit l’un des d points et on l’enlève, puis on en génère un
nouveau selon la loi uniforme sur la portion du cercle où on est à une distance d’au moins δ
de tous les autres points. (Au tableau...)
Dr
Une façon simple de faire cela est de générer un point uniformément sur (0, 2π) et de vérifier
s’il satisfait la condition; si oui c’est le nouveau point, sinon on recommence. Une autre façon
est de générer directement le point uniformément sur la portion admissible, dont la longueur
est 2π − 2(d − 1)δ (on doit enlever un intervalle de longueur 2δ centré à chaque point).
La première approche peut être ok si (d − 1)δ/π est proche de 0 mais pas s’il est proche de 1.
103
Exemple: Échantillonnage selon une loi multinormale tronquée
Supposons que l’on veut échantillonner X ∈ Rd selon une loi multinormale Normale(µ, Σ)
aft
tronquée à un ensemble convexe A ⊂ Rd .
Si P[X ∈ A] n’est pas trop proche de 0, on peut générer des réalisations de X | X ∈ A par
une méthode de rejet: On génère X selon sa loi normale non conditionnelle (avec densité
positive partout dans Rd ) jusqu’à ce qu’on trouve un X qui est dans A, et on conserve ce X .
Mais si P[X ∈ A] est très petit, cela peut être beaucoup trop long!
Une alternative est de construire une chaı̂ne de Markov dont la loi stationnaire est la loi
conditionnelle voulue, via l’échantillonnage de Gibbs. On part d’un point arbitraire x0 ∈ A,
Dr
et à chaque étape on ré-échantillonne une ou plusieurs coordonnées.
Ici, la loi de Xj conditionnelle à X(−j) fixé est une loi normale univariée dont la moyenne et la
variance dépendent de j et X(−j) . Et lorsque A est convexe, la condition X ∈ A se traduit
par Xj ∈ I(X(−j) ) où I(X(−j) ) est un intervalle. Il suffit de générer Xj selon sa loi normale
tronquée à cet intervalle.
104
Par exemple, supposons que d = 2, que X1 ∼ Normale(µ1 , σ12 ), X2 ∼ Normale(µ2 , σ22 ),
aft
Cov(X1 , X2 ) = σ1,2 , et que A = [a1 , ∞) × [a2 , ∞) pour a1 µ1 + σ1 et a2 µ2 + σ2 .
Alors, si on génère X = (X1 , X2 ) selon sa loi binormale non tronquée, {X ∈ A} sera un
événement rare.
Dans ce cas, on peut démarrer une chaı̂ne de Markov disons au point x0 = (a1 , a2 ), puis on
ré-échantillonne chaque coordonnée, tour à tour, conditionnellement à la valeur de l’autre
coordonnée et à ce que le point demeure dans A.
Sachant que la première coordonnée est X1 = x1 ≥ a1 , la loi conditionnelle de X2 est normale
de moyenne µ2 + (σ1,2 /σ12 )(x1 − µ1 ) et variance σ22 − σ1,22 /σ 2 . On peut donc
Dr 1
ré-échantillonner X2 selon cette loi, conditionnelle aussi à X2 ≥ a2 .
Pour ré-échantillonner X1 conditionnellement à X2 = x2 et (X1 , X2 ) ∈ A, on fait de même en
échangeant les indices 1 et 2. Chaque loi conditionnelle est une loi normale tronquée. La loi
stationnaire de cette chaı̂ne sera la loi voulue.
105
MH via une marche aléatoire dans Rd
Supposons que l’on veut construire une chaı̂ne dont la loi d’équilibre a la densité π sur
A ⊆ Rd , via MH. On peut générer le déplacement proposé, à chaque étape, en générant une
aft
direction aléatoire selon la loi uniforme (un point sur une sphère en d dimensions), puis une
distance aléatoire selon une loi qui ne dépend pas de la direction. Cela donne un vecteur
aléatoire ∆ ∈ Rd . Le nouvel état proposé est y = x + ∆.
Puisque la densité de −∆ est la même que celle de ∆ par symmétrie, on a toujours
q(x, y) = q(y, x), et donc r (x, y) = h(y)/h(x).
Si A ⊆ Rd est le support de π, i.e., h(x) > 0 ssi x ∈ A, alors l’état proposé y sera rejeté ssi
y 6∈ A. Ainsi, la chaı̂ne ne va jamais quitter A. Densité uniforme sur A: h(x) = I(x ∈ A).
Dr
Choix simple et populaire: ∆ = σZ où Z ∼ Normale(0, I) et σ > 0 est une constante.
Si on prend ∆ = ∆(x) = (σ 2 /2)∇ ln h(x) + σZ, on obtient l’algorithme MH de Langevin.
Cette méthode ajoute un terme de dérive (proportionnel au gradient de ln h(x)) qui pousse la
chaı̂ne dans la direction où la densité h augmente le plus vite. Dans ce cas-ci, la loi de ∆
dépend de l’état courant x, et on n’a pas q(x, y) = q(y, x).
106
L’échantillonnage “Hit-and-run”
On veut échantillonner (approximativement) selon une densité π positive sur un ensemble
aft
A ⊆ Rd , et nulle ailleurs. On sait que π est proportionnelle à un h que l’on connait. On
démarre la chaı̂ne d’un point arbitraire x0 ∈ A.
À chaque étape n de la chaı̂ne , on génère d’abord une direction aléatoire D dans Rd , par
exemple en générant un point au hasard sur une sphère de rayon 1 centrée à 0, en d
dimensions. Ensuite on génère une distance aléatoire proposée L selon une densité “valide”
gn sur R (en une dimension). La densité gn de la distance proposée peut dépendre de n, de
Xn = x, et de D. Le nouveau point proposé est Y = x + LD. Mais la densité gj choisie doit
Dr
être telle que le quotient de Hasting,
r (x, Y) =
h(Y)q(Y, x)
h(x)q(x, Y)
,
est bien défini (pas de division par 0), et que la chaı̂ne ne sorte jamais de A et soit
irréductible sur tout A.
107
Hit-and-run
aft
Quand A est borné, on peut choisir gj comme la densité uniforme sur L ∩ A, où L est la
droite passant par x en direction D. Si π est uniforme sur A, avec ce choix de gj , toutes les
transitions proposées sont acceptées. Ce cas particulier correspond à la formulation originale
du “hit-and-run.”
Le Hit-and-run est l’une des méthodes les plus efficaces pour échantillonner uniformément
dans un ensemble A compliqué, si on sait comment échantillonner efficacement sur
l’intersection d’une droite avec A. À partir de n’importe quel X = x, la méthode peut
atteindre n’importe quel point de A en une seule étape. Cela suggère que la dépendence
Dr
entre les états successifs n’est pas très forte.
Lovász (1999) a montré que le hit-and-run donne une bonne approximation de la loi uniforme
sur un ensemble convexe A (avec erreur inférieure à ) en temps polynomial en 1/. Ce n’est
pas le cas pour l’échantillonnage de Gibbs.

Chaines Markov

Transféré par

Droits d'auteur :

Formats disponibles

Chaines Markov

Transféré par

Informations du document

Description originale:

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chaines Markov

Transféré par

Droits d'auteur :

Formats disponibles

1

IFT-3655, Modèles Stochastiques

Prof. Pierre L’Ecuyer

Ce processus est une chaı̂ne de Markov homogène si

P[Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ] = P[Xn+1 = j | Xn = i] = Pi,j .

Les Pi,j sont les probabilités de transition de la chaı̂ne .

Ils sont les éléments de la matrice de transition

Dr P1,0 P1,1 P1,2 · · ·

Exemple. Marche aléatoire sur les entiers:

Dr Pi,i+1 = p = 1 − Pi,i−1 , pour i ∈ Z.

Modèle de parieur: Comme ci-haut mais P0,0 = PN,N = 1 pour un N > 0.

Il y a différentes façons d’utiliser ce modèle. Idéalement, on voudrait pouvoir “apprendre” λc

Dr P(n+m) = P(n) · P(m) .

En particulier, P(2) = P · P, et par induction sur n, on a P(n) = P(n−1) · P = Pn .

Que se passe-t-il avec Pn quand n → ∞? On a

Exemple 4.11 du livre: Encore le problème du collectionneur de capsules.

Pi,i = i/k = 1 − Pi,i+1 pour i < k, et Pi,j = 0 ailleurs.

On peut facilement construire P puis calculer ses puissances.

Qi,j = Pi,j pour i, j 6∈ A; Qi,∆ =

On obtient β = P[N ≤ m | X0 = i] = P[Wm = ∆ | W0 = i] = Qi,∆ .

Exemple: On tire à pile ou face et on s’intéresse à la loi de probabilité de N, le nombre de

1/2 1/2 1/4 1

Rendu ici, 23 janv. 2020

Proposition. Si i est récurrent et i ↔ j, alors fi,j = 1.

Soit j un état récurrent et X0 = j. Le temps de premier retour à j est

Le temps de récurrence moyen est

On dit que j est récurrent positif si mj < ∞ et récurrent nul si mj = ∞.

Quand mj = ∞, on pose πj = 0. Ainsi, l’état j est récurrent positif ssi πj > 0.

Sous forme matricielle: πP = π et π1t = 1, où π = (π0 , π1 , . . . ).

Exemple. Dans l’exemple de “pluie” vs “non pluie”, on a

Les équations πP = π et π1t = 1 deviennent:

Pour α = 0.7 et β = 0.4, cela donne π0 = P[pluie] = 4/7 = .571 et π1 = 3/7.

π0 = 0.45π0 + 0.05π1 + 0.01π2

Dr π2 = 0.07π0 + 0.25π1 + 0.49π2

La solution est (à interpréter):

π0 = 0.07, π1 = 0.62, π2 = 0.31.

Cette chaı̂ne est irréductible et récurrente positive.

P2 (A) = p + r /2 = (p0 + r0 /2)2 + (p0 + r0 /2)(q0 + r0 /2) = p0 + r0 /2.

Pour un individu quelconque, soit Xn le type de paire de gènes de son descendant de

et la proportion des transitions où il est défaillant est 1 − pf =

À quelle fréquence en moyenne le système tombe-t-il en panne?

car la probabilité qu’une transition se fasse de i à j est πi Pi,j .

π(i1 , . . . , ik ) = πi1 Pi1 ,i2 · · · Pik−1 ,ik .

N(i1 , . . . , ik ) = min{n ≥ k : Xn−k+1 = i1 , . . . , Xn = ik }.

Note: ici, n ≥ k, donc l’état X0 ne compte pas dans la suite même si X0 = r = i1 .

(b) On peut calculer E[Xn | X0 = i] via une récurrence. On a

Donc E[Xn | Xn−1 ] = Xn−1 q + λ. En prenant l’espérance: E[Xn ] = E[Xn−1 ]q + λ.

E[Xn ] = λ + qE[Xn−1 ] = λ + q(λ + qE[Xn−2 ]) = · · ·

πi = e −λ/p (λ/p)i /i!

X0 ∼ Poisson(α) que quand on suppose que X0 = i.

En prenant pour α1 , . . . , αr la solution des équations

Exemples. Modèle d’inventaire, page 26. Aussi l’exemple précédent.

Exemple. On a 5 états, {0, 1, 2, 3, 4}. De 0 on peut aller à 1 ou 4. Des autres états i, on

Fréquence de visite à long terme:

Probabilités d’état stationnaire (ou d’équilibre): c’est un vecteur π de probabilités qui

Si on part à i, quelle est la probabilité Pi d’atteindre N avant d’atteindre 0?

Sachant que P0 = 0, on obtient

Comme on sait que PN = 1, on peut trouver P1 :