Cadenas de Markov

en Tiempo Discreto

Fabián Mancilla

U. de Santiago de Chile
[email protected]

Fabián Mancilla (Usach) Modelos Estocásticos 1 / 32

Cadenas de Markov
En esta unidad consideraremos procesos estocásticos de tiempo y estados
discretos. Es decir, procesos del tipo {Xn ; n ∈ N} donde Xn corresponden a
variables aleatorias discretas.
Un ejemplo de este tipo de proceso es el lanzamiento de una moneda repetidas
veces; Xk representa el resultado de la moneda en el k-ésimo lanzamiento, en
donde el espacio muestral es ΩXk = {cara, sello} = {0, 1}.

Propiedad markoviana
Se dice que el proceso {Xn ; n ∈ N} cumple con la propiedad markoviana de
primer orden si

P (Xn+1 = j/Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) = pij

donde pij = P (Xn+1 = j/Xn = i) se denomina probabilidad de transición en una

etapa.

Esta propiedad describe la falta de memoria de un proceso.

Fabián Mancilla (Usach) Modelos Estocásticos 2 / 32

Cadenas de Markov

Propiedad de estacionariedad
El proceso {Xn ; n ∈ N} cumple con la propiedad de estacionariedad si la
probabilidad de transición en una etapa pij = P (Xn+1 = j/Xn = i) depende sólo
de i y de j, pero no de n.

Esta propiedad indica que el tiempo n no influye en la probabilidad de transición,

por tanto se puede tener que

P (Xn+1 = j/Xn = i) = P (X1 = j/X0 = i),

en donde X0 indica el estado inicial del proceso.

Un proceso estocástico {Xn ; n ∈ N} que cumple con la propiedad markoviana y
de estacionariedad se denomina Cadena de Markov homogénea.

Fabián Mancilla (Usach) Modelos Estocásticos 3 / 32

Matriz de transición
Se acostumbra a presentar las probabilidades de transición como las componentes
de una matriz P de n × n, en donde n corresponde al número de estados que
puede tomar la cadena.
Ejemplo: Consideremos nuevamente el lanzamiento de una moneda honesta que
se lanza varias veces al aire.
Sea Xk el resultado del lanzamiento de la moneda en el k-ésimo lanzamiento.
Sabemos que ΩXk = {cara, sello}, además #ΩXk = 2, por lo tanto la matriz de
transición (en una etapa) es:

cara sello
 
cara p11 p12
! 1/2 1/2

P = = 
sello p21 p22 1/2 1/2

Este tipo de matrices se Pdenominan matrices estocásticas debido a que, para

cualquier fila i, se tiene j pij = 1.

Fabián Mancilla (Usach) Modelos Estocásticos 4 / 32

Diagrama de Transición

Es posible representar gráficamente una cadena de Markov mediante una grafo

dirigido, en el cual cada estado es representado por un nodo y cada probabilidad
de transición pij > 0 es representada por un arco entre los nodos i y j.
En el ejemplo del lanzamiento de la moneda el diagrama de transición es el
siguiente:

1
2
1 cara sello
1
2 2
1
2

¿Este proceso corresponde a una cadena de Markov?

Fabián Mancilla (Usach) Modelos Estocásticos 5 / 32

Probabilidad de Transición de n-etapas
Probabilidad de Transición de n-etapas
Se denota por pij (n) la probabilidad que la cadena pase del estado i al estado j
después de n etapas. Es decir, si {Xn ; n ∈ N} es una cadena de Markov entonces:

pij (n) = P (Xm+n = j/Xm = i)

Ejemplo: Consideremos la probabilidad de transición de dos etapas pij (2)

definida como pij (2) = P (Xm+2 = j/Xm = i). Si asumimos m = 0, entonces
X
pij (2) = P (X2 = j/X0 = i) = P (X2 = j, X1 = k/X0 = i)
k
X
= P (X2 = j/X1 = k, X0 = i)P (X1 = k/X0 = i)
k
X
= P (X2 = j/X1 = k)P (X1 = k/X0 = i)
k
X
= pik pkj
k

Fabián Mancilla (Usach) Modelos Estocásticos 6 / 32

Ecuaciones de Chapman-Kolmogorov

El siguiente resultado establece una clase de ecuaciones las cuales entregan una
generalización del resultado del ejemplo anterior.

Ecuaciones de Chapman-Kolmogorov
X
Para todo 0 < r < n se tiene pij (n) = pik (r)pkj (n − r).
k

Esta proposición establece que la probabilidad de ir desde el estado i hasta el

estado j al finalizar n transiciones es el producto entre la probabilidad de ir desde
el estado i hasta un estado intermedio k después de r transiciones y la
probabilidad de ir desde el estado k al estado j después de n − r transiciones.
La demostración de este resultado sigue el mismo esquema que el ejemplo
anterior para el caso n = 2.

Fabián Mancilla (Usach) Modelos Estocásticos 7 / 32

Matriz de transición de n-etapas
Si denotamos por P (n) la matriz de las probabilidades de transición de n-etapas
pij (n), entonces las ecuaciones de Chapman-Kolmogorov establecen que

P (n) = P (r) · P (n−r)

donde P (1) = P .
Observación: Si un proceso consta sólo de dos estados, entonces
 
p11 (n) p12 (n)
P (n) =  
p21 (n) p22 (n)

¿Cómo calcularemos P (n) ?. Notemos que si n = 2 y r = 1, entonces

P (2) = P (1) · P (2−1) = P · P (1) = P · P = P 2

Ahora observemos que si n = 3 y r = 1, entonces

P (3) = P (1) · P (3−1) = P · P (2) = P · P 2 = P 3

Fabián Mancilla (Usach) Modelos Estocásticos 8 / 32

Matriz de transición de n-etapas
Por lo tanto,
P (n) = P n
Ejemplo: Una partı́cula salta entre dos posiciones A y B según una cadena de
Markov con las siguientes probabilidades:

0,4
0,6 A B 0,8
0,2

Si la partı́cula inicialmente se encuentra en la posición A, determine la

probabilidad de que esté en A y en B después de
1 1 etapa
2 2 etapas
3 n etapas

Fabián Mancilla (Usach) Modelos Estocásticos 9 / 32

Matriz de transición de n-etapas

Recordemos que si una matriz cuadrada P es diagonalizable, entonces

P = U · D · U −1

donde
D es matriz diagonal que contiene los valores propios de P .
U corresponde a la matriz cuyas columnas son los vectores propios de P .

Para calcular la potencia de una matriz diagonalizable simplemente se utiliza

P n = U · Dn · U −1

Fabián Mancilla (Usach) Modelos Estocásticos 10 / 32

Distribución del proceso en la n-ésima etapa
Si deseamos conocer la distribución (incondicional) de la cadena para una etapa
cualquiera utilizaremos un vector columna, que denotaremos por f (n) , con tantas
posiciones como estados de la forma siguiente:
   
p1 (n) P (Xn = 1)
   
   
 p2 (n)   P (Xn = 2) 
   
   
.. ..
   
   
(n)
 .   . 
f =

=
  

   
 pj (n)   P (Xn = j) 
..
   
   

 ..
 
  . 

 .   
pN (n) P (Xn = N )

donde N = #ΩXk

Fabián Mancilla (Usach) Modelos Estocásticos 11 / 32

Distribución del proceso en la n-ésima etapa
Si utilizamos el teorema de probabilidad total sobre pj (n) = P (Xn = j)
condicionando sobre el estado inicial del proceso, tendremos:

pj (n) = P (Xn = j)
X
= P (Xn = j/X0 = i)P (X0 = i)
i
X
= pij (n)pi (0)
i

Luego, es claro que f (n) = [P (n) ]T · f (0) para cualquier n ∈ N.

Observación: Recordar que
 T  
p11 (n) p12 (n) p13 (n) p11 (n) p21 (n) p31 (n)
   
   
 p21 (n) p22 (n) p23 (n)  = 
 p12 (n) p22 (n) p32 (n) 

 
   
p31 (n) p32 (n) p33 (n) p31 (n) p23 (n) p33 (n)

Fabián Mancilla (Usach) Modelos Estocásticos 12 / 32

Tiempos de Primera Pasada
Ejemplo: En el problema anterior de la partı́cula, ¿Cuál es la distribución de
probabilidad de la tercera etapa?

Tiempos de Primera Pasada

Supongamos ahora que, para una cadena de Markov cualquiera, nos interesa
saber el tiempo que demora el proceso en pasar del estado inicial i a un estado j.
Este tiempo es una variable aleatoria que la denotaremos en general por T (i, j) y
la llamaremos tiempo de primera pasada.

Para conocer la distribución de probabilidades de T (i, j) definamos,

Fk (i, j) = P (T (i, j) = k)

= P (X1 6= j, X2 6= j, . . . , Xk−1 6= j, Xk = j/X0 = i)

Para k = 1 se tiene que,

F1 (i, j) = P (X1 = j/X0 = i) = pij

Fabián Mancilla (Usach) Modelos Estocásticos 13 / 32

Tiempos de Primera Pasada

Para k = 2 tenemos,

F2 (i, j) = P (X1 6= j, X2 = j/X0 = i)

X
= P (X1 6= j, X2 = j/X0 = i, X1 = m)P (X1 = m/X0 = i)
m6=j

X
= P (X1 6= j, X2 = j/X1 = m)pim
m6=j

X X
= F1 (m, j)pim =⇒ F2 (i, j) = pim F1 (m, j)
m6=j m6=j

Fabián Mancilla (Usach) Modelos Estocásticos 14 / 32

Tiempos de Primera Pasada
Para k = 3 tenemos,

F3 (i, j) = P (X1 6= j, X2 6= j, X3 = j/X0 = i)

X
= P (X1 6= j, X2 6= j, X3 = j/X0 = i, X1 = m)P (X1 = m/X0 = i)
m6=j

X
= P (X1 6= j, X2 6= j, X3 = j/X1 = m)pim
m6=j

X X
= F2 (m, j)pim =⇒ F3 (i, j) = pim F2 (m, j)
m6=j m6=j

X
En general, Fk (i, j) = pim Fk−1 (m, j).
m6=j

Fabián Mancilla (Usach) Modelos Estocásticos 15 / 32

Tiempos de Retorno
De esta forma se obtiene el siguiente sistema recursivo:


 F1 (i, j) = pij

X
 Fk (i, j) = pim Fk−1 (m, j)


m6=j

Ejemplo: En el problema anterior de la partı́cula, ¿Cuál es la distribución del

tiempo de primera pasada al estado B (es decir la distribución de T (A, B))?

Tiempos de Retorno
Se denomina tiempo de retorno al estado i a la variable aleatoria T (i, i) = Ti . Por
lo tanto, la probabilidad de retorno en k etapas al estado i es Fk (i, i).

Ejemplo: En el problema anterior de la partı́cula, ¿Cuál es la distribución del

tiempo de retorno al estado A (es decir la distribución de T (A, A))?

Fabián Mancilla (Usach) Modelos Estocásticos 16 / 32

Tiempos de Retorno
Tiempos de Retornar Alguna Vez
Denotaremos como F (i, i) a la probabilidad de retornar alguna vez al estado i.
Esta probabilidad corresponde a sumar las probabilidades de retornar en una
etapa, dos etapas, tres etapas, etcétera. Es decir,
∞
X
P (Ti < ∞) = F (i, i) = Fk (i, i)
k=1

Ejemplos:
1 En el problema anterior de la partı́cula, ¿Cuál son las probabilidades de
retornar alguna vez al estado A y al estado B?
2 Dada la siguiente matriz de transición correspondiente a una cadena de
Markov dibuje el grafo asociado y calcule F3 (1, 2) y F4 (3, 1).
 
0,4 0,2 0,3 0,1
 0,1 0,9 0 0 
P =  0 0,5 0,5 0 


0,1 0 0,4 0,5

Fabián Mancilla (Usach) Modelos Estocásticos 17 / 32

Clasificación de estados
Clasificación de estados
Dada una cadena de Markov es posible clasificar sus estados de acuerdo a las
siguientes definiciones:
Un estado i se dice que es transiente si, comenzando en ese estado, existe
una probabilidad no nula de que nunca regresemos a i. En este caso, si el
estado i es transiente, entonces F (i, i) < 1.
Un estado i se dice que es recurrente si, comenzando en ese estado, con
probabilidad 1 el proceso retornará alguna vez a i. Es este caso, si el estado
i es recurrente, entonces F (i, i) = 1.
Si E(T (i, i)) < ∞ se denominará recurrente positivo.

Si E(T (i, i)) = ∞ se denominará recurrente nulo (caso #Ω = ∞).

Un estado i se dice que es absorbente si es imposible abandonarlo una vez
que la cadena entra a éste. En este caso, si el estado i es absorbente,
entonces pii = 1 y pij = 0 para todo i 6= j.

Fabián Mancilla (Usach) Modelos Estocásticos 18 / 32

Clasificación de estados
Ejemplo: Considere el siguiente diagrama de transición asociado a una cadena de
Markov.

1
2 2
3

1 2
1 1
2 4
1
2

3
4
3
4
1
2
1
2

Determine si hay estados transientes, recurrentes o absorbentes.

Fabián Mancilla (Usach) Modelos Estocásticos 19 / 32

Clasificación de estados

Comunicación entre estados

Se dice que los estados i y j se comunica si existe un camino de i a j con un
número finito de etapas, y viceversa (de j a i).

En el ejemplo anterior, los estados 2, 3 y 4 se comunicas entre sı́, pero no ası́ los
estados 1 y 2.
Esta propiedad de comunicación establece una relación entre los estados que
permite definir clases de estados, compuestas por todos los estados que se
comunican entre sı́. Estas clases de estados son disjuntas entre sı́ y cubren todo el
conjunto de estados. En el ejemplo anterior el estado 1 constituye una clase y los
estados 2, 3 y 4 otra, es decir

C1 = {1}, C2 = {2, 3, 4}.

Si una cadena de Markov tiene una sola clase de estados, se dirá que es
irreducible.

Fabián Mancilla (Usach) Modelos Estocásticos 20 / 32

Periodicidad

Estados periódicos
Un estado es periódico si, partiendo de ese estado, sólo es posible volver a él en
un número de etapas que sea múltiplo de un cierto número de etapas que sea
múltiplo de un cierto número entero mayor a uno.
En otras palabras, el estado j es periódico si existe un n ≥ 1 tal que Fk (j, j) > 0
sólo para valores de k en el conjunto {n, 2n, 3n, 4n . . .}.
El perı́odo d del estado j corresponde al máximo común divisor de los k para los
cuales Fk (j, j) > 0.
Si d > 0 diremos que el estado es periódico con perı́odo d
Si d = 1 diremos que el estado es aperiódico.

Los estados recurrentes positivos aperiódicos se denominan estados ergódicos.

Una cadena de Markov que continen sólo estados ergódicos se denomina cadena
ergódica.

Fabián Mancilla (Usach) Modelos Estocásticos 21 / 32

Periodicidad
Ejemplo: En la siguiente cadena de Markov, los retornos al estado 2 se pueden
producir en las etapas 2, 3, 4, 5, 6, 7, 8, . . . Luego d = 1 y el estado 2 es
aperiódico. ¿Qué sucede con los perı́odos de los estados 3 y 4?

1
2

Fabián Mancilla (Usach) Modelos Estocásticos 22 / 32

Periodicidad
Ejemplo: ¿Cuántas clases existen en la siguiente cadena de Markov? ¿Cuál es el
perı́odo del estado 1? ¿Cuál es el perı́odo de los otros estados?

1
2

4
3

Fabián Mancilla (Usach) Modelos Estocásticos 23 / 32

Periodicidad
Observación: Es posible demostrar que todos los estados de una clase son del
mismo tipo: transientes, recurrentes nulos o recurrentes positivos, y aperiódicos o
periódicos con el mismo perı́odo.
Ejemplo: ¿Consideremos la siguiente matriz de probabilidades de transición:
 
1 0 0
 
 
P =  1/2 1/6 1/3 

 
1/3 3/5 1/15

1 Dibuje el diagrama de transiciones.

2 Obtenga la distribución de T1 .
3 Calcule la probabilidad de retorna alguna vez al estado 1, es decir F (1, 1).
4 Calcule P (T (1, 1) = ∞).

Fabián Mancilla (Usach) Modelos Estocásticos 24 / 32

Estado del proceso en el Largo Plazo

Sabemos que la distribución de probabilidades del proceso en la etapa n está dada

por,
f (n) = [P n ]T · f (0)

Diremos que el proceso tiene distribución lı́mite si existe el lı́mite lı́m f (n) .
n→∞

En la medida que esto ocurra, podemos concluir que, pasado mucho tiempo, la
distribución de probabilidades del proceso no cambia de una etapa a otra.
El valor del lı́mite puede o no depender del vector de probabilidades inicial f (0) .
En el caso que el lı́mite exista y su valor no dependa de f (0) , diremos que el
proceso tiene distribución estacionaria. Bajo esta situación, las condiciones
iniciales del sistema tienden a ser irrelevantes para efectos de su comportamiento
en el largo plazo.

Fabián Mancilla (Usach) Modelos Estocásticos 25 / 32

Estado del proceso en el Largo Plazo
Para obtener algunas probabilidades lı́mites, existen los siguientes resultados:

Probabilidades Lı́mites de una Cadena de Markov

1 Si j es un estado transiente o recurrente nulo entonces

lı́m pjj (n) = 0

n→∞

2 Si j es un estado recurrente positivo aperiódico entonces

1
lı́m pjj (n) = >0
n→∞ E(Tj )

3 Si j es un estado recurrente positivo periódico, de perı́odo d, entonces

1
lı́m pjj (nd) = >0
n→∞ E(Tj )

Fabián Mancilla (Usach) Modelos Estocásticos 26 / 32

Estado del proceso en el Largo Plazo
Probabilidades Lı́mites de una Cadena de Markov
1 Si j es un estado recurrente positivo aperiódico entonces

F (i, j)
lı́m pij (n) = ≥0
n→∞ E(T (i, j))

2 Si j es un estado transiente o recurrente nulo entonces

lı́m pij (n) = 0

n→∞

3 Si i y j son estado recurrentes positivos pertenecientes a una misma clase,

de perı́odo d, entonces
1
lı́m pij (n(i, j) + nd) = ≥0
n→∞ E(T (i, j))

4 Si i es transiente y j es recurrente, y asumiendo que F (i, j) > 0, los caminos

que conducen de un estado a otro no son necesariamente del mismo largo.

Fabián Mancilla (Usach) Modelos Estocásticos 27 / 32

Estado del proceso en el Largo Plazo
Las siguientes proposiciones establecen las condiciones para la existencia de una
distribución estacionaria. En este caso denotaremos por π al vector de distribución
estacionaria, es decir,

πj = lı́m pj (n) = lı́m pij (n), independiente de i

n→∞ n→∞

Distribución Estacionaria
1 Existe una distribución estacionaria π tal que πj > 0 para todo j si y sólo si
la cadena de Markov es irreducible, con estados recurrentes positivos
aperiódicos.
2 Consideremos una cadena de Markov con espacio de estados S tal que
S = C ∪ T , en que C es una clase de estados recurrentes positivos y T es
un conjunto de una o más clases de estados transientes. Entonces existe una
distribución estacionaria π. Además, πj > 0 para todo j ∈ C y πj para todo
j ∈ T.

Fabián Mancilla (Usach) Modelos Estocásticos 28 / 32

Estado del proceso en el Largo Plazo
En general, si se puede garantizar la existencia de una distribución estacionaria, su
obtención puede lograrse por la vı́a de resolver un sistemas de ecuaciones lineales,
tal como se plantea en el siguiente resultado.

Obtención de la Distribución Estacionaria

Si una cadena de Markov tiene una distribución estacionaria π en que πj > 0 para
algún j, entonces π corresponde a la única solución del sistema:

πT = πT P
X
πi = 1
πi ≥ 0

Ejemplo: Determinar si existe distribución estacionaria en la siguiente cadena de

Markov,  
1/2 1/2 0
P =  0 1/3 2/3 
1/3 1/3 1/3

Fabián Mancilla (Usach) Modelos Estocásticos 29 / 32

Estado del proceso en el Largo Plazo

Tarea: En un Estado socialista hay un economista que está muy interesado en

estudiar el siguiente mecanismo de redistribución del capital entre los habitantes.
Cada habitante es visitado diariamente por un inspector del Ministerio. Si él
descubre que su capital neto es cero, entonces con probabilidad pi > 0 le entrega
i unidades monetarias (i = 1, 2, 3, . . .). Por el contrario, si el inspector lo
encuentra con un capital positivo j, se lo quita (para darlo, presumiblemente con
probabilidad pj a otro habitante que tiene capital cero).
Con este proceso, el economista asegura que, cualquiera sea la distribución inicial
de capital, en el largo plazo, se obtendrá una distribución equitativa del capital
diario para cada habitante. ¿Ud. que opina? (modelar como una cadena de
Markov y justificar).

Fabián Mancilla (Usach) Modelos Estocásticos 30 / 32

Estado del proceso en el Largo Plazo

Una matriz de transición P se dice que es doblemente estocástica si la suma de

cada una de su filas y columnas es 1. Este tipo de matrices poseen la siguiente
propiedad:

Matriz Doblemente Estocástica

Si P es una matriz doblemente estocástica asociada a una cadena de Markov con
N estados, y asumiendo que existe distribución estacionaria π, entonces
1
πi = , para todo i = 1, 2, . . . , N.
N
Ejemplo: Determinar la distribución estacionaria en la siguiente cadena de
Markov,  
0,4 0,5 0,1
P =  0,3 0,3 0,4 
0,3 0,2 0,5

Fabián Mancilla (Usach) Modelos Estocásticos 31 / 32

Aplicaciones de las Cadenas de Markov
Una empresa tiene en un inventario un cierto producto para satisfacer la demanda
de sus clientes. Sea Xn el número de ı́temes en inventario al principio del dı́a n.
Sea Y1 , Y2 , . . . , Yi , . . . las demandas sucesivas en los dı́as 1, 2, . . . , etc. Asumamos
que éstas corresponden a v.a. iid, en donde

P (Yi = k) = ak .

La polı́tica de inventario está determinada por dos parámetros, s y S y opera de

la siguiente manera: al final de cada dı́a se revisa el nivel de inventario y si éste es
menor que s, se pone una orden de stock para elevar el nivel de inventario hasta
el valor S.
Los nuevos ı́temes del producto están disponibles al principio del dı́a siguiente. La
demanda que no puede ser satisfecha se pierde. Luego, se puede deducir que

 Xn − Yn , si Xn − Yn ≥ s
Xn+1 =
S, si Xn − Yn < s


¿Es el proceso {Xn , n ∈ N} una cadena de Markov?

Fabián Mancilla (Usach) Modelos Estocásticos 32 / 32