Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

MAESTRIA EN INGENIERIA
Clase 4

Yimmer Camilo Vargas Fonseca1

1 Escuelade Ingeniería Industrial

yimmer.vargas@uptc.edu.co
U.P.T.C

Curso de Procesos estocásticos, 2019

Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

1 Simulación Monte Carlo

2 Procesos estocásticos

3 Cadena de Markov
Ecuaciones de Chapman-Kolmogorov
Clasificación de estados en una cadena de Markov

4 Probabilidad de estado estable

5 Tiempos promedio de primer pasaje

6 Cadenas absorbentes
Modelo clásico de personal
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Simulación Monte Carlo

La simulación Monte Carlo es una técnica empleada para estudiar

cómo responde un modelo a entradas generadas de forma
aleatoria. Suele implicar un proceso de tres pasos:
1 Generar aleatoriamente “N” entradas (a veces se denominan
“escenarios”).
2 Ejecutar una simulación para cada una de las “N” entradas.
Las simulaciones se ejecutan en un modelo informatizado del
sistema que se va a analizar.
3 Acumular y evaluar las salidas de las simulaciones. Algunas
medidas habituales son el valor medio de una salida, la
distribución de los valores de salida y el valor de salida mínimo
o máximo.
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Introducción

La teoría de los procesos estocásticos se centra en el estudio y

modelización de sistemas que evolucionan a lo largo del tiempo, o
del espacio, de acuerdo a unas leyes no determinísticas, esto es, de
carácter aleatorio.
La forma habitual de describir la evolución del sistema es mediante
sucesiones o colecciones de v.a. De esta manera, se puede estudiar
como evoluciona una v.a. a lo largo del tiempo.
La primera idea básica es identificar un proceso estocástico como
con una sucesión de v.a.

{Xn , n ∈ N}
donde el subíndice indica el instante de tiempo (o espacio)
correspondiente
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Definición
Sea (Ω, F , P ) un espacio de probabilidad. Un proceso estocástico
es una colección de variables aleatorias {Xt : t ∈ T }
parametrizada por un conjunto T llamado espacio parametral, y
con valores en un conjunto S llamado espacio de estados.

Ejemplos
Xt : número de personas que esperan un autobús en un
instante t donde t ∈ [9, 10]
Xt : precio de una acción de una empresa en un día t del mes
(t = 1, 2, 3, . . . , 30).
Xt : el número de personas que espera ante una ventanilla de
un banco en un instante t de tiempo
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Un proceso estocástico puede considerarse como una funciónn de

dos variables X : T × Ω → S tal que a la pareja (t, ω ) se le
asocia el estado X (t, ω ), lo cual también se escribe como Xt (ω ).
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Si A es un conjunto de estados, el evento (Xt ∈ A) corresponde a

la situación en donde al tiempo t el proceso toma algún valor
dentro del conjunto A. En particular, (Xt = x ) es el evento en
donde al tiempo t el proceso se encuentra en el estado i.
Los diferentes tipos de procesos estocásticos se obtienen al
considerar las distintas posibilidades para: el espacio parametral, el
espacio de estados, las características de las trayectorias, y
principalmente las relaciones de dependencia entre las variables
aleatorias que conforman el proceso.
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Cadena de Markov

Un proceso estocástico {Xt }t ≥0 se dice es una cadena de Markov

de tiempo discreto si para cada estado ik ,
k = 1, 2, . . . , t, t + 1, . . . , s

P {Xt +1 | Xt = it , Xt −1 = it −1 , . . . , X1 = i1 , X0 = i0 }
= P {Xt +1 = it +1 | Xt = it }

En general, los estados del sistema son independientes del tiempo,

por tanto,

P {Xt +1 = j | Xt = i, Xt −1 = k, . . . , X0 = s }
(1)
= P {Xt +1 = j | Xt = i } = Pij (1) = Pij = Pij
Pasar del estado i al estado j en una sola transición
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Probabilidades de transición
Las probabilidades de transición de una cadena de markov discreta
de S estados, puede representarse como una matriz cuadrada S × S
 
P11 P12 · · · P1s
Pij = Pij = P =  ... .. .. .. 
(1) 
. . . 
Ps1 Ps2 · · · Pss
donde Pij ≥ 0, ∑sj=1 Pij =1
Ejemplo
Supongamos que el clima de cierta ciudad es lluvioso o despejado.
Como resultado de un amplio registro, se ha determinado que la
probabilidad de que se dé un día lluvioso después de un día
despejado es 13 , y la probabilidad de que se tenga un día lluvioso
después de otro día lluvioso es 12 .

Ejemplo
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Probabilidad de transición de n etapas

Suponga que se tiene una cadena de markov de S estados
2
∑ Pik Pkj = P 2
(2)
Pij = Pij (2) =
k =1

Significa que quiero ir del estado i al j en dos estados. Se

consideran todas las posibilidades

Pij (2) = Pi1 P1j + Pi2 P2j + · · · + Pis Psj i, j = 1, 2, . . . , s

s
= ∑ Pik Pkj
k =1

En general la probabilidad de transición de n etapas es

s
∑ Pik
(n −1)
Pij (n) = Pkj = P n
k =1
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Ecuaciones de Chapman-Kolmogorov

1 Simulación Monte Carlo

2 Procesos estocásticos

3 Cadena de Markov
Ecuaciones de Chapman-Kolmogorov
Clasificación de estados en una cadena de Markov

4 Probabilidad de estado estable

5 Tiempos promedio de primer pasaje

6 Cadenas absorbentes
Modelo clásico de personal
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Ecuaciones de Chapman-Kolmogorov

Ecuaciones de Chapman-Kolmogorov

s
∑ Pik
(n ) (m )
Pij (n + m) = Pkj = P (n +m )
k =1

considere una cadena de Markov en tiempo discreto con S estados,

si
P [Xn+m = j | Xm = i ] = P [Xn = j | X0 = i ]
se dice que la cadena de Markov es estacionaria.
Distribución de Probabilidad inicial.
Suponga que en el tiempo t = 0, el sistema se encuentra en el
estado i, entonces
P [X0 = i ] := qi .
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Ecuaciones de Chapman-Kolmogorov

El vector qi = [q1 , q2 , q3 , . . . , qs ] se conoce como distribución de

probabilidad inicial.
Observación.

Algunas veces no se conoce cual es la probabilidad que el sistema

se encuentre en el estado j n-periodos más adelante dado que
actualmente el sistema se encuentra en el estado i; es decir,

P [Xn = j | X0 = i ]

(
1, i =j
Pij (0) =
0, i 6= j
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Clasificación de estados en una cadena de Markov

1 Simulación Monte Carlo

2 Procesos estocásticos

3 Cadena de Markov
Ecuaciones de Chapman-Kolmogorov
Clasificación de estados en una cadena de Markov

4 Probabilidad de estado estable

5 Tiempos promedio de primer pasaje

6 Cadenas absorbentes
Modelo clásico de personal
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Clasificación de estados en una cadena de Markov

Clasificación de estados

Definición 1
Sean i, j dos estados en una cadena de Markov, una trayectoria del
estado i al estado j, es una sucesión de transiciones que van desde
el estado i hasta el estado j

Definición 2
Se dice que un estado i es alcanzable desde un estado j si existe al
menos una trayectoria que vaya desde el estado j y llegue al estado
i

Definición 3
Se dice que dos estados i, j se comunican si el estado i es
alcanzable desde el estado j y j es alcanzable desde el estado i
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Clasificación de estados en una cadena de Markov

Definición 4
Se dice que un estado i es absorbente, si Pii = 1

Definición 5
Se dice que un estado i es transitorio si existe un estado j
alcanzable desde el estado, pero el estado i no es alcanzable desde
el estado j.

Definición 6
Se dice que un estado i es recurrente si no es transitorio ∃j tal que
i ←→ j

Definición 7
Se dice que un conjunto de estados de S es una clase cerrada si
ningún estado fuera de S es alcanzable por un estado que
pertenezca a S
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Clasificación de estados en una cadena de Markov

Definición 8
Se dice que un estado i tiene periodo k; k ≥ 2 ∈ Z+ , si k es el
M.C.D. de todas las trayectorias que salen de i y regresan a i. Si
k = 1, entonces se dice que el estado es aperiódico

Definición 9
Si en una cadena de Markov todos sus estados son recurrentes,
aperiódicos y se comunican entre sí, se dice que la cadena es
ergódica.

Ejemplo
En cierta ciudad, al 90 % de los días soleados siguen días soleados,
y al 80 % de los días nubados siguen días nubados. Con esta
información modelar el clima de esta ciudad como una cadena de
Markov
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Probabilidad de estado estable

Considere una cadena de Markov ergódica de s estados existe un
vector Π
~ = [Π1 , Π2 , . . . , Πs ] tal que

Π1 Π2 · · · Πs
 
(n )  .. .. .. .. 
l«ım Pij =  . . . . 
n→∞
Π1 Π2 · · · Πs
s
∑ Πj = 1
j =1

El vector Π
~ se conoce como distribución de estado estable o
estacionario y cada Πj se llama probabilidad de estado estable.
Para cada estado inicial i, se cumple que:
(n +1)
l«ım Pij (n) = l«ım Pij = Πj
n→∞ n→∞
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Tiempos promedio de primer pasaje

Defina mij : el número esperado de transiciones para alcanzar el

estado j por primera vez, dado que actualmente el sistema se
encuentra en el estado i, entonces
s
mij = 1 + ∑ Pik mkj
k 6 =j

y
1
mii =
Πi

Acciones
Para el ejemplo de los dos tipos de acciones. Determine e
interprete los tiempos promedios de primer pasaje
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Cadenas absorbentes

Considere una matriz de probabilidades de transición

 
Q R
P=
O I

Q : es matriz de orden (s − m)con ts −m estados transitorios

R : es matriz (s − m) × m estados transitorios a estados
absorbentes
O : matriz nula de orden m × (s − m)
I : es una matriz de orden m × m de estados absorbentes.
(I − Q )−1 : Se conoce como matriz fundamental y establece el
número de permanencia en un estado transitorio tj antes de la
absorción
(I − Q )−1 R : establece la probabilidad que un estado del sistema
sea finalmente absorbido por algún estado absorbente.
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Modelo clásico de personal

1 Simulación Monte Carlo

2 Procesos estocásticos

3 Cadena de Markov
Ecuaciones de Chapman-Kolmogorov
Clasificación de estados en una cadena de Markov

4 Probabilidad de estado estable

5 Tiempos promedio de primer pasaje

6 Cadenas absorbentes
Modelo clásico de personal
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Modelo clásico de personal

Modelo clásico de personal

Considere una organización en la que cada uno de sus empleados

pertenece a uno de los s grupos que conforman la empresa. Al
principio de cada periodo una fracción Pij de los empleados del
grupo i pasa al grupo j en el siguiente periodo, se define por
Ni (t ) el número de empleados que pertenecen al grupo i en el
tiempo t, si se cumple que

l«ım Ni (t ) = N = {N1 , N2 , . . . , Ns }
t →∞

se dice que existe un censo de estado estable.

Al principio de cada periodo la organización toma las siguientes
determinaciones
Contratar o despedir empleados
intercambia empleados de un grupo a otro
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Modelo clásico de personal

De tal manera que a largo plazo tenga un número fijo de

empleados, esto indica que cada grupo tenga un número fijo de
empleados en cada periodo de tiempo.

N = [ N1 , N2 , . . . , Ns ]
n
N= ∑ Nk
k =1

Además, el número de empleados que salen de cada grupo =

número de empleados que entran en cada grupo
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Modelo clásico de personal

Quiz

1 Un sistema electrónico tiene uno de cada dos tipos diferentes

de componentes en operación conjunta. Denote con Y1 y Y2
las duraciones aleatorias de los componentes del tipo I y tipo
II respectivamente. La función de densidad conjunta está dada
por
(
1
y1 e −(y1 +y2 )/2 , y1 > 0, y2 > 0,
f (y1 , y2 ) = 8
0, en cualquier otro punto.

(Las mediciones son en cientos de horas). Encuentre

P (Y1 > 1, Y2 > 1).
2 Supóngase que X y Y son variables aleatorias con distribución
conjunta dada por
Simulación Monte Carlo Procesos estocásticos Cadena de Markov Probabilidad de estado estable Tiempos promedio de primer pa

Modelo clásico de personal

X \Y 0 1 2
1 0,2 α β
2 γ 0,1 δ
3 η κ 0, 3
Determinar valores para α, β, γ, δ, η y κ de tal manera que
P (X = 1) = 0,4, P (X = 2) = 0,3, P (Y = 0) = 0,2 y
P (Y = 2) = 0,6,