Ejercicios Markov
Ejercicios Markov
Ejercicios Markov
0,75
0,25
0,75
1
0,25
0,2
0,25
0,8
0,25
4
0,75
0,25
0,5
5
a) Se distinguen 2 clases C1 = {1,3} y C2 = {2,4,5}
Anlisis de Recurrencia y periodicidad
Clase C 1 : analizaremos el estado 1
k 2
j = k 2
3 1 3 1 3 1 3 4
F (1,1,) = 0,75 + 0,25 * 0,75 * (0,25) = + * *
= + * * =1
1 4 4 4 3
4 4 4
j =0
1
4
3 1 3 1
* + * * 0,8 =
4 2 4 4
3 3 8 3 3 15 + 6 21
+ * = +
=
=
= 0,525
8 16 10 8 20
40
40
El estado 2 es transientes y la clase C 2
Perodo: se puede volver al estado 2 en etapas mltiplos de 2 y adems se puede volver al
estado 2 en mltiplos de 3. Luego se puede volver en todas las etapas, excepto en la etapa
1. Luego es aperidico.
X n C1
Adems
= 1 por lo tanto
X n C 2
2 = 4 = 5 = 0
3
3 1
1 =
4
( 1 3 ) = ( 1 3 ) 4 4 y 1 + 3 = 1
3 1
1
3 =
4
4 4
X = 3; X 5 = 1; X 4 = 2; X 0 = 4
= P( X 7 = 3; X 5 = 1; X 4 = 2; X 0 = 4; X 3 = 5) =
c) P 7
X
=
5
3
P ( X 3 = 5)
( 2 ) (1) (1) (3 ) 1
P( X 7 = 3; X 5 = 1; X 4 = 2; X 3 = 5 / X 0 = 4 )P( X 0 = 4 ) p13 p 21 p52 p 45 3
=
P ( X 3 = 5)
P ( X 3 = 5)
31
11
1
(2 )
p13
= p11 p13 + p12 p 23 + p13 p33 + p14 p 43 + p15 p53 =
+0+
+0+0 =
44
44
4
1
1
(1)
(1)
p12
=
p52
=
4
2
(3 )
p 45
= p 42 ( p 21 p15 + p 22 p 25 + p 23 p35 + p 24 p 45 + p 25 p55 ) +
(3 )
p 45
= p 42 ( p 21 * 0 + 0 * p 25 + p 23 * 0 + p 24 * 0 + p 25 * 0 ) +
X 7 = 3; X 5 = 1; X 4 = 2; X 0 = 4
d) F1 (2,2 ) = 0
F2 (2,2 ) =
3 1 3
* =
4 2 8
3 1
3
F3 (2,2 ) = * * 0,8 =
4 4
10
Fk (2,2 ) = 0 k > 3
e) E (T (3,3)) =
=4
=0
X 3 = 5
Desarrollo:
a)
X t = {s, S } = {1,2,3}
b)
S = 3
X t +1 =
X t Dt +1
c)
P(Dt = 0)
si X t Dt +1 < s
si X t Dt +1 s
0
P(Dt > 0 )
d)
T > n +1
= P(T > 1) = 1 e luego si hay j ovas vivas al da siguiente pueden haber
p = P i
i
Ti > n
j o menos.
Luego X n +1 Binomial ( X n , p )
c) Matriz P:
0
0
1
1
(1 p )
2
2
.
N-1
N-1
(1 p )2
0
2
p(1 p)1
1
p2
N 1
(1 p ) N 1
N 1
N 1
p (1 p ) N 2
N 2
.
N 1 2
p (1 p ) N 3
N 3
p N 1
(1 p )N
p (1 p ) N 1
N
1
N
2
p (1 p ) N 2
N
2
(1 p )
4.- Juan y Pedro tienen 2 monedas cada uno. Se disponen a enfrentar un juego en que, en
cada oportunidad, cada jugador lanza una moneda de sus monedas. Si ambas coinciden,
gana Juan y se queda con la moneda de Pedro. En caso contrario, gana Pedro. El juego
termina cuando uno de los jugadores gana las 4 monedas.
a) Obtenga la distribucin de probabilidades del nmero de jugadas necesarias hasta
que Juan logre tener 3 monedas por primera vez.
b) Explique como obtendra la distribucin de probabilidades del nmero de jugadas
hasta que el juego termina.
Desarrollo:
1.- Sea X n : n de monedas de Juan.
a.- Se debe encontrar Fk (2,3) que corresponde a la probabilidad de que se vaya por
primera vez del estado 2 a estado 3 en un nmero k de etapas. Por lo tanto :
Fk (2,3) = ??
Para obtener esta probabilidad se debe construir el modelo detalladamente, es decir
encontrar el rango de X n , la matriz P y opcionalmente el grfico de red.
Rango de la variable de estado X n :
Matriz P
1 0
1
P= 0
0 0
1
0
2
0 1
1
X n = {0,1,2,3,4} ,
0
0
0
0
2
0 0
1
0
0,5
0,5
0,5
0,5
0,5
3
1
4
F1 (2,3) =
1
111 1
; F2 (2,3) = 0 ; F3 (2,3) = p 21 p12 p 23 =
;
=
2
222 8
2
1 1 1
2
F5 (2,3) = ( p 21 p12 ) p 23 =
2 2 2
F4 (2,3) = 0
Trmino general:
1 1
F2 k 1 (2,3) = ( p 21 p12 ) 2 k 1 p 23 =
2 2
F2 k (2,3) = 0 ; k = 1,2,3,...
2 k 1
1 1
=
2 4
k 1
1
; k = 1,2,3,...
2
b.- El juego termina cuando se llega a que Juan tiene 0 4 monedas. Lo que se pregunta
entonces, es la probabilidad de que ocurra alguno de estos dos eventos, que son
excluyentes. Adems Juan tiene al inicio del juego 2 monedas. Luego lo que se pregunta es:
Fk (2,0) + Fk (2,4)
k =2
2 2
2k
1 1
F2 k (2,4) =
2 2
2k
1
=
4
2k
1
=
4
2k
; k = 1,2,3,...
; k = 1,2,3,...
1
F2 k (2,0) + F2 k (2,4) =
k =1
k =1 4
2k
1
+
k =1 4
2k
1
1
= + =
k =1 16
k =1 16
1
1
16
16
1 1
1 1
1+
1 =
1+ 1 =
+ =
1
1
15
15
16 k =0 16 16
k = 0 16
1
1
16
16
1 1
2
+
=
= 0,1 3
15 15 15
0
0
1
5 6
0
0
0
0
1
0
4
1
2
3
3
2
1
3
3
0,5
1
1
2
1
1
1
3
4
1
1
3
7
1
1
T P' = T
1
( 1 3 5 )
0
1
1 =
3
1
3
0
2
1
= ( 1 3
5)
3
3
1
; 5 =
; 3 =
8
8
4
(n)
21
lim P
n
F (2,1)
se deben encontrar ambos trminos
E [T (1,1)]
1 2 1 1
1 2 2
7 5
5
2 5
F (2,1) * 1 = F (2,1) * = F (2,1) =
9 9
7
9 9
Adems
F (2,1) = p 21 + p 24 F (4,1) =
E [T (1,1)] =
(n)
41
lim P
n
=4
luego
(n)
21
lim P
n
F (4,1)
se debe encontrar F (4,1)
E [T (1,1)]
5
F (2,1)
5
=
= 7 =
E [T (1,1)] 4 28
8 3 12 3
luego
F (4,1) = 7 3 = 21 = 21 = * =
=
2
2
2
21 2 21 7
3
3
3
3
F (2,1) p 21
p 24
(n)
41
lim P
n
4
F (4,1)
1
=
= 7 =
E [T (1,1)] 4 7
( n)
(n)
lim P23 = lim P43 = 3 = 8
n
n
( n)
(n)
lim P25 = lim P45 = 5 = 8
n
n
3
3
2
3
( 6
7 ) = ( 6 7 )
2
1
( n)
(n)
lim P26 = lim P46 = 6 = 2
n
n
1
1
2
3
6 = 12 ; 7 = 12
2
1
( n)
(n)
lim P27 = lim P47 = 7 = 2
n
n
Para los estados de la clase C 2 dado que los estados son transientes:
(n)
(n)
lim Pi 2 = lim Pi 4 = 0 i = 1,3,5,6,7
6.- Considere un cultivo que contiene inicialmente un solo glbulo rojo. Despus de una
cantidad de tiempo el glbulo rojo muere y es reemplazado por dos nuevos glbulos rojos o
bien por dos glbulos blancos. Las probabilidades de estos eventos son 1 y
4
3 respectivamente. Subsecuentemente, cada glbulo rojo se reproduce de la misma forma.
4
Por otra parte, cada glbulo blanco muere despus de una unidad de tiempo sin
reproducirse. Se desea calcular la probabilidad de que el cultivo se extinga en algn
momento.
Formule para tal efecto un modelo detallado e indique con precisin como lo utilizara para
obtener la probabilidad pedida.
Desarrollo
Sea X n : numero de glbulos rojos presentes en la etapa n.
8
4
1
2
i k
X
= j
= i 1 1 1
; k = log( j )
P n +1
log(2 )
X n = i k 4 4
EJERCICIOS PROPUESTOS
1.- Se tiene la siguiente matriz de probabilidades de transicin en una etapa :
1 6
0
1 5
1 4
1 2
0
1
0
0
0
14
2 5 15 0 15
0 34 0
0
0 1 2 0 0
14 0
0 0
0
0
12 13 0
0 0
0
Se pide:
a) Diga si los estados son transientes o recurrentes (positivos o nulos) y demustrelo.
(1,5 puntos)
b) Diga si existe distribucin lmite y porqu. Si existe calclela. (1,5 puntos)
c) Diga si existe distribucin estacionaria y porqu. Si existe calclela. (1,5 puntos)
d) Calcule Pr X 4 = 1
X 0 = 2
3.- Sea X n el nmero de personas hospedadas en un cierto hotel al inicio del da n. Se sabe
que pueden llegar 0,1,2 3 clientes en un da, con igual probabilidad. Adems se sabe que
el tiempo de permanencia de un cliente en el hotel es exponencial con media . El hotel
tiene capacidad solo para 4 personas y las que llegan cuando el hotel est lleno se van sin
dejar reserva.
Obtenga la matriz P. (2 puntos)
Indicacin: Puede usar la siguiente aproximacin e d = 1 d
4.- El ascensor de un edificio con tres pisos realiza viajes entre los pisos regularmente. Sea
X n el piso en que para el ascensor en la etapa n. Se sabe que la mitad de los viajes que
parten del piso 1 se dirigen a uno de los otros pisos con igual probabilidad. Si el ascensor
parte en el piso 2 el 25% de las veces termina en el piso 2. Por ultimo si su trayecto
empieza en el tercer piso siempre termina en el primer piso.
a) Obtenga la matriz P y el rango de la variable.
X = 2; X 2 = 1; X 0 = 3
b) Obtenga P 4
X 1 = 2
Marca A
507
676
845
2028
Marca B
845
2028
845
3718
Marca C
338
676
1690
2704
Total
1690
3380
3380
8450
se repite durante el da. Suponga que las oficinas estn uniformemente distribuidas a lo largo
del recorrido y que cada una genera al azar correspondencia para ser despachada, de modo
que el total de correspondencia generada por el sistema en un intervalo de largo t corresponde
a un Proceso de Poisson a tasa .
8.- Una agencia de arriendo de vehculos ha definido la variable aleatoria Xt como el nmero de
automviles disponibles en la agencia al empezar la semana t+1.
Sea Dt una variable aleatoria que representa la demanda por automviles la semana t. La agencia
utiliza una poltica de reorden (s,S) con s=1 y S=3. No se acepta demanda pendiente. Sea Xo = 3
y suponga que la variable aleatoria Dt tiene distribucin de Poisson con =1.
e)
f)
g)
h)
9.- Una empresa de transportes debe contratar un seguro para su flota de vehculos.
Existen 4 posibles seguros con valores P1, P2, P3, y P4. De modo que :
P1 > P2 > P3 > P4.
El valor del seguro se paga al principio del ao y depende del tipo de seguro
contratado el ao anterior y de los accidentes cobrados a la compaa de seguros durante
el ao. Si durante el ao, el seguro contratado cost Pi y no se cobraron seguros, el
seguro del ao siguiente costar Pi + 1; en caso contrario (esto es si se cobraron seguros)
el seguro costar P1. Si el ao anterior el seguro costo P4 y no hubo daos cobrados, el
seguro costar este ao tambin P4.
La empresa de transportes debe decidir, al final del ao, si cobrar o no los daos
acumulados por sus vehculos durante el ao. Si la empresa decide cobrar los daos, la
compaa de seguros se hace cargo de stos, con excepcin de un deducible, que vale Ri
para el seguro i.
El dao total de la flota durante un ao cualquiera es una variable aleatoria con
funcin de distribucin F y funcin de densidad f.
Defina Xn como el tipo de seguro contratado en el ao n.
a) Obtenga la matriz de P de este proceso.
b) Obtenga una expresin explcita para el vector distribucin estacionaria de este
proceso.
c) Obtenga una expresin para el costo esperado anual de usar esta poltica en el largo
plazo. Cmo podra encontrar la poltica ptima para este caso?
10.- En la etapa inicial un jugador tiene MM$ 2. En las etapas 1,2..... participa en un juego
en el que apuesta MM$ 1. Gana el juego con probabilidad p, y lo pierde con probabilidad
(1-p). Su meta es aumentar su capital a MM$ 4 y tan pronto como lo logre se retira. El
juego tambin se suspende si el capital del jugador se reduce a $0 .
P=
a)
b)
c)
d)
1
p
0
0
0
0
0
0
0
1-p
p
1-p
0
0
1-p
p