ALEXIS GABRIEL RUVALCABA GALINDO

Instituto Tecnológico de Colima

Departamento de Ingeniería Industrial

T I T U L O Cadenas de Marcov

Nombre del Alumno: Alexis Gabriel

Ruvalcaba Galindo

Nombre del Maestro: Jesús Francisco

Tejeda Calderón

Nombre de la Carrera

Ingeniería Industrial

Villa de Álvarez, Col., a 03 de

noviembre de 2023

Av. Tecnológico #1, Col. Liberación C.P. 28976, Villa de Álvarez, Colima, Tel. 312
3129920 ext. 215 y 115 Correo electrónico: [email protected] tecnm.mx |
colima.tecnm.mx
Vv

1
ALEXIS GABRIEL RUVALCABA GALINDO

ÍNDICE

INTRODUCCIÓN…………………………………………………………………….3

4.1. INTRODUCCIÓN A LAS CADENAS DE MARKOV………………………...6

4.2. PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS…7

4.3. ESTADO ESTABLE……………………………………………………………12

4.4. ESTADOS ABSORBENTES…………………………………………………..15

4.5. USO DE SOFTWARE………………………………………………………….20

CONCLUSIÓN………………………………………………………………………..26

BIBLIOGRAFIA……………………………………………………………………….26

2
ALEXIS GABRIEL RUVALCABA GALINDO

INTRODUCCIÓN
En las cadenas de Markov considera ciertos puntos discretos en el tiempo, para
toma valores de 1, 2, 3,…. Y la variable aleatoria que caracteriza al sistema. Y la
familia de las variables aleatorias forma un proceso llamado proceso estocástico.
Entonces las cadenas de Markov se usan para estudiar ciertos comportamientos de
largo y cortos plazos de sistemas estocásticos.

Para un proceso de Markov es un sistema estocástico siempre que cumpla con la

propiedad Markoviana.

Los estados en el tiempo representan situaciones exhaustivas y mutuamente

excluyentes del sistema en un tiempo específico. Además, el número de estado
puede ser finito o infinito. Un ejemplo es el juego delanzar la moneda.
Por lo general una cadena de Markov describe el comportamiento de transición de
un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen
situaciones donde los espaciamientos temporales dependen de las características
del sistema y por ello, pueden no ser iguales entre sí. Estos casos se denominan
cadenas de Markov incrustadas. Con las probabilidades absolutas y de transición
podremos hacer predicciones de comportamientos futuros como las que se
observaron en las situaciones anteriores. Así, si llamamos estados a cada una de
estas posibilidades que se pueden presentar en un experimento o situación
específica, entonces podemos visualizar en las Cadenas de Markov una
herramienta que nos permitiría conocer a corto y largo plazo los estados en que se
encontrarían en periodos o tiempos futuros y tomar decisiones que afectarán o
favorecerán nuestros intereses. Las probabilidades absolutas y de transición son
exhaustivas y mutuamente excluyentes de un experimento aleatorio en cualquier
tiempo.

Las cadenas de Markov son modelos probabilísticos que se usan para predecir la
evolución y el comportamiento a corto y a largo plazo de determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas
para decidir política de mantenimiento; evolución de una enfermedad.
Las cadenas de Markov se pueden aplicar en áreas como la educación,
comercialización, servicios

Formulación de las cadenas de Markov.

En la figura 4.1 se muestra el proceso para formular una cadena de

Markov. El generador de Markov produce uno de n eventos posibles, E j , donde j
= 1, 2, . . . , n, a intervalos discretos de tiempo (que no tienen que ser iguales ).
Las probabilidades de ocurrencia para cada uno de estos eventos depende del
estado del generador. Este estado se describe por el último evento generado. En

3
ALEXIS GABRIEL RUVALCABA GALINDO

la figura 4.1, el último evento generado fue Ej , de manera que el generador se

encuentra en el estado M j . La probabilidad

de que Ek sea el siguiente evento generado es una probabilidad condicional : P (
Ek / Mj ). Esto se llama probabilidad de transición del estado M j al estado Ek. Para
describir completamente una cadena de Markov es necesario saber el estado
actual y todas las probabilidades de transición.
Probabilidades de transición.

Una forma de describir una cadena de Markov es con un diagrama de

estados, como el que se muestra en la figura 4.2. En ésta se ilustra un sistema
de Markov con cuatro estados posibles : M 1, M2 , M3 y M4 . La probabilidad
condicional o de transición de moverse de un estado a otro se indica en el
diagrama.

4
 Otro método para exhibir las probabilidades de transición es usar una matriz de
transición. . La matriz de transición para el ejemplo del diagrama de estados se muestra
en la tabla 4.1 .

Otra forma de exhibir las probabilidades de transición es, para n = 0, 1, 2, .... ,:

El superíndice n no se escribe cuando n = 1.

5
Procesos estocásticos.

Un proceso estocástico se define sencillamente como una colección indexada de

variables aleatorias { Xt }, donde el subíndice t toma valores de un conjunto T dado. Con
frecuencia T se toma como el conjunto de enteros no negativos, y X representa una
característica de interés medible en el tiempo t. Por ejemplo, el proceso estocástico, X 1 ,
X2 , X3, .., puede representar la colección de niveles de inventario semanales (o
mensuales) de un producto dado, o puede representar la colección de demandas
semanales (o mensuales) de este producto.
Un estudio del comportamiento de un sistema de operación durante algún periodo
suele llevar al análisis de un proceso estocástico con la siguiente estructura. En puntos
específicos del tiempo t , el sistema se encuentra exactamente en una de un número finito
de estados mutuamente excluyentes y exhaustivos, etiquetados 0, 1, . . , s. Los periodos
en el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede depender
del comportamiento general del sistema en el que se encuentra sumergido el proceso
estocástico. Aunque los estados pueden constituir una caracterización tanto cualitativa
como cuantitativa del sistema, no hay pérdida de generalidad con las etiquetas numéricas
0, 1, . . , M , que se usarán en adelante para denotar los estados posibles del sistema. De
esta forma, la representación matemática del sistema físico es la de un proceso
estocástico {Xi}, en donde las variables aleatorias se observan en t = 0, 1, 2,. . ., y en
donde cada variable aleatoria puede tomar el valor de cualquiera de los M + 1 enteros 0,
1, .. , M . Estos enteros son una caracterización de los M + 1 estados del proceso.

Propiedad Markoviana de primer orden.

Se dice que un proceso estocástico tiene la propiedad markoviana si

P { Xt+1 = j | X0 = K0 , X1 = K1 , . ., Xt-1 = Kt-1 , = Kt-1, Xt = 1} = P { X t+1 | X1 = i }, para toda t =

0, 1, . . y toda sucesión i, j , K0 , K1 , . . , Ki-1 .

Se puede demostrar que esta propiedad markoviana es equivalente a establecer

una probabilidad condicional de cualquier "evento" futuro dados cualquier "evento "
pasado y el estado actual Xi = i , es independiente del evento pasado y sólo depende del
estado actual del proceso. Las probabilidades condicionales P{ Xt+1 = j | Xt = i } se llaman
probabilidades de transición. Si para cada i y j, P{ Xt+1 = j | | Xt = i } = p{ X1 = j | X0 = i },
para toda t = 0, 1, ....

Entonces se dice que las probabilidades de transición (de un paso) son

estacionarias y por lo general se denotan por pij . Así, tener probabilidades de transición
estacionarias implican que las probabilidades de transición no cambian con el tiempo. La

6
existencia de probabilidades de transición (de un paso) estacionarias también implica que,
para cada i, j y n (n = 0, 1, 2,...),

P{ Xt+n = j | | Xt = i } = p{Xn = j | X0 = i }, Para toda t = 0, 1, . . .

Estas probabilidades condicionales casi siempre se denotan por y se llaman

probabilidades de transición de n pasos. De esta manera, es simplemente la
probabilidad condicional de que la variable aleatoria X, comenzando en el estado i,
se encuentre en el estado j después de n pasos ( unidades de tiempo ).

Como las son probabilidades condicionales, deben satisfacer las propiedades:

Probabilidad de transición de un solo paso.

Ejemplo :

Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede
ordenar cada semana. Sean D1, D2, ...Dn las demandas de esta cámara durante la
primera semana, segunda semana, n-ésima semana, respectivamente. Se supone que las
Di son variables aleatorias independientes e idénticamente distribuidas que tienen una
distribución de probabilidad conocida. Sea X0 el número de cámaras que se tiene en el
momento de iniciar el proceso, X1 el número de cámaras que se tienen al final de la
semana uno, X2 el número de cámaras al final de la semana dos, etc. Suponga que X 0 = 3.
El sábado en la tarde la tienda hace un pedido que le entregan el lunes al momento
de abrir. La tienda usa la siguiente política ( s, S) para ordenar : si el número de cámaras
en inventario al final de la semana es menor que s = 1 (no hay cámaras en la tienda),
ordenar S = 3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras
en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, { Xt } para t = 0, 1, ..n es un proceso estocástico
de la forma que se acaba de describir. Los estados posibles del proceso son los enteros
0, 1, 2, 3, que representan el número posible de cámaras en inventario al final de la
semana.

7
 Se observa que {Xi } ( en donde Xi es el número de cámaras en el almacén al final
de la semana i antes de recibir el pedido ), es una cadena de Markov. Se ve ahora cómo
obtener las probabilidades de transición (de un paso), es decir, los elementos de la matriz
de transición ( de un paso), Suponiendo que cada Dt tiene una distribución Poisson con
parámetro = 1.
P0 P P0 P0 p P1 P P1
P1
=P2 P P2 P2
P3 P P3 P3

Las probabilidades de Poisson para = 1 y diferentes valores de demanda son:

D 0 1 2 3 4 5 6
p( 0.3 0.7 0.9 0.9 0.9 0.9 1.0
D) 68 36 20 81 96 99 00
Para obtener P00 es necesario evaluar P Xt = 0 Xt-1 = 0 . Si Xt-1 = 0,
entonces Xt = máx. (3 Dt , 0 .
Por lo tanto Xt = 0 significa que la demanda durante la semana fue de tres o más
cámaras. Así, P00 = P Dt ≥ 3 = 1 P Dt ≤ 2 = 1 0.920 = 0.080, es la probabilidad
de que una variable aleatoria Poisson con parámetro = 1 tome el valor de 3 o más.
De manera similar se obtiene P10 como P10 = P Xt = 0 Xt-1 = 1 . Si Xt-1 = 1,
entonces Xt = máx. (1 Dt , 0 . Para obtener Xt = 0, la demanda durante la semana
debe ser 1 o más. Por esto, P10 = P Dt ≥ 1 = 1 P Dt = 0 = 1 0.368 = 0.632.
Para encontrar P21 = P Xt = 1 Xt-1 = 2 . Si Xt-1 = 2 y Xt = máx. (2 Dt , 0 , en
consecuencia Xt = 1; entonces la demanda durante la semana tiene que ser exactamente
1, y la probabilidad debe ser de menos de 1.
Esto significa que P21 = P Dt ≤ 1 = P Dt = 0 = 0.368.
Los elementos restantes se obtienen en forma similar, lo que lleva a la siguiente
matriz de transición (de un paso):

0 1 2 3
0 1 – p(2) = . (1 – p(1)) – (1 – p(2)) = (1 – p(0)) – (1 – p(1)) = p(0) =
1 1 – p(0) = .080p(0) = 0.3680.184 0.3680 0.368 0
2 1 – p(1) = .632(1 – p(0)) – (1 – p(1)) = p(0) = 0.368 0
3 1 – p(2) = .264(1 – p(1)) – (1 – p(2)) 0.368= (1 – p(0)) – (1 – p(1)) = p(0) =
080 0.184 0.368 0.368
Probabilidad de transición estacionaria de 1 paso.

8
 p

0 1 2 3
0 . 08 .18 . 36 .36
1 .63 .36 0 0
2 . 08 . 18 . 36 0
3 . . . .36
Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular
estas probabilidades de transición de n pasos:

( ) ( ) ( )
∑

Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en n

pasos, el proceso estará en algún estado k después de exactamente m ( menor que n)
pasos. Así, es solo la probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k después de m pasos y después al estado j en n- m pasos Los
casos especiales de m=1 y m= n-1 conducen a las expresiones:

( )
∑ )( ( )y ( ) ( )

para toda i, j, y n, de lo cual resulta que las probabilidades de transición de n

pasos se pueden obtener a partir de las probabilidades de transición de un
paso de manera recursiva. Para n=2, estas expresiones se vuelven :

9
 ( )∑

Note que las ( ) son los elementos de la matriz P(2) ,pero también debe observarse

que estos elementos ∑

se obtienen multiplicando la matriz de transición de un paso por sí

misma; esto es , p(2) = p * p = p2 .

En términos más generales se concluye que la matriz de probabilidades de transición

de n pasos se puede obtener de la expresión : p(n) = p * p .... p = pn = ppn-1 = pn-1 p.
Entonces, la matriz de probabilidades de transición de n pasos se puede obtener
calculando la n-ésima potencia de la matriz de transición de un paso. Para valores no muy
grandes de n, la matriz de transición de n pasos se puede calcular en la forma que se
acaba de describir, pero cuando n es grande, tales cálculos resultan tediosos y, más aún,
los errores de redondeo pueden causar inexactitudes.

Ejemplo :
Retomando el ejemplo de las cámaras, para p(2) = p2, se tiene:

p * p = p2

0 1 2 3 0 1 2 3 0 1 2
3
0. . . .. . . .. .
. .
* =
108. 18. 360 36008. 18. 360 36024. 28. 300. 16. 263. 36. . 063. 36.
. 028. 25. 233. 23. 326. 36. 36. .26. 36. 36. .35. 31. 233. 09.

Así, dado que se tiene una cámara al final de una semana, la probabilidad de que
( ) no haya
cámaras en inventario dos semanas después es 0.283; es decir, .
De igual manera, dado que se tienen dos cámaras al final de una semana, la
probabilidad de que haya tres cámaras en el almacén dos semanas después es 0.097;
( )
esto es,
La matriz de transición de cuatro pasos también puede obtenerse como:

p(4) = p4 = p(2) * p(2)

p(2) * p(2) = p(4)

10
 0 123012301230.... ........

1 24. 28. 30. 1623.. * 2428.. 2825.. 3023.. 1623.. = 2829..

2828.. 261267.. 1616..
2 28. 25. 23.
3 35. 31. 23. 09. 35. 31. 23. 09. 28. 28. .263 17.
Así, dado que queda una cámara al final de una semana, 0.282 es la probabilidad
( )
de que no haya cámaras en inventario4 semanas más tarde; es decir,

11
De igual manera, dado que quedan dos cámaras en el almacén final de una
semana, se tiene una probabilidad de 0.171 de que haya tres cámaras en el
almacén 4
( )
semanas después; esto es,

Probabilidades de transición estacionaria de estados estables.

Teorema

Sea P la matriz de transición de una cadena de M estados . Existe entonces un

vector tal que

Se establece que para cualquier estado inicial i , .

El vector a menudo se llama distribución de estado estable, o también
distribución de equilibrio para la cadena de Markov. Para encontrar la distribución de
probabilidades de estacionario para una cadena dada cuya matriz de transición es P,

según el teorema, para n grande y para toda i , (1)

Como Pij (n + 1) = ( renglón i de Pn )(columna j de P), podemos escribir
(2)

Ejemplo :

Suponga que toda la industria de refrescos produce dos refrescos , A y B. Cuando

una persona ha comprado el refresco A, hay una probabilidad de 90 % de que su siguiente
compra sea de refresco A. Si una persona compró refresco B, hay un 80 % de
probabilidades que su próxima compra sea de refresco B.
Compra 2

12
Compra 1 Refresco Refresco p = pAA pAB.90
=
.10
Refresco A 90A% 10B%pBA pBB.20
.80
Refresco B 20% 80

13
 Entonces : .90 1+
.20
= .10 1+
1 1 2 .90 .
1 .80
*.20 1. =2
8=
De la condición 1 + 2= 1, 1= 1- 2. Al reemplazar esta expresión en la

segunda ecuación, se tiene:

2=
.10(1 2) + .80 2
2 = .10 .10 2 + .80 2
2 = .10 + .70 2
2 .70 2 = .10
.30 2 = .10
2 =⅓
De la primera ecuación:
1=
.90 1 + .20 2
1 = .90 1 + .20 (⅓)
1 .90 1 = .20 (⅓)
.10 1 = .20 (⅓)
1 = .20 (⅓)
.10
=⅔ 1
Esto significa que, después de largo tiempo, hay ⅔ de probabilidad de que una
persona compre refresco A y ⅓ de probabilidad de que una persona compre refresco B.

Ejemplo :
Cierta compañía se especializa en el arrendamiento de camiones a personas que
desean realizar sus propias mudanzas. El gerente de distribución de la compañía está
considerando la posibilidad de aplicar un “cargo por traslado” para cubrir el costo de enviar
camiones desde áreas en las que hay sobrantes a otras en las que se necesitan. Antes de
decidir si se debe aplicar el cargo por traslado al costo de arrendamiento de los camiones
que se dirigen a áreas en las que hay sobrantes, desea determinar la proporción del
número total de camiones que, a largo plazo, acabarán en cada una de las áreas de renta.
Si las proporciones son aproximadamente las mismas, el cargo por traslado será
innecesario. Si no es así, el cargo dependerá de la proporción del total que termine en
cada región. El gerente de distribución ha dividido la parte del país que atiende la
compañía en tres regiones: norte, centro y sur. De registros previos se ha determinado la
siguiente información, referente a la proporción de camiones que se rentan en
determinada región y dónde se entregan:

14
 Región Región donde se
Centr Sur
Nortrenta e20 % o30 % 50 %
e 30 % 40 % 30 %
Cent 20 % 40 % 40 %

donde se devuelveNort
M.C. José Alberto estrada Beltrán 8
En este momento 40% de los camiones están en el norte, 30% en el centro y 30%
en la región sur.
Dado el patrón de movimiento de los camiones, la compañía está interesada en
saber lo siguiente:
1. ¿ Qué proporción de camiones se encontrará en cada región después de un mes ?¿
Después de dos meses ?
2. Qué proporción de los camiones estará en cada región en un período “largo” ?
DIAGRAMA DE ÁRBOL
Probabilidad
Ubicación Ubicación Ubicación de cada
en el en el en el ubicación
mes 0 mes 1 mes 2 enel mes 2

0.2
0.3
Norte Centro 0.06

0.5

0.2
Norte 0.04

Sur 0.10

Norte 0.09

15
Norte0.3
0.3Centro
0.4

0.3

0.5 Norte 0.10

0.2
0.4
Sur
0.4
Centro 0.12

Sur 0.09

Centro 0.20

Sur 0.20
La probabilidad de estar en el norte en cada uno de los tres meses (mes 0, 1 y 2)
está dada por:
( 0.2 ) * ( 0.2 ) = 0.04
Para determinar la probabilidad de que un camión se encuentre en el norte después
de dos meses, se suman las tres probabilidades de encontrarlo en el norte:
p ( estar en el norte dado que se encontraba en el norte en el mes 0 ) = 0.04 + 0.09 +
0.10 = 0.23 p ( estar en el centro dado que se encontraba en el norte en el mes 0 ) =
0.06 + 0.12 +
0.20 = 0.38 p ( estar en el sur dado que se encontraba en el norte en el mes 0 ) = 0.10 +
0.09 + 0.20 = 0.39
9
Utilizando notación matricial, los cálculos para el mes 1 son:
N C S
N C S N 0 0. 0 N C S
1 0 0 * C 0 = 0. 0 0. 0. 0. S
0 0. 0
Vector de probabilidad Matriz de transición Vector de probabilidad
para comenzar en el de un mes después de un mes norte
Para el segundo mes, los cálculos son:
N C S

16
 N C S N 0 0. 0. N C S
0. 0. 0. * C 0 =0. 0. 0.2 0.3 0.3 S
0 0. 0.
Vector de probabilidad Matriz de transición Vector de probabilidad
Después de un mes de un mes después de dos meses

Estos mismos cálculos se pueden obtener de la siguiente

manera: N C S N CS
N C S NN 0 0. 0 0 0 0 N C S
1 0 0 *C 0. 0 0 0 0 = 0.2 0.3 0.3
S0
0 0. 0 0 0 0
* C
S
Vector de probabi- Matriz de transi- Matriz de transi- Vector de
lidad para ción de un mes ción de un mes probabili-dad
comeen el después de
nortezar 2meses
Para calcular la proporción de camiones que se encontrarán en cada región después
de dos meses, solo se sustituye la porción original de camiones que se encuentra en cada
región y se considera como el vector original de probabilidad, es decir, (0.4, 0.3, 0.3). Así,
los cálculos se convierten en:

N C S N C S N C S
N C S 0 0. 0 0 0 0 NN0.2 0.3
0.3 0. 0 0 0 0
0. 0. 0. * C 0 0. 0 S* 0 0 0 0 C =
S

Proporción de Matriz de transi- Matriz de transi- Proporción de

camiones en el ción de un mes ción de un mes Camiones en el
mes 0 mes 2
Con estos datos se puede dar respuesta a la primera pregunta planteada. Esto
significa que después de dos meses, el 23.6% de todos los camiones se encontrará en el
norte, el 37.7% estarán en la región central y el 38.7% en el sur.
Prop ción cami es Prop ción cami es
or de on N C S or de 1 on
N C S N 0 0 0 N C S
0 0 0 C 0 0 0 0. 0. 0.
. . . S 0. 0. 0. 23 36 41
. . .
Proporción de camiones Proporción de camiones

17
ME 1 N C S MES 2
S
N C S N 0 0 0 N C S
0.2 0.3 0. C 0. 0. 0. 0.23 0.37 0.3
3 6 41 S 0. 0. 0. 6 7 87

A partir del mes 5 se observa estabilidad en los resultados, lo que significa que se
alcanzó el estado estable, es decir, ya se tienen definidas la tendencias a largo plazo,
pues ya no existe variabilidad en los resultados.
Con estos datos se puede dar respuesta a la segunda pregunta planteada. Esto
significa que a largo plazo, el 23.76% de todos los camiones se encontrará en el norte, el
37.62% estarán en la región central y el 38.61% en el sur.

Otro ejemplo:

A Mark Goldman, vicepresidente de la cadena televisora NBS TV Network se le

encargó determinar una política de programación para la cadena. La NBS compite por
captar televidentes con las cadenas de televisión CBC y ABS. Al principio de cada
temporada (en Septiembre), cada una de las cadenas intenta captar una mayor cantidad
de televidentes que sus competidores incluyendo nuevos programas y reprogramando
otros. Goldman se encontraba en problemas porque la NBS había tenido un mal
desempeño en las últimas dos temporadas con el formato de sus programas. También
habían surgido críticas porque la cadena tendía a cancelar los programas con mucha
rapidez si el número de televidentes (“rating” o “tasa de audiencia”) era inicialmente bajo.
Como resultado de las críticas se había decidido no cancelar ningún programa hasta que
fuera evidente que seguiría teniendo un número reducido de televidentes.

18
 Dado que los televidentes normales con bastante frecuencia tenderían a cambiar de
cadena al principio de la temporada con el objeto de ver programas nuevos o de volver a
ver programas antiguos, Goldman ha decidido esperar a que se estabilice la proporción de
televidentes que ven un programa determinado. Le ha pedido a Bill Washington, uno de
sus empleados, que estudie el periodo en el que cada cadena estará ofreciendo un
programa nuevo para que determine cuales serán las proporciones de televidentes finales.
Si Bill puede predecir estos valores, Mark Goldman estará en posibilidades de tomar una
decisión con respecto a un nuevo programa de la NBS, “Investigaciones en la
Universidad”, sin tener que esperar hasta que las preferencias de los televidentes se
vuelvan obvias a través de los datos de los “ratings” o recuentos de tasa de audiencia.
Bill supone que la selección de un televidente específico se ve influenciada más que
nada por el programa más reciente que ha observado en ese periodo y que las
proporciones finales en realidad son valores de estado estacionario. Para ello ha
elaborado la siguiente matriz de transición utilizando datos recopilados en años anteriores
y referentes a la forma en que los televidentes tienden a cambiar, de una cadena a otra,
semana a semana, para el tipo de programas que se considera. Dicha matriz es la
siguiente:
N C A
NB BS0. 0.B 0.B
CBS 0.2 0.4 0.4
ABC 0.3 0.3 0.4
S 2 2 6
En esta matriz, los valores son la fracción de televidentes que verán el programa de
cada cadena durante esta semana, dada la cadena que vieron la semana anterior.
Si la cadena NBS pretende proyectar el programa mencionado “Investigaciones en
la Universidad”, la cadena CBC el programa “Cuatro es una multitud” y la cadena ABS el
programa “Los demonios de Danny”, ¿ qué porcentaje de televidentes se calcula que
observará cada uno de ellos ?

Solución:

Sea S1 = % de televidentes que verán la cadena NBS en el momento del estado estable.
Sea S2 = % de televidentes que verán la cadena CBC en el momento del estado estable.
Sea S3 = % de televidentes que verán la cadena ABS en el momento del estado estable.

0. 0 0S1 = 0.2 S1 + 0.3 S2 +

0.2 *

=
S1 S2 S1 S2 20. 0. 0. S2 = 0.4 S1 + 0.3
S2 + 0.2
SS30. 0. 0.S3 = 0.4 S1 + 0.4 S2 + 0.6
2 . .
Esto nos lleva a: 0.8 S1 + 0.3 S2 + 0.2 S3 = 0

19
 0.4 S1 0.7 S2 + 0.2 S3 = 0
0.4 S1 + 0.4 S2 0.4 S3 = 0
Además: S1 + S2 + S3 = 1
Resolviendo este sistema de ecuaciones se tiene:

S1 = 1 S2 S3
0.8 (1 S2 S3) + 0.3 S2 + 0.2 S3 = 0
0.4 (1 S2 S3) 0.7 S2 + 0.2 S3 = 0
0.4 (1 S2 S3) + 0.4 S2 0.4 S3 = 0

0.8 S2 + 0.8 S3 + 0.3 S2 + 0.2 S3 = 0.8

0.4 S2 0.4 S3 0.7 S2 + 0.2 S3 = 0.4
0.4 S2 0.4 S3 + 0.4 S2 0.4 S3 = 0.4

1.1 S2 + 1.0 S3 = 0.8

1.1 S2 + 0.2 S3 = 0.4
0.8 S3 = 0.4

S3 = 0.4 S3 = 0.5 1.1 S2 + 1.0 (0.5) = 0.8 S2 = 0.272727

0.8
S1 = 1 (0.272727) (0.5) S1 = 0.227273

Esto significa que cuando se alcance el estado estable, es decir, cuando los
televidentes tengan bien definidas sus preferencias por las cadenas de televisión, el
22.72% verán la cadena NBS, el 27.27% de televidentes verán la cadena CBC y el 50%
restante verán la cadena ABS.
Estos resultados tan bajos para las expectativas de la cadena NBS hacen que Mark
Goldman pueda tomar decisiones al respecto.

Uso de sofware

La opcion Nuevo Problema (New Problem)

genera una plantilla llamada
Especificaciones del problema PMK (MKP
Problem Specification) en la cual, se introduciran las caracteristicas de nuestro problema:

20
Para comenzar a armar un problema de este tipo es necesario ingresar
los campos:
• Título del problema (Problem Title)
• Número de estados (Number of States)

Un sistema existe en estados diferentes (o condiciones). A traves del tiempo, el sistema se

movera de un estado a otro estado.
El proceso de Markov normalmente se usa para caracterizar estos movimientos o
transiciones.

Para describir y analizar un proceso de Markov, definimos las terminologias siguientes:

Estado: una condición particular del sistema, i = 1, 2,..., n.
Probabilidad de estados s(i): la probabilidad de que el sistema se encuentre en el estado i
Probabilidad de transición p(i,j): la probabilidad de que el sistema se mueva del estado i al
estado j S(t): conjunto de todos s(i) en momento t, Es(i) = 1 P: matriz de transición p(ij),
dónde i=1,2,.., m yj = 1, 2,..., n

Dado el sistema en el momento t con las probabilidades de estado S(t), entonces en el

momento t+1, el sistema se expresara por S(T+1) = S(T) P
Y en el t+2 , el sistema se expresara por S(T+2) = S(T) PP = S(T) p2
Y en t+3, el sistema se expresara por S(T+2) = S(T) PPP = S(T) p3
Si las probabilidades de estado n cambian de periodo a periodo, el Sistema se encuentra en
estado estable. No todo sistema tiene un estado estable.
Si el sistema alcanza el estado estable, las probabilidades de estado estable, diganos S,
tendran las propiedades siguientes: §=$P (1)
La ecuacion (1) representa un conjunto de n ecuaciones simultaneas con n variables de
probabilidad de estado.

21
Para obtener las probabilidade estado estable, reemplace cualquiera de las ecuaciones en
(I) con 25(1)= 1 y resuelva las n nuevas ecuaciones sinultanease

La plantilla vacía representa una matriz con las relaciones entre los estados (State), sus
probabilidades iniciales (Initial Prob.) y el costo de cada uno de ellos (State Cost).

En el menú Resolver y analizar (Solve and Analyze) tenemos las opciones de Resolver los
estados completos (Solve Steady State) o mostrar el Proceso de Markov por pasos (Markov
Process Step)

22
Resolviendo el ejercicio paso a paso

Regresando a la matriz inicial y tomando la segunda opción del menú Resolver y analizar
(Solve and Analyze) tenemos una ventana que nos permite controlar las iteraciones del
proceso:

23
Podemos observar el Número de periodos procesados (The Number of Time Periods from
Initial).

Pulsemos en el botón NEXT PERIOD y luego en el botón OK:

Para el periodo dos (recuerde pulsar en NEXT PERIOD seguido del botón OK):

En la columna Probabilidad del estado resultante (Resulted State Probability) se muestran

las probabilidades para los periodos. Pulsando es el botón STEADY STATE alcanzamos la
matriz estable:

24
25
CONCLUSIÓN

Las cadenas de Markov son una herramienta fundamental en la investigación de operaciones,

ya que permiten modelar y analizar sistemas complejos que evolucionan en el tiempo de una
manera probabilística. En un contexto de toma de decisiones, estas cadenas proporcionan
una estructura para comprender y predecir comportamientos futuros en situaciones en las que
el futuro depende solo del estado presente, sin considerar el historial de estados anteriores, lo
que facilita la simplificación y resolución de problemas.
En la investigación de operaciones, las cadenas de Markov se aplican en una amplia gama de
escenarios, desde la planificación y control de inventarios hasta la gestión de proyectos y la
optimización de procesos. Su capacidad para modelar la evolución de sistemas dinámicos es
especialmente relevante en la toma de decisiones bajo incertidumbre, permitiendo evaluar y
prever estados futuros y las probabilidades asociadas a estos estados, lo que resulta valioso
para la planificación estratégica y la toma de decisiones informadas.
En el análisis de inventarios, por ejemplo, las cadenas de Markov se utilizan para comprender
cómo varían los niveles de existencias con el tiempo y cómo estas variaciones afectan el
desempeño general del inventario. Esto ayuda a determinar los niveles óptimos de reorden y
reducir costos asociados con el almacenamiento y la escasez de productos.
En la gestión de proyectos, estas cadenas son aplicadas para modelar el progreso de
diferentes etapas de un proyecto y evaluar el tiempo y recursos necesarios para completar
cada fase, lo que resulta esencial para la planificación eficiente y la identificación de cuellos
de botella.
La optimización de procesos también se beneficia de las cadenas de Markov al modelar cómo
fluyen los recursos a través de diferentes estados en un sistema, lo que permite identificar
áreas de mejora y maximizar la eficiencia operativa.
En resumen, las cadenas de Markov son una herramienta poderosa en la investigación de
operaciones debido a su capacidad para modelar sistemas dinámicos y complejos, ayudando
a comprender la evolución de los mismos y facilitando la toma de decisiones estratégicas
mediante la evaluación de escenarios futuros y la probabilidad asociada a ellos. Su
aplicabilidad abarca una amplia gama de campos, contribuyendo significativamente a la
optimización y la eficiencia en la gestión de operaciones.

REFERENCIAS
Taha, H. (2011). Investigación de operaciones. Editorial Pearson. § Hillier,
F. & Lieberman, G. (2015). Investigación de operaciones. McGraw-Hill
A.T. Bharucha-Reid (1960). “Elements Of The Theory of Markov Processes
Emilia-Saez-Cardenas. (2022). Cadenas de Markov Investigación de
Operaciones 2. dokumen.tips. https://dokumen.tips/documents/cadenas-de-

1
markov-investigacion-de-operaciones-2.html?page=1
And Their Applications”. McGraw Hill Series in Probability and Statistics.
Eugenia-Quijano. (2022). Investigación de Operaciones II UNIDAD 4
Cadenas de
Markov. dokumen.tips. https://dokumen.tips/documents/investigacion-de-
operaciones-ii-unidad-4-cadenas-de-markov.html?page=29