INVESTIGACION DE OPERACIONES II

INSTITUTO TECNOLOGICO SUPERIOR DE CALKINI

EN EL ESTADO DE CAMPECHE INGENI

ERIA INDUSTRIAL MATERIA: INVESTIGACIN DE OPERACIONES II INC-1019 TRABAJO DOCUMENTAL PROFRE: GOMEZ KU RICARDO
Unidad 4: cadenas de Markov 1

INVESTIGACION DE OPERACIONES II 7 SEMESTRE GRUPO: A

CALKINI, CAMP., 20 DE SEPTIEMBRE DE 2010 NDICE CAPITULO I OBJETIVOS Y/O COMPETENCIAS....3

CAPITULO II INTRODUCCIN.4

CAPITULO III 4. CADENAS DE MARKOV6

INVESTIGACION DE OPERACIONES II

4.1. INTRODUCCIN A LAS CADENAS DE MARKOV...6

4.2. PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS.9

4.3. ESTADO ESTABLE16 4.4. ESTADOS ABSORBENTES..23

4.5. USO DE SOFTWARE

CONCLUSIN..28

BIBLIOGRAFIA.29

CAPITULO I

UNIDAD 4: CADENAS DE MARKOV

Competencia especifica a desarrollar

Actividades de Aprendizaje
Identificar las caractersticas de

para la resolucin de problemas.

los modelos y problemas de Cadenas de Markov.

Unidad 4: cadenas de Markov 3

INVESTIGACION DE OPERACIONES II Utilizacin de software Formular y resolver problemas

en sistemas que se pueden modelar por el mtodo de cadenas de Markov.

Establecer

y explicar las conclusiones y recomendaciones para sistemas de este tipo.

CAPITULO II INTRODUCCIN En las cadenas de Markov considera ciertos puntos discretos en el tiempo tk, para k toma valores de 1, 2, 3,. Y tk la variable aleatoria que caracteriza al sistema tk. Y la familia de las variables aleatorias tk forma un proceso llamado proceso estocstico. Entonces las cadenas de Markov se usan para estudiar ciertos comportamientos de largo y cortos plazos de sistemas estocsticos. Para un proceso de Markov es un sistema estocstico siempre que cumpla con la propiedad Markoviana.
Unidad 4: cadenas de Markov 4

INVESTIGACION DE OPERACIONES II

Los estados en el tiempo tk representan situacin exhaustiva y mutuamente excluyentes del sistema en un tiempo especfico. Adems el nmero de estado puede ser finito o infinito. Un ejemplo es el juego de lanzar la moneda. Por lo general una cadena de Markov describe el comportamiento de transicin de un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen situaciones donde los espaciamientos temporales dependen de las caractersticas del sistema y por ello, pueden no ser iguales entre s. Estos casos se denominan cadenas de Markov incrustadas. Con las probabilidades absolutas y de transicin se pueden hacer predicciones de comportamientos futuros como las que se observaron en las situaciones anteriores. As, si llamamos estados a cada una de estas posibilidades que se pueden presentar en un experimento o situacin especfica, entonces podemos visualizar en las Cadenas de Markov una herramienta que nos permitira conocer a corto y largo plazo los estados en que se encontraran en periodos o tiempos futuros y tomar decisiones que afectarn o favorecern nuestros intereses. Las probabilidades absolutas y de transicin son exhaustivas y mutuamente excluyentes de un experimento aleatorio en cualquier tiempo. Las cadenas de Markov son modelos probabilsticos que se usan para predecir la evolucin y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinmica de las averas de mquinas para decidir poltica de mantenimiento; evolucin de una enfermedad. Las cadenas de Markov se pueden aplicar en reas como la educacin, comercializacin, servicios de salud, finanzas, contabilidad y produccin. En este captulo se analizan las ideas bsicas necesarias para entender las cadenas de Markov. Muchas de las aplicaciones interesantes de las cadenas de Markov tienen que ver con cadenas en las que algunos de los estados son absorbentes y el resto son estados transitorios

Obj100

Estado estable es una matriz de transicin de una cadena ergodiga, en la cual existe un vector, que tambin es llamado distribucin de estado estable o distribucin de equilibrio, para la cadena de Markov. Cuenta con interpretacin intuitiva de probabilidades el cual se obtiene restando de ambos lados de la ecuacin de probabilidad.
Unidad 4: cadenas de Markov 5

INVESTIGACION DE OPERACIONES II

CAPITULO III 4. CADENAS DE MARKOV 4.1-. INTRODUCCIN A LAS CADENAS DE MARKOV LAS CADENAS DE MARKOV Considere los puntos discretos en el tiempo tk para k=1,2 y sea tk la variable aleatoria que caracteriza el estado del sistema tk. La familia de variables aleatorias tk forma un proceso estocstico. Los estados en el tiempo tk
Unidad 4: cadenas de Markov 6

INVESTIGACION DE OPERACIONES II

representan realmente las situaciones (exhaustiva y mutuamente excluyentes) del sistema en ese tiempo especfico. El nmero de estados puede ser entonces finito o infinito. Por ejemplo, la distribucin de Poissn Pnt=e-ttnn!

Representa un proceso estocstico con un nmero infinito de estados. Variable aleatoria n representa aqu el numero de sucesos entre o y t (suponiendo que el sistema comienza en el tiempo 0). Los estados del sistema en cualquier tiempo t estn dados por n=0,1,2 Otro ejemplo: es el juego de lanzar la moneda con k lanzamientos. cada lanzamiento se puede interpretar como un punto en el tiempo. La secuencia resultante de lanzamientos constituye un proceso estocstico. El estado del sistema en cualquier lanzamiento es guila o sol, o bien, cara o cruz. Una cadena de Markov es en realidad un caso especial de procesos de Markov. Se usa para estudiar el comportamiento a corto y largo plazo de ciertos sistemas estocsticos. PROCESOS DE MARKOV Un proceso de Markov es un sistema estocstico en el que la ocurrencia de un estado futuro depende del estado inmediatamente precedente y slo de l. As, si t0<t1<tnn=0,1,2, representa puntos en el tiempo, la familia de variables aleatorios tk es un proceso de Markov, si sta posee la siguiente propiedad Markoviana: Ptn= xntn-1, , t0=x0= Ptn= xntn-1=xn-1 Para todos los valores posibles de t0, t1,,tn. La probabilidad Pxn-1 ,xn=Ptn=xntn-1=xn-1 se llama probabilidad de transicin. Representa la probabilidad condicional de que el sistema est en xn en tn, dado que estaba en xn-1 en tn-1. Esta propiedad tambin se denomina probabilidad de transicin de un paso, ya que describe al sistema entre tn-1 y tn. Una propiedad de transicin de m pasos se define entonces como: Pxn,xn+m=Ptn+m=xn+mtn=xn CADENAS DE MARKOV
Unidad 4: cadenas de Markov 7

INVESTIGACION DE OPERACIONES II

Sean E1,E2,, Ejj=0,1,2, los estados exhaustivos y mutuamente excluyentes de un sistema en un tiempo cualquiera. Inicialmente, en el tiempo t0, el sistema puede estar en cualquiera de esos estados. Sean aj0j=0,1,2, las probabilidades absolutas de que el sistema se encuentra en el estado Ej en t0. Suponga adems que el sistema es Markoviana. Definimos Pij=Ptn=jtn-1=i Como la probabilidad de transicin de un paso, de pasar del estado i en tn-1 al estado j en tn, suponemos que esas probabilidades de transicin del estado Ei al estado Ej se pueden arreglar ms conveniente en forma de matriz como sigue: P=p00p10p20p30 p01p11p21p31 p02p12p22p32 p03p13p23p33

La matriz P se denomina matriz estocstica o matriz de transicin homognea por que todas las probabilidades de transicin Pij son fijadas e independientes del tiempo. Las probabilidades Pij deben satisfacer las condiciones jPij=1, para toda i Pij0, para toda i y j Debemos definir ahora una cadena de Markov. Una matriz p de transicin junto con las probabilidades inciales aj0, asociados con los estados Ej, definen completamente una cadena de Markov. Se piensa por lo general que una cadena de Markov describe el comportamiento de transicin de un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen situaciones donde los espaciamientos temporales dependen de las caractersticas del sistema y por ello, pueden no ser iguales entre s. Estos casos se denominan cadenas de Markov incrustadas. CLASIFICACIN DE LOS ESTADOS EN LA CADENAS DE MARKOV Al usar el anlisis de las cadenas de Markov seria interesante estudiar el comportamiento del sistema en un periodo corto. En este caso, las probabilidades absolutas se calculan como en la seccin precedente. Sin embargo, un estudio ms importante tendra que ver con el comportamiento a largo plazo del sistema, o sea, cuando el nmero de transicin tendiese a infinito. En tal caso, el anlisis presentado en la seccin precedente es inadecuado, y es necesario encontrar un procedimiento sistemtico que prediga el comportamiento del sistema a largo
Unidad 4: cadenas de Markov 8

INVESTIGACION DE OPERACIONES II

plazo. Esta seccin presenta definiciones de la clasificacin de los estados en las cadenas de Markov que sern tiles al estudiar el comportamiento de los sistemas a largo plazo. CADENA DE MARKOV IRREDUCIBLE Se dice que una cadena de Markov es irreducible si cada estado Ej se puede alcanzar desde cualquier otro estado Ei despus de un nmero finito de transiciones; o sea, para i j, Pijn>0, para 1 n < En este caso, todos los estados de la cadena se comunican.

CADENAS ERGDICAS DE MARKOV Una cadena de Markov irreducible es ergdica si todos sus estados son ergdicos. En este caso la distribucin de probabilidad absoluta an=a0Pn Siempre converge unvocamente a una distribucin lmite cuando n, donde la distribucin lmite es independiente de las probabilidades inciales a0. Ahora podemos anunciar el siguiente teorema: Teorema 18.6-1 Todos los estados en una cadena de Markov infinita irreducible pueden pertenecer a una, y solo una, de las siguientes tres clases: estados transitorios, estados recurrentes nulos o estados recurrentes no nulos. En cada caso, todos los estados se comunican y tienen el mismo periodo. En el caso especial cuando la cadena tenga un nmero finito de estados, la cadena no puede constar solo de estados transitorios, ni tampoco puede contener algn estado nulo.

4.2 PROBABILIDAD ABSOLUTAS Y DE TRANSICIN Dadas ajo y P de una cadena de Markov, las probabilidades absolutas del sistema despus de un nmero especifico de transicin se determina como sigue. Sean ajn las probabilidades absolutas del sistema despus n transicin, o sea, en tn. La expresin general para ajn en trminos de aj0 y P, se puede encontrar como sigue:
Unidad 4: cadenas de Markov 9

INVESTIGACION DE OPERACIONES II

aj1=a10P1 j+a20P2 j+a30P3 j+=ai0Pij Tambin aj2=iai1Pij=ikak0Pki=Pij=kak0iPkiPij=kak0Pkj2 Donde Pkj2=iPkiPij es la probabilidad de transicin de segundo orden o de dos pasos, o sea, es la probabilidad de pasar del estado k al estado j en exactamente dos transiciones. De igual manera se puede demostrar por induccin que ajn=iai0kPikn-1Pkj=iai0Pijn Donde Pijn es la probabilidad de transicin de orden n o de n pasos dada por la formula recursiva pijn= kPikn-1Pkj En general, para toda i y j, Pijn=kPikn-mPkjm, 0<m<n

Estas son las ecuaciones de Chapman-Kolomogorov. Los elementos de una matriz de transicin de orden superior Pijn se pueden obtener en forma directa por multiplicacin matricial. As, Pij2=Pij Pij=P2 Pij3=Pij2 Pij=P3 Y en general, Pijn=Pn-1P=Pn Por consiguiente, si las probabilidades absolutas se definen en forma vectorial como an=a1n, a2n,a3n, Entonces an=a0Pn Ejemplo 18.6-1 Considere la siguiente cadena de Markov con dos estados,
Unidad 4: cadenas de Markov 10

INVESTIGACION DE OPERACIONES II

P=.2.8.6.4 Con an=0.70.3. Determine a1,a4y a8.

P2=.2.8.6.4.2.8.6.4=.52.48.36.64 P4=P2P2=.52.48.36.64.52.48.36.64.443.557.417.583 P8=P4P4=.443.557.417.583.443.557.417.583.4281.5719.4274.5726 Entonces a1=.7.3.2.8.6.4=.32.68 a4=.7.3.443.557.417.583=.435.565 a8=.7.3.4281.5719.4274.5726=.4279.5721 El resultado interesante es que las filas de P8 tienden a ser idnticas. Tambin, a8 tienden a ser idnticas con las filas de P8. Este resultado tiene que ver con las propiedades a largo plazo de las cadenas de Markov que, como se muestra en esta seccin, implica que las probabilidades absolutas a largo plazo son independientes de a0. En este caso las probabilidades resultantes se denominan probabilidades de estado estable. Probabilidades de transicin en la n-sima etapa Suponga que se est estudiando una cadena de Markov con una matriz de probabilidad de transicin conocida P. (Puesto que las cadenas con las se tratara son estacionarias, no nos molestaremos en marcar nuestras cadenas de Markov como estacionarias). Una pregunta de inters es: si una cadena de Markov est en estado i en el tiempo m, Cul es la probabilidad de que n periodos despus la cadena est en el estado j? Puesto que se trata con una cadena de Markov estacionaria, esta probabilidad es independiente de m, as que se podra escribir P=Xm+n=jXm=i=PXn=jX0=i=Pij(n) Donde Pij(n) se llama probabilidad del n-simo paso de una transicin del estado i al estado j. Resulta claro que Pij1=pij. Para determinar Pij(2), observe que si el sistema ahora est en el estado i, entonces para que el sistema termine en el estado j dos
Unidad 4: cadenas de Markov 11

INVESTIGACION DE OPERACIONES II

periodos a partir de ahora, se debe ir del estado i a algn estado k y luego del estado k al estado j (vase la figura 3). Este razonamiento nos permite escribir Pij2=k=1k=s(probabilidad de transicin de i a k) X (probabilidad de transicin de k a j) Usando la definicin de P, la matriz de probabilidad de transicin, se reescribe la ultima ecuacin como Pij2=k=1k=s(PikPkj) El lado dere3cho de (3) es solo el producto escalar del rengln i de la matriz P con la columna J de la matriz P. por consiguiente, Pij(2) es el ij-simo elemento de la matriz P2. Al ampliar este razonamiento, se puede demostrar que para n>1, Pijn=ij-simo elemento de Pn Por supuesto, para n=0, Pij0=PX0=jX0=i, as que se debe escribir Pij0=1 si j=i0 si ji

Se ilustra el uso de la ecuacin (4) en el ejemplo 4.

Unidad 4: cadenas de Markov 12

INVESTIGACION DE OPERACIONES II
Estado 1 Pi1 Pi2 i Pik 2 . . . k . . . s P2j j Pk j P1j

Pis

Psj

Tiempo 0

Tiempo 1

Tiempo 2

FIGURA 3 Pij2=pi1p1j+pi2p2j++pispsj

Ejemplo 4

ejemplo de la bebida de cola

Suponga que toda la industria de bebidas de cola produce solo dos. Dado que una persona la ltima vez compro cola 1, hay 90% de probabilidades de que su siguiente compra sea cola 1. Dado que la ultima compra de una persona fue cola 2, hay 80% de probabilidades de que su siguiente compra sea cola 2. 1. Si una persona en la actualidad es comprador de cola 2, cul es la probabilidad de que compre cola 1 dos veces a partir de ahora? 2. Si una persona en la actualidad es comprador de cola 1, cul es la probabilidad de que compre cola 1 tres ocasiones a partir de ahora? Solucin Veamos la compra de cada persona como una cadena de Markov con el estado, en cualquier tiempo dado, del tipo de cola que compro la persona en la ltima vez. As, las compras de cada individuo pueden representarse como una cadena de Markov de dos estados, donde Estado 1= La persona compro cola del tipo 1 la ltima vez. Estado 2= La persona compro cola del tipo 2 la ltima vez.
Unidad 4: cadenas de Markov 13

INVESTIGACION DE OPERACIONES II

Si se define Xn como el tipo de cola que una persona compra en su n-sima compra futura (compra actual de cola = X0), entonces X0,X1, se podra escribir como la cadena de Markov con la siguiente matriz de transicin: P=Cola 1Cola 2Cola 1 Cola 2.90 .10.20 .80

Ahorra se pueden contestar las preguntas 1 y 2. 1 Se busca P=X2=1X0=2=P212=elemento 21 de P2: P2=.90.10.20.80.90.10.20.80=.83.17.34.66 Por consiguiente, P212=.34. Esto significa que la probabilidad de que un bebedor de cola 2 en el futuro compre dos veces cola 1 es .34. Mediante la teora de probabilidad bsica, se podra obtener esta respuesta de una manera distinta (vase la figura 4). Observe que P212= (probabilidad de que la siguiente compra sea cola 1 y la segunda compra sea cola 1) + (probabilidad de que la siguiente compra sea cola 2 y la segunda compra sea cola 1) = p21p11+p22p21=.20.90+.80.20=.34. 2 Se busca P113=elemento 11 de p3: P3=PP2=.90.10.20.80.83.17.34.66=.781.219.438.562 Por lo tanto, P113=.781.
P 22=.80 Cola 2 P 21=.20 Cola 1 P 21=.20 Cola 1

Cola 2

P 11=.90

Tiempo 0

Tiempo 1

Tiempo 2

Figura 4 La probabilidad de que dos periodos a partir de ahora, un comprador de cola 2 compre cola 1 es .20.90+.80.20=.34

Unidad 4: cadenas de Markov 14

INVESTIGACION DE OPERACIONES II

q1

P 1j(n) P 2j(n)

q2
. . .

2 Pij(n) i P sj(n) s j

qi
. . .

qs

Tiempo 0

Tiempo n

Figura 5 Determinacin de la probabilidad de estar en el estado j en el tiempo n cuando se desconoce el estado inicial. En muchas situaciones, no se conoce el estado de la cadena de Markov en el tiempo 0. Como se define en la seccin 17.2, sea qi la probabilidad de que la cadena este en el estado i en el tiempo 0. Entonces se puede determinar la probabilidad de que el sistema est en el estado i en el tiempo n por medio del siguiente razonamiento (vase la figura 5). La Probabilidad de estar en el estado j en el tiempo n =i=1i=s(probabilidad de qu el estado sea originalmente i) X (probabilidad de ir de i a j en n transiciones) =i=1i=sqiPij(n) = q (columna j of Pn) Donde q=[q1 q2 qs].

Para ilustrar el uso de (5), se contesta la siguiente pregunta: suponga que 60% de las personas en la actualidad beben cola 1 y 40% beben cola 2. Tres compras a partir de ahora, qu fraccin de los compradores estar bebiendo cola 1? Puesto que q=[.60 .40] y q=(columna 1 de P3) = probabilidad de que tres compras a partir de ahora una persona bebe cola 1, la probabilidad deseada es .60 .40.781.438=.6438

Unidad 4: cadenas de Markov 15

INVESTIGACION DE OPERACIONES II

Por consiguiente, tres compras a partir de ahora, 64% de los compradores estarn comprando cola 1. Para ilustrar el comportamiento de las probabilidades de transicin del paso n para valores grandes de n, se calcularon varias probabilidades de transicin del nsimo paso para el ejemplo de cola en la tabla 2. Tabla 2 Probabilidades de transicin del n-simo paso para bebedores de refresco de cola. n 1 2 3 4 5 10 20 30 40 P11( n) .90 .83 .78 .75 .72 .68 .67 .67 .67 P12( n) .10 .17 .22 .25 .28 .32 .33 .33 .33 P21( n) .20 .34 .44 .51 .56 .65 .67 .67 .67 P22( n) .80 .66 .56 .49 .44 .35 .33 .33 .33

Para n grande, tanto P12(n) como P21(n) son casi constantes y se aproxima a . 67. Esto significa que para n grande, sin importar el estado inicial, hay una probabilidad .67 de que una persona sea un comprador de cola 1. De manera similar, se ve que para n grande, tanto P12(n) como P22(n) son casi constantes y se aproxima a .33. Esto significa que para n grande, sin importar el estado inicial, hay una probabilidad .33 de que una persona sea comprador de cola 2. En la seccin 5.5, se hace un estudio completo de este planteamiento de todas las probabilidades de transicin del paso n.

4.3 ESTADO ESTABLE

INVESTIGACION DE OPERACIONES II

Probabilidades de estado estable y tiempos promedio de primer pas En el estudio del ejemplo de cola (ejemplo 4), se encontr que despus de un largo tiempo, la probabilidad de que la siguiente vez que una persona compre bebida de cola sea cola 1 se aproxima a .67 y.33 de que sera cola 2 (vase la tabla 2). Estas probabilidades no dependen de si la persona tomaba cola 1 o cola 2.en esta seccin, se analiza el concepto importante de probabilidades de estado estable, que se pueden usar para describir el comportamiento a largo plazo de una cadena de Markov. El siguiente resultado es vital para comprender las probabilidades de estado estable y el comportamiento a largo plazo de las cadenas de Markov. TEOREMA 1 Sea P la matriz de transicin de una cadena ergdico de estado estable. Entonces existe un vector =1 2 s tal que limPnn=12s12s12s Recuerde que el ij-esimo elemento de Pn es Pijn. El teorema 1 establece que para cualquier estado inicial i, limPijn=jn

Obj103 Obj102 Obj101

Observe que para n grande, tiende a una matriz con renglones idnticos. Esto significa que despus de un largo tiempo, la cadena de Markov se estabiliza, e (independientemente del estado inicial i) hay una probabilidad de que se est en el estado .

Obj104

El vector se llama distribucin de estado estable o distribucin de equilibrio, para la cadena de Markov. Para una cadena determinada con matriz de transicin P, Cmo se puede hallar la distribucin de probabilidad de estado estable? A partir del teorema 1, se observa que para n grande y toda i,

Obj105

(6)
Unidad 4: cadenas de Markov 17

INVESTIGACION DE OPERACIONES II

Obj107 Obj106

Puesto que (rengln i de ) (columna j de P), se podra escribir

Obj108

(7) Si n es grande, sustituyendo la ecuacin (6) en la (7), se obtiene

Obj109

(8) En forma de matriz, (8) se podra escribir como

Obj110

(8`)

Obj111

Infortunadamente, el sistema de ecuaciones especificado en (8) tiene un nmero infinito de soluciones, debido a que el rango de la matriz P siempre resulta ser (vase capitulo 2, problema de repaso 21). Para obtener los valores nicos de la probabilidad de estado estable, observe que para cualquier n y cualquier i,

Obj112

(9)

Haciendo que n tienda a infinito en (9), se obtiene

Obj113

(10)

As, despus de sustituir cualquiera de las ecuaciones en (8) con (10), se puede usar la ecuacin (8) para resolver las probabilidades de estado estable.
Unidad 4: cadenas de Markov 18

INVESTIGACION DE OPERACIONES II

Para ilustrar como encontrar las probabilidades de estado estable, se determinan las probabilidades de estado estable para el ejemplo 4, el ejemplo de la bebida de cola. Recuerde que la matriz de transicin para el ejemplo 4 fue,

Obj114

Entonces con la ecuacin (8) o la ecuacin (8`), se obtiene

Obj115

Obj116

Obj117

Sustituyendo la segunda ecuacin con la ecuacin , se obtiene el sistema

Obj118

Obj124 Obj123 Obj122 Obj121 Obj120 Obj119

Resolviendo para y , se obtiene y . Por consiguiente, depuse de un largo tiempo, hay una probabilidad de que de que una persona determinada compre cola 1 una probabilidad de que un apersona especifica compre cola 2.

Anlisis transitorio Un vistazo a la tabla 2 muestra que para el ejemplo 4, el estado estable se alcanza (a dos decimales) Despus de diez transiciones. Ninguna regla general se puede expresar acerca de que tan rpido una cadena de Markov alcanza el estado estable, pero si P contiene muy pocos elementos que estn cerca de 0 o cerca de 1, por lo general el estado estable se alcanza muy rpido. El comportamiento de
Unidad 4: cadenas de Markov 19

INVESTIGACION DE OPERACIONES II

una cadena de Markov antes de alcanzar el estado estable se llama comportamiento transitorio (o de corrida corta). Para estudiar el comportamiento transitorio de una cadena de Markov, simplemente se utilizan las formulas para Pijn dadas en (4) y (5). Sin embargo, es bonito saber que para n grande, las probabilidades de estado estable describen con precisin la probabilidad de estar en cualquier estado.

Interpretacin intuitiva de las probabilidades de estado estable. Se puede dar una interpretacin intuitiva a las ecuaciones de probabilidad de estado estable (8). Restando jpjj de ambos lados de la ecuacin (8), se obtiene j1-pjj=kjjpkj (11)

La ecuacin (11) establece que en el estado estable, Probabilidad de que una transicin particular deje el estado j = probabilidad de que una transicin particular entre al estado j (12)

Recuerde que en el estado estable, la probabilidad de que el sistema este en el estado j es j. De esta observacin, se deduce que, Probabilidad de que una transicin particular deje el estado j = (probabilidad de que el periodo actual comience en j) x (probabilidad de que la transicin actual deje o salga de j) =j1-pjj Y Probabilidad de que una transicin particular entre al estado j =k(Probabilidad de que el periodo actual comience en kj) x (probabilidad de que la transicin actual llegue a j) =kjjpkj

Unidad 4: cadenas de Markov 20

INVESTIGACION DE OPERACIONES II

La ecuacin (11) es razonable; si para cualquier estado se violara la ecuacin (11), entonces para algn estado j, el lado derecho de (11) seria mayor que el lado izquierdo de (11). Esto dara como resultado la probabilidad de aplicar en el estado j, y no existira una distribucin de probabilidad de estado estable. Se podra considerar que el estado estable la ecuacin (11) establece que el flujo de probabilidad hacia cado estado debe ser igual al flujo de probabilidad que sale de cada estado. Esto explica porque las probabilidades de estado estable suelen llamarse probabilidades de equilibrios.

USO DE LAS PROBABILIDADES DE ESTADO ESTABLE EN LA TOMA DE DECISIONES Ejemplo 5 Refresco de cola (continuacin) En el ejemplo 4, suponga que cada cliente realiza una compra de refresco de cola durante cualquier semana (52 semanas = 1 ao). Suponga que hay 100 millones de clientes que consumen refrescos de cola. A la compaa le cuesta 1 dlar producir un refresco de cola y lo vende en 2 dlares. Por $500 millones al ao, una empresa publicitaria garantiza disminuir de 10 a 5 % la fraccin de clientes de cola 1 que cambia a cola 2 despus de una compra. Debe la compaa que fabrica cola 1 comprar a la empresa publicitaria?

Solucin En la actualidad, una fraccin 1=23 de la compra es de cola 1. Cada compra de cola 1 produce a la compaa una ganancia de dlar. Puesto que hay un total de 52(100 000 000), o 5.2 miles de millones, compra de cola cada ao, la ganancia anual actual de la compaa que produce cola 1 es 235 200 000 000=$3 466 666 667 La compaa publicitaria esta ofreciendo cambia la matriz P a p1=.95.05.20.80 Para P1, la ecuacin de estado estable son
Unidad 4: cadenas de Markov 21

INVESTIGACION DE OPERACIONES II

1=.951+.202 2=.051+.802 Sustituyendo la segunda ecuacin por 1+2=1 y resolviendo, se obtiene 1=.8 y 2=.2. Ahora la ganancia anual de la compaa que produce cola 1 ser .805 200 000 000-500 000 000=$3 660 000 000 Por lo tanto, la compaa que produce cola 1 debe contratar a la agencia de publicidad. Ejemplo 6 Jugando monopolio con la suposicin de cada jugador de monopolio que va a la crcel permanentemente por all hasta que obtenga pares o haya pasado tres turnos en la crcel, Ash y Bishop (1972) determinaron la probabilidad de estado estable de que un jugador ubicado en cualquier cuadro de monopolio (vase la tabla 3). Las probabilidades de estado estable se pueden usar para medir la rentabilidad de barios monopolios. Por ejemplo, en el monopolio naranja cuesta 1500 dlares construir hoteles. Cada vez que un jugador se hospeda en un hotel de avenida Tennessee o de St. James place, el dueo del monopolio recibe 950 dlares, y cada vez que un jugador llega a un hotel de avenida nueva york, el dueo recibe 1000 dlares. De la tabla 3, se calcula la renta esperada por lanzamiento de los dados que obtiene el monopolio naranja:

950.0335+950.0318+1000.0334=$95.44 Asi por dlar invertido, el monopolio naranja produce 95.441500=$0.064 por lanzamiento de los dados. Ahora, considere el monopolio verde. Poner hoteles en el monopolio verde cuesta 3000 dolares. Si un jugador llega a un hotel de avenida carolina del norteo de avenida pacifico, el dueo recibe 1275 dolares, si un jugador llega a un hotel de avenida Pensilvania, el dueo recibe 1400. De la tabla 3, el ingreso promedio por lanzamiento de los dados obtenidos de los hoteles en el monopolio verde es:

1275.0294+1275.0300+1400.0279=$114.80

Unidad 4: cadenas de Markov 22

INVESTIGACION DE OPERACIONES II

Asi, por dlar invertido, el monopolio verde produce solo 114.803000=$0.038 por lanzamiento de los dados. Este anlisis muestra que el monopolio anaranjado es superior al verde. A propsito, Por qu el monopolio naranja aterriza con tanta frecuencia?

Unidad 4: cadenas de Markov 23

INVESTIGACION DE OPERACIONES II

4.4 ESTADO ABSORBENTE

ESTADOS ABSORBENTES Y ESTADOS DE CONJUNTO CERRADO En una cadena de Markov un conjunto C de estados se denomina cerrado si el sistema, una vez en uno de los estados de C, pertenece en C indefinidamente. Un ejemplo especial de un conjunto cerrado es un estado particular Ej que tenga una probabilidad de transicin pij=1. En este caso Ej se denomina estado absorbente. Todos los estado de una cadena irreducible deben formar un conjunto cerrado y ningn otro subconjunto puede ser cerrado. El conjunto cerrado C tambin debe satisfacer todas las condiciones de una cadena de Markov y por ello, puede estudiarse de forma independiente.

Ejemplo: Considere la siguiente cadena de Markov:

Unidad 4: cadenas de Markov 24

INVESTIGACION DE OPERACIONES II

P=01230 1

31214140001013013130001

Esta cadena se ilustra grficamente en la figura 18-2. La figura muestra que los cuatro estados no constituyen una cadena irreducible, ya que los estado 0,1 y 2 no se pueden alcanzar desde el estado 3. El estado 3, en s mismo, forma un conjunto cerrado y, por consiguiente, es absorbente. Tambin se puede decir, que el estado 3 forma una cadena irreducible. TIEMPOS DE PRIMER RETORNO Una definicin importante en la teora de las cadenas de Markov es el tiempo de primer retorno. Dado que el sistema esta inicialmente en el estado Ej, puede retornar a Ej por primera vez en el paso ensimo, con n1. el numero de pasos antes de que el sistema retorne a Ej se llama tiempo de primer retorno. Sea fjjn la probabilidad de que el primer retorno a Ej ocurra en el paso ensimo. Entonces, dada la matriz de transicin p=Pij Se puede determinar una expresin para fjjn como sigue: Pjj=fjjn fjj2=fjj2+fjj1Pjj O fjj2=fjj2-fjj1Pjj Se puede probar por induccin que, en general, pjjn=fjjn+m=1n-1fjj(m)pjjn-m Lo que da la expresin requerida pjjn=fjjn-m=1n-1fjj(m)pjjn-m

La probabilidad de por lo menos un retorno al estado Ej est dada por fjj=n=1fjjn Entonces, es seguro que el sistema retorna a j si fjj=1. En este caso, si jj define el tiempo medio de retorno (recurrencia),
Unidad 4: cadenas de Markov 25

INVESTIGACION DE OPERACIONES II

jj=n=1njjn

Si fjj=<1, no es seguro que el sistema retornara a Ej y, en consecuencia, jj=. Por este motivo los estados de una cadena de Markov se pueden clasificar con base en la definicin de los tiempos de primer retorno como sigue:
1. Un estado es transitorio si fjj<1, o sea, jj=. 2. Un estado es recurrente (persistente) si fjj=1. 3. Un estado recurrente es nulo si jj= y no nulo si jj< finito. 4. Un estado es peridico con periodo t si es posible un retorno solo en los

pasos t, 2t, 3t,.Esto significa que pjjn=0 siempre que n no sea divisible entre t.
5. Un estado recurrente es ergdico si es no nulo y aperidico (no peridico).

DISTRIBUCIN LMITE DE CADENAS ERRREDUCIBLES El ejemplo 18.6-1 muestra que conforme aumente el nmero de transiciones, probabilidad absoluta se vuelve independiente a largo plazo de las cadenas de Markov. En esta seccin presentamos la determinacin de la distribucin lmite (a largo plazo) de una cadena irreducible. La presentacin se concretara al tipo aperidico ya que es el ltimo tipo necesario en este texto. Adems, el anlisis del tipo peridico es bastante complejo. La existencia de una distribucin lmite en una cadena irreducible aperidica depende de la clase de sus estados. Entonces, considerando las tres clases dadas en el teorema 18.6-1, podemos enunciar el siguiente teorema. Teorema 18.6-2 En una cadena de Markov irreducible aperidica, (a) Si los estados son todos transitorios o todos nulos, entonces pij(n)0 como n, para toda y y j y, no existe una distribucin limite. (b) Si todos los estados son ergdico, entonces limnaj(n)=j, j=0, 1, 2,

Unidad 4: cadenas de Markov 26

INVESTIGACION DE OPERACIONES II

Donde j es la distribucin limite (estado estable). Las probabilidades j existen en forma nica y son independiente de aj(0). en este caso, j se puede determinar a partir del conjunto de ecuaciones t j=iipij 1=jj El tiempo medio de recurrencia para el estado j esta dado entonces por jj=1j

Ejemplo 18.6-3 Considere el ejemplo 18.6-1. Para determinar su distribucin de probabilidades de estado estable, tenemos 1=.21+.62 2=.81+.42 1=1+2 __________________________________________________________________ t Observe que una de las ecuaciones j=iipij es redundante (Observe que una de las primeras dos ecuaciones es redundante.) La solucin da: 1=0.4286 y 2=0.5714. Estos valores son cercanos a los valores de a(8) (y a las filas de P8) en el ejemplo 18.6-1. Luego tenemos 11=11=2.3 22=12=1.75 De modo que el tiempo medio de recurrencia para los estados primero y segundo son 2.3 y 1.75 pasos, respectivamente. Ejemplo 18.6-4 Considere la cadena de Markov siguiente con tres estados: P=0120 1 212 141412141401212

Esta se llama matriz estocstica doble, ya que

INVESTIGACION DE OPERACIONES II

i=1sPij=j=1sPij=1

Donde s es el nmero de estados. En tales casos, las probabilidades de estado estable son j=1s para toda j. as, para la matriz dada 0=1=2=13

CONCLUSIN Como conclusin de las cadenas de Markov nos permite hacer anlisis sobre el estudio de los comportamientos de ciertos sistemas en ciertos periodos que pueden ser cortos o largos. Adems se tiene una relacin con las probabilidades absolutas. Pero sin embargo lo ms importante es el estudio del comportamiento sistemas a largo plazo, cuando el nmero de transiciones tiene al infinito. Los estados en las cadenas de Markov sern tiles para el estudio del comportamiento de los sistemas a largo plazo. Que todos los estados en una cadena de Markov infinita irreducible pueden pertenecer a una, y solo una, de las siguientes tres clases: estados transitorios, estados recurrentes nulos o estados recurrentes no nulos Al abordar este tema es para conocer ms o menos las probabilidades de un experimento, esto a su vez nos permitir conocer a corto y plazo los estados en que se encontraran en periodos o tiempos futuros y tomar decisiones que afectarn o favorecern nuestros intereses, y tomar una decisin de manera consciente y no se comentan muchos errores. Esto tambin nos proporcionara un tiempo estimado para que identifiquemos cada estado y el periodo en que se encuentra con la implementacin de un proceso, tambin se establece las probabilidades como una herramienta ms en las cadenas de Markov. Las cadenas de Markov son modelos probabilsticos que se usan para predecir la evolucin y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinmica de las averas de mquinas para decidir poltica de mantenimiento; evolucin de una enfermedad. Se dice que la cadena de Markov es absorbente si una o ms estados es un estado absorbente es una cadena de Markov absorbente. Pero para que se puedan resolver o darle solucin a muchas de las preguntas que se generan la cadena de Markov debe seguir un orden primero se dice que los estados deben ser transitorios, luego los estados absorbentes.
Unidad 4: cadenas de Markov 28

INVESTIGACION DE OPERACIONES II

Estado estable. Son formulas que se desarrollan, que despus de un largo tiempo busca la estabilizacin del estado inicial i ya que hay una probabilidad de que dicho estado i se encuentre en el estado j, y sustituyendo dichas ecuaciones es como se resuelven los problemas de estado estable. De otra manera las ecuaciones de estado estable son restadas en ambos lados y la probabilidad de que deje el estado j es igual a que entre en el estado j y la probabilidad de que este en el estado j es j.

BIBLIOGRAFA 4.1.- INTRODUCCIN A LAS CADENAS DE MARKOV Investigacin de operaciones, 5 edicin, Editorial taha, pp. 822-826 4.2.- PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS Investigacin de operaciones, 5 edicin, Editorial taha, pp. 824-826 Investigacin de operaciones aplicaciones y algoritmos, 4 edicin, Autor Wayne l. wishston, Editorial Thompson, pp. 928-931. 4.3.- ESTADO ESTABLE Investigacin de operaciones aplicaciones y algoritmos, 4 edicin, Autor Wayne l. wishston, Editorial Thompson, pp. 934-938. 4.4.- ESTADOS ABSORBENTES Investigacin de operaciones, 5 edicin, Editorial taha, pp. 826-830

Unidad 4: cadenas de Markov 29

INVESTIGACION DE OPERACIONES II

Unidad 4: cadenas de Markov 30