Procesos Estocásticos I

A LOS
INTRODUCCION
PROCESOS ESTOCASTICOS
Luis Rincon
Departamento de Matematicas
Facultad de Ciencias UNAM
Circuito Exterior de CU
04510 Mexico CDMX
La version pdf de este texto se encuentra en

www.matematicas.unam.mx/lars
La version impresa puede adquirirse y
enviarse a domicilio en Mexico o el extranjero
a traves de la tienda virtual Plaza Prometeo.
Pr
ologo
El presente texto contiene material basico en temas de procesos estocasticos
a nivel licenciatura, y es producto del mejoramiento continuo de las notas de
clase que he utilizado para el curso de Procesos Estocasticos en la Facultad
de Ciencias de la Universidad Nacional Autonoma de Mexico. Esta dirigido a estudiantes de las carreras de Matematicas, Actuara, Matematicas
Aplicadas y otras carreras cientficas afines. Una mirada al ndice de temas
le dar
a al lector una idea de los temas expuestos y el orden en el que se
presentan. Cada captulo contiene material que puede considerarse como
introductorio al tema, y al final de cada uno de ellos se proporcionan algunas referencias para que el lector pueda profundizar en lo que aqu se
presenta.
La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sab
atica en la universidad de Nottingham durante el a
no 2007, y
agradezco al Prof. Belavkin su amable hospitalidad para llevar a cabo este
proyecto, y a la DGAPA-UNAM por el apoyo economico recibido durante
dicha estancia. Adem
as, la publicacion de este trabajo ha sido posible gracias al apoyo otorgado a traves del proyecto PAPIME PE-103111. Agradezco
sinceramente todos estos apoyos recibidos y expreso tambien mi agradecimiento al grupo de personas del comite editorial de la Facultad de Ciencias
por su ayuda en la publicacion de este trabajo. Finalmente doy las gracias
por todos los comentarios que he recibido por parte de alumnos y profesores para mejorar este material. Hasta donde humanamente me sea posible
mantendre una versi
on digital actualizada de este libro en la pagina web
http://www.matematicas.unam.mx/lars .
Luis Rincon
Enero 2012
Ciudad Universitaria, UNAM
[email protected]
Contenido
1. Ideas preliminares
1.1. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
6
2. Caminatas aleatorias
7
2.1. Caminatas aleatorias . . . . . . . . . . . . . . . . . . . . . . . 7
2.2. El problema del jugador . . . . . . . . . . . . . . . . . . . . . 16
2.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3. Cadenas de Markov
3.1. Propiedad de Markov . . . . . . .
3.2. Ejemplos . . . . . . . . . . . . . .
3.3. Ecuaci
on de Chapman-Kolmogorov
3.4. Comunicaci
on . . . . . . . . . . . .
3.5. Periodo . . . . . . . . . . . . . . .
3.6. Primeras visitas . . . . . . . . . . .
3.7. Recurrencia y transitoriedad . . . .
3.8. Tiempo medio de recurrencia . . .
3.9. Clases cerradas . . . . . . . . . . .
3.10. N
umero de visitas . . . . . . . . .
3.11. Recurrencia positiva y nula . . . .
3.12. Evoluci
on de distribuciones . . . .
3.13. Distribuciones estacionarias . . . .
3.14. Distribuciones lmite . . . . . . . .
3.15. Cadenas regulares . . . . . . . . .
3.16. Cadenas reversibles . . . . . . . . .
3.17. A. A. Markov . . . . . . . . . . . .
iii
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
27
27
31
39
42
45
47
50
56
57
58
65
69
71
80
86
88
93
iv
Contenido
3.18. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4. El proceso de Poisson
4.1. Definici
on . . . . . . . . . . . . . .
4.2. Definiciones alternativas . . . . . .
4.3. Proceso de Poisson no homogeneo
4.4. Proceso de Poisson compuesto . . .
4.5. Proceso de Poisson mixto . . . . .
4.6. Ejercicios . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
115
115
125
129
132
134
135
5. Cadenas de Markov a tiempo continuo

5.1. Probabilidades de transicion . . . . . . .
5.2. El generador infinitesimal . . . . . . . .
5.3. Ecuaciones de Kolmogorov . . . . . . . .
5.4. Procesos de nacimiento y muerte . . . .
5.5. Conceptos y propiedades varias . . . . .
5.6. Ejercicios . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
145
151
153
156
159
167
169
6. Procesos de renovaci
on y confiabilidad
6.1. Procesos de renovacion . . . . . . . . .
6.2. Funci
on y ecuaci
on de renovacion . . .
6.3. Tiempos de vida . . . . . . . . . . . .
6.4. Teoremas de renovacion . . . . . . . .
6.5. Confiabilidad . . . . . . . . . . . . . .
6.6. Ejercicios . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
173
173
176
178
183
188
193
7. Martingalas
7.1. Filtraciones . . . . . . . . . . . . . . . .
7.2. Tiempos de paro . . . . . . . . . . . . .
7.3. Martingalas . . . . . . . . . . . . . . . .
7.4. Ejemplos . . . . . . . . . . . . . . . . .
7.5. Procesos detenidos . . . . . . . . . . . .
7.6. Una aplicaci
on: estrategias de juego . .
7.7. Teorema de paro opcional y aplicaciones
7.8. Algunas desigualdades . . . . . . . . . .
7.9. Convergencia de martingalas . . . . . .
7.10. Representaci
on de martingalas . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
199
200
202
203
205
207
209
212
217
218
224
.
.
.
.
.
.
.
.
.
.
.
.
Contenido
7.11. J. L. Doob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

7.12. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
8. Movimiento Browniano
8.1. Definici
on . . . . . . . . . . . . . . . . . .
8.2. Propiedades b
asicas . . . . . . . . . . . .
8.3. Propiedades de las trayectorias . . . . . .
8.4. Movimiento Browniano multidimensional
8.5. El principio de reflexion . . . . . . . . . .
8.6. Recurrencia y transitoriedad . . . . . . . .
8.7. N. Wiener . . . . . . . . . . . . . . . . . .
8.8. P. P. Lèvy . . . . . . . . . . . . . . . . . .
8.9. Ejercicios . . . . . . . . . . . . . . . . . .
9. C
alculo estoc
astico
9.1. Integraci
on estoc
astica . . . . . . . .
9.2. F
ormula de It
o . . . . . . . . . . . .
9.3. Ecuaciones diferenciales estocasticas
9.4. Simulaci
on . . . . . . . . . . . . . . .
9.5. Algunos modelos particulares . . . .
9.6. Ejercicios . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
239
240
244
248
252
255
256
263
264
265
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
273
. 273
. 286
. 289
. 293
. 294
. 304
Ap
endice: conceptos y resultados varios
307
Bibliografa
315
Indice analtico
318
vi
Contenido
Captulo 1
Ideas preliminares
Considere un sistema que puede caracterizarse por estar en cualquiera de
un conjunto de estados previamente especificado. Suponga que el sistema
evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo con
una cierta ley de movimiento, y sea Xt el estado del sistema al tiempo t. Si
se considera que la forma en la que el sistema evoluciona no es determinista,
sino provocada por alg
un mecanismo azaroso, entonces puede considerarse
que Xt es una variable aleatoria para cada valor del ndice t. Esta coleccion
de variables aleatorias es la definicion de proceso estocastico, y sirve como
modelo para representar la evolucion aleatoria de un sistema a lo largo del
tiempo. En general, las variables aleatorias que conforman un proceso no
son independientes entre s, sino que estan relacionadas unas con otras de
alguna manera particular. Las distintas formas en que pueden darse estas
dependencias es una de las caractersticas que distingue a unos procesos
de otros. M
as precisamente, la definicion de proceso estocastico toma como
base un espacio de probabilidad , F , P y puede enunciarse de la siguiente
forma.
Definici
on 1.1 Un proceso estoc
astico es una colecci
on de variables aleatorias Xt : t T parametrizada por un conjunto T , llamado espacio parametral, en donde las variables toman valores en un conjunto S llamado espacio
de estados.
En los casos m
as sencillos se toma como espacio parametral el conjunto
0, 1, 2, . . . y estos n
umeros se interpretan como tiempos. En
discreto T
1
este caso se dice que el proceso es a tiempo discreto, y en general este tipo
de procesos se denotar
a por Xn : n 0, 1, . . . , o explcitamente,
X0 , X1 , X2 , . . .
as, para cada n, Xn es el valor del proceso o estado del sistema al tiempo n.
Este modelo corresponde a un vector aleatorio de dimension infinita. Vease
la Figura 1.1.
Xn
X5
X3
X1
X4
X0
n
1
X2
Figura 1.1
El espacio parametral puede tambien tomarse como el conjunto continuo

0, . Se dice entonces que el proceso es a tiempo continuo, y se
T
denotar
a por
Xt : t 0 .
Por lo tanto, seguiremos la convencion de que si el subndice es n, entonces
los tiempos son discretos, y si el subndice es t, el tiempo se mide de manera
continua. Los posibles espacios de estados que consideraremos son subconjuntos de Z, y un poco mas generalmente tomaremos como espacio de estados el conjunto de n
umeros reales R, aunque en algunos pocos casos tambien consideraremos a Zn o Rn . Naturalmente, espacios mas generales son
posibles, tanto para el espacio parametral como para el espacio de estados.
En particular, para poder hablar de variables aleatorias con valores en el
espacio de estados S, es necesario asociar a este conjunto una -algebra.
Xt
Xt2
Xt1
Xt3
t
t2
t1
t3
Figura 1.2
Considerando que S es un subconjunto de R, puede tomarse la -algebra

de Borel de R restringida a S, es decir, S B R .
Un proceso estoc
astico, tambien llamado proceso aleatorio, puede considerarse como una funci
on de dos variables
X:T
tal que a la pareja t, se le asocia el valor o estado X t, , lo cual

tambien puede escribirse como Xt . Para cada valor de t en T , el mapeo
Xt es una variable aleatoria, mientras que para cada en fijo,

Xt es llamada una trayectoria o realizacion del proceso.
la funci
on t
Es decir, a cada del espacio muestral le corresponde una trayectoria del
proceso. Es por ello que a veces se define un proceso estocastico como una
funci
on aleatoria. Una de tales trayectorias tpicas que ademas cuenta con
la propiedad de ser continua se muestra en la Figura 1.2, y corresponde a
una trayectoria de un movimiento Browniano, proceso que definiremos y
estudiaremos m
as adelante.
Si A es un conjunto de estados, el evento Xn A corresponde a la situacion
en donde al tiempo n el proceso toma alg
un valor dentro del conjunto A. En
particular, Xn x es el evento en donde al tiempo n el proceso se encuentra en el estado x. Considerando distintos tiempos, estaremos interesados
en eventos de la forma Xn1 x1 , Xn2 x2 , . . . , Xnk xk .

Los diferentes tipos de procesos estocasticos se obtienen al considerar las
distintas posibilidades para el espacio parametral, el espacio de estados,
las caractersticas de las trayectorias, y principalmente las relaciones de
dependencia entre las variables aleatorias que conforman el proceso. Los
siguientes son algunos ejemplos generales de procesos estocasticos. Estos son
procesos que cumplen una cierta propiedad particular, no necesariamente
excluyentes unas de otras. A lo largo del texto estudiaremos y definiremos
con mayor precisi
on algunos de estos tipos de procesos.
Proceso de ensayos independientes
El proceso a tiempo discreto Xn : n 0, 1, . . . puede estar constituido por
variables aleatorias independientes. Este modelo representa una sucesion de
ensayos independientes de un mismo experimento aleatorio, por ejemplo,
lanzar un dado o una moneda repetidas veces. El resultado u observacion
del proceso en un momento cualquiera es, por lo tanto, independiente de
cualquier otra observaci
on pasada o futura del proceso.
Procesos de Markov
Estos tipos de procesos son modelos en donde, suponiendo conocido el estado
presente del sistema, los estados anteriores no tienen influencia en los estados
futuros del sistema. Esta condicion se llama propiedad de Markov y puede
expresarse de la siguiente forma: para cualesquiera estados x0 , x1 , . . . , xn 1
(pasado), xn (presente), xn 1 (futuro), se cumple la igualdad
P Xn
xn
X0
x0 , . . . , Xn
xn
P Xn
xn
Xn
xn .
De esta forma la probabilidad del evento futuro Xn 1

xn 1 solo depende el evento Xn
xn , mientras que la informacion correspondiente
x0 , . . . , Xn 1
xn 1 es irrelevante. Los proceal evento pasado X0
sos de Markov han sido estudiados extensamente y existe un gran n
umero
de sistemas que surgen en muy diversas disciplinas del conocimiento para
los cuales el modelo de proceso estocastico y la propiedad de Markov son
razonables. En particular, los sistemas dinamicos deterministas dados por
una ecuaci
on diferencial pueden considerarse procesos de Markov, pues su
evoluci
on futura queda determinada por la posicion inicial del sistema y la
ley de movimiento especificada.
5
Procesos con incrementos independientes
Se dice que un proceso estocastico a tiempo continuo Xt : t
0 tiene
incrementos independientes si para cualesquiera tiempos 0 t1 t2
tn , las variables Xt1 , Xt2 Xt1 , . . . , Xtn Xtn 1 son independientes. Esto
quiere decir que los desplazamientos que tiene el proceso en estos intervalos
disjuntos de tiempo son independientes unos de otros.
Procesos estacionarios
0 es
estacionario en el sentido estricto si para cualesquiera tiempos t1 , . . . , tn ,
la distribuci
on del vector Xt1 , . . . , Xtn es la misma que la del vector
Xt1 h , . . . , Xtn h para cualquier valor de h
0. En particular, la distribuci
on de Xt es la misma que la de Xt h para cualquier h 0.
Procesos con incrementos estacionarios
Se dice que un proceso estocastico a tiempo continuo Xt : t 0 tiene incrementos estacionarios si para cualesquiera tiempos s t, y para cualquier
h 0, las variables Xt h Xs h y Xt Xs tienen la misma distribucion de
probabilidad. Es decir, el incremento que tiene el proceso entre los tiempos
s y t s
olo depende de estos tiempos a traves de la diferencia t s, y no de
los valores especficos de s y t.
Martingalas
Una martingala a tiempo discreto es, en terminos generales, un proceso
Xn : n 0, 1, . . . que cumple la condicion
E Xn
X0
x0 , . . . , Xn
xn
xn .
(1.1)
En palabras, esta igualdad significa que el valor promedio del proceso al

ltimo momento observatiempo futuro n 1 es el valor del proceso en su u
do, es decir, xn . Esto es, se trata de una ley de movimiento aleatorio que es
equilibrada o simetrica, pues en promedio el sistema no cambia del u
ltimo
momento observado. A estos procesos tambien se les conoce como procesos de juegos justos, pues si se considera una sucesion infinita de apuestas
sucesivas y si Xn denota el capital de uno de los jugadores al tiempo n,
entonces la propiedad de martingala (1.1) establece que el juego es justo
pues en promedio el jugador no pierde ni gana en cada apuesta.
Procesos de L`
evy
0 es un
proceso de Lèvy si sus incrementos son independientes y estacionarios. Mas
adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos.
Procesos Gausianos
0 es un
proceso Gausiano si para cualesquiera coleccion finita de tiempos t1 , . . . , tn ,
el vector Xt1 , . . . , Xtn tiene distribucion normal o Gausiana multivariada. Nuevamente, el movimiento Browniano es un ejemplo de este tipo de
procesos.
En el presente texto el lector encontrara una descripcion introductoria a
algunos de estos tipos de procesos y varios resultados elementales al respecto.
1.1.
Ejercicios
1. Sean X0 , X1 , . . . los resultados de una sucesion de ensayos independientes Bernoulli. Determine si el proceso Xn : n 0, 1, . . .
a)
b)
c)
d)
tiene incrementos independientes.

tiene incrementos estacionarios.
es una martingala.
cumple la propiedad de Markov.
2. Sea X una variable aleatoria con distribucion Ber p . Para cada t

defina la variable
Xt
cos t
sin t
si X
si X
0,
1.
a) Dibuje todas las trayectorias del proceso Xt : t

b) Calcule la distribucion de Xt .
c) Calcule E Xt .
0 .
3. Demuestre que todo proceso a tiempo discreto Xn : n 0, 1, . . . con

incrementos independientes cumple la propiedad de Markov.
Captulo 2
Caminatas aleatorias
En este captulo se presenta una introduccion breve al tema de caminatas
aleatorias en una dimensi
on. Encontraremos la distribucion de probabilidad
de la posici
on de una partcula que efect
ua una caminata aleatoria en Z,
y la probabilidad de retorno a la posicion de origen. Se plantea y resuelve
despues el problema de la ruina del jugador, y se analizan algunos aspectos
de la soluci
on.
2.1.
Una caminata aleatoria simple sobre el conjunto de n

umeros enteros Z es
un proceso estoc
astico a tiempo discreto Xn : n 0, 1, . . . que evoluciona
como se muestra en la Figura 2.1. Es
decir, iniciando en el estado 0, al siguiente tiempo el proceso puede pasar
q
p
al estado 1 con probabilidad p, o
al estado 1 con probabilidad q, en
2
1
1
2
0
donde p q 1. Se usa la misma regla
para los siguientes tiempos, es decir,
Figura 2.1
pasa al estado de la derecha con probabilidad p, o al estado de la izquierda
con probabilidad q. El valor de Xn es el estado del proceso al tiempo n.
Este proceso cambia de un estado a otro en dos tiempos consecutivos de
acuerdo con las probabilidades de transicion que se muestran en la Figu7
ra 2.1, v
alidas para cualquier n 0, y para cualesquiera enteros i y j. Estas
probabilidades se pueden escribir de la forma siguiente:
P Xn
j Xn
p si j i 1,
q si j i 1,
0 otro caso.
Como estas probabilidades no dependen de n, se dice que son homogeneas

en el tiempo, es decir, son las mismas para cualquier valor de n. A partir
de estas consideraciones, es intuitivamente claro que este proceso
cumple la propiedad de Markov,
Xn
es decir, el estado futuro del proceso depende u
nicamente del estado presente y no de los estados
previamente visitados. Una posible
n
trayectoria de este proceso se muestra en la Figura 2.2. Una caminata aleatoria puede tambien definirse
de la forma siguiente: sea 1 , 2 , . . .
Figura 2.2
una sucesi
on de variables aleatorias
independientes e identicamente distribuidas. Por la identica distribucion denotaremos a cualquiera de ellas
1
p y
mediante la letra sin subndice. Supondremos que P
1
q, en donde, como antes, p q 1. Entonces para n 1 se
P
define
Xn : X0 1
n .
0. Nos interesa enconSin perdida de generalidad supondremos que X0
trar algunas propiedades de la variable Xn , y de su comportamiento como
funci
on de n. Por ejemplo, a partir de la expresion anterior, es inmediato
encontrar su esperanza y varianza.
Proposici
on 2.1 Para cualquier entero n
1. E Xn
2. Var Xn
np
q .
4npq.
0,
2.1. Caminatas aleatorias

Demostraci
on.
Para la esperanza tenemos que:

n
E Xn
E i
nE
np
q .
i 1
Por otro lado, como E 2

p q
1 y E
Var
1
p q 2 4pq. Por lo tanto,
q, se tiene que
Var Xn
Var i
n Var
4npq.
i 1
!
Analicemos estas dos primeras formulas. Si p
q, es decir, si la caminata toma pasos a la derecha con mayor probabilidad, entonces el estado
promedio despues de n pasos es un n
umero positivo, es decir, su comportamiento promedio es tender hacia la derecha, lo cual es intuitivamente
claro. An
alogamente, si p q, entonces el estado final promedio de la caminata despues de n pasos es un n
umero negativo, es decir, en promedio la
caminata tiende a moverse hacia la izquierda. En ambos casos la varianza
crece conforme el n
umero de pasos n crece, eso indica que mientras mayor
es el n
umero de pasos que se dan, mayor es la incertidumbre acerca de la
posici
on final del proceso. Cuando p q se dice que la caminata es asimetrica. Cuando p q 1 2 se dice que la caminata es simetrica, y en promedio
el proceso se queda en su estado inicial, pues E Xn
0, sin embargo, para
n, y es sencillo demostrar que ese
tal valor de p la varianza es Var Xn
valor es el m
aximo de la expresion 4npq, para p 0, 1 .
Probabilidades de transici
on
Como hemos supuesto que la caminata inicia en cero, es intuitivamente
claro que despues de efectuar un n
umero par de pasos el proceso solo puede
terminar en una posici
on par, y si se efect
uan un n
umero impar de pasos la
posici
on final s
olo puede ser un n
umero impar. Ademas, es claro que despues
de efectuar n pasos, la caminata solo puede llegar a una distancia maxima
de n unidades, a la izquierda o a la derecha. Teniendo esto en mente, en el
siguiente resultado se presenta la distribucion de probabilidad de la variable
Xn .
10
Proposici
on 2.2 Para cualesquiera n
umeros enteros x y n tales que n
x n, y para el caso cuando x y n son ambos pares o ambos impares,
P Xn
x X0
1
2
n
n x
p2
n x
q2
n x
(2.1)
Para valores de x y n que no cumplen las condiciones indicadas la probabilidad en cuesti

on vale cero.
Demostraci
on. Suponga que se observa la posicion de la caminata despues de efectuar n pasos. Sean Rn y Ln el n
umero de pasos realizados hacia
la derecha y hacia la izquierda, respectivamente. Entonces Xn Rn Ln ,
y adem
as n Rn Ln . Sumando estas dos ecuaciones y substituyendo la
n
expresi
on Xn
i 1 i se obtiene
Rn
1
n
2
Xn
i 1
1
1
2
i .
Esta ecuaci
on es la identidad clave para obtener el resultado buscado. Observe que esta f
ormula arroja un valor entero para Rn cuando n y Xn son
ambos pares o ambos impares. Como las variables independientes i toman
los valores 1 y 1 con probabilidades p y q respectivamente, entonces las
variables independientes 21 1 i toman los valores 1 y 0 con probabilidades p y q. Esto lleva a la conclusion de que la variable Rn tiene distribucion
binomial n, p . Por lo tanto, para cualquier valor de x que cumpla las condiciones enunciadas se tiene que
P Xn
x X0
1
n
2
P Rn
n
1
2
x
1
p2
n x
q2
n x
.
!
En particular, cuando la caminata es simetrica, es decir, cuando p 1 2, y

con las mismas restricciones para n y x ( n x n, ambos pares o ambos
impares) se tiene la expresion
P Xn
x X0
1
2
n
n x
1
.
2n
(2.2)
11
Esta f
ormula puede tambien justificarse mediante argumentos de analisis
combinatorio de la siguiente forma: en total hay 2n posibles trayectorias
que la caminata puede seguir al efectuar n pasos, todas ellas con la misma probabilidad de ocurrir debido a la simetra. Ahora, cuantas de estas
trayectorias terminan en x
0, por ejemplo? Como se ha argumentado
umero de
antes, el n
umero de pasos a la derecha debe ser 12 n x , y el n
trayectorias que cumplen la condicion es el n
umero de formas en que los
1
x pasos a la derecha pueden escogerse de los n pasos totales. La res2 n
puesta es entonces el cociente que aparece en (2.2). La formula (2.1) puede
extenderse f
acilmente al caso general de pasar de un estado cualquiera y a
otro estado x en n pasos, como se muestra a continuacion.
y son ambos pares o ambos im-
Proposici
on 2.3 Si los n
umeros n y x
pares, entonces para n x y n,
P Xn
x X0
1
2
n
n x
p2
n x y
q2
n x y
(2.3)
Para valores de la diferencia x y y el entero n que no cumplen las condiciones indicadas la probabilidad en cuesti
on vale cero.
Demostraci
on. Tenemos como hipotesis que X0
y. Consideremos el
proceso Zn Xn y. Entonces Zn : n 0 es ahora una caminata aleatoria
que inicia en cero como en el caso antes demostrado. El resultado enunciado
se obtiene de la identidad
P Xn
x X0
P Zn
y Zn
0.
!
Probabilidad de regreso a la posici

on de origen
Nos plantearemos ahora el problema de encontrar la probabilidad de que
una caminata aleatoria, que inicia en el origen, regrese eventualmente al
1 2, la
punto de partida. Demostraremos que en el caso asimetrico, p
probabilidad de tal evento es estrictamente menor que 1, es decir, no es
seguro que ello ocurra, pero en el caso simetrico, p
1 2, se cumple que
con probabilidad uno la caminata regresa eventualmente al origen. Para el
12
u
ltimo caso demostraremos ademas que el n
umero de pasos promedio para
regresar al origen es, sin embargo, infinito. La demostraci
on es un tanto
tecnica y hace uso de las funciones generadoras de probabilidad. Como este
captulo es introductorio, tal vez sea mejor recomendar al lector, cuando se
trate de una primera lectura, omitir los detalles de esta demostracion.
Proposici
on 2.4 Para una caminata aleatoria sobre Z, la probabilidad de
un eventual regreso al punto de partida es
1
si p
1 si p
q,
q.
Es decir, s
olo en el caso simetrico, p q, se tiene la certeza de un eventual
retorno, sin embargo el tiempo promedio de regreso en tal caso es infinito.
Demostraci
on. Para demostrar estas afirmaciones utilizaremos los siguientes elementos:
0 denotaremos por pn a la probabilidad de que la
a) Para cada n
caminata se encuentre en el estado 0 al tiempo n, es decir, pn
P Xn 0 X0 0 . Esta probabilidad es distinta de cero solo cuando
n es un n
umero par. Naturalmente p0 1. Denotaremos tambien por
fk a la probabilidad de que la caminata visite el estado 0 por primera
vez en el paso k 0. El uso de la letra f proviene el termino en ingles
first. Por conveniencia se define f0
0. Observe que en terminos
de las probabilidades fk , la probabilidad de que la caminata regrese
eventualmente al origen es k 0 fk . Esta serie es convergente, pues
se trata de la suma de probabilidades de eventos disjuntos, y por lo
tanto a lo sumo vale uno. Demostraremos que en el caso simetrico
la suma vale uno. Recordemos nuevamente que los valores de fk son
estrictamente positivos solo para valores pares de k distintos de cero.
b) No es difcil comprobar que se cumple la siguiente igualdad
n
f k pn
pn
k.
(2.4)
k 0
En esta expresi
on simplemente se descompone la probabilidad de regreso al origen, pn , en las distintas posibilidades en donde se efect
ua
13
el primer regreso al origen. Este primero regreso puede darse en el

paso 1, o en el paso 2, ..., o en el u
ltimo momento, el paso n. Despues de efectuado el primer regreso se multiplica por la probabilidad
de regresar al origen en el n
umero de pasos restantes. Observe que
el primer sumando es cero. Esta formula sera demostrada m
as adelante en el contexto de las cadenas de Markov, vease la formula (3.2)
en la p
agina 49. Usaremos (2.4) para encontrar la funcion generadora de probabilidad de la coleccion de n
umeros f0 , f1 , f2 , . . . , es decir,
encontraremos que
f k tk .
Gt
k 0
Multiplicando (2.4) por tn , sumando y cambiando el orden de las

sumas se obtiene que
n
p n tn
n 1
tn
f k pn
f k pn
tn
pn
n 1 k 0
k 0 n k
f k tk
k 0
n k
Gt
p n tn .
tn
n 0
Por lo tanto,
p n tn
p n tn .
Gt
n 0
(2.5)
n 0
Para encontrar G t se necesita encontrar una expresion para la suma

que aparece en la u
ltima ecuacion, y que no es otra cosa sino la funcion
generadora de los n
umeros p0 , p1 , p2 , . . . Haremos esto a continuacion.
c) Para el an
alisis que sigue necesitamos recordar que para cualquier
n
umero real a y para cualquier entero n, se tiene el coeficiente binomial
a
n
aa
a
n!
(2.6)
14
Observe que en el numerador hay n factores. Este n
umero es una
generalizaci
on del coeficiente binomial usual y aparece en la siguiente
expansi
on binomial infinita valida para t
1,
1
a n
t .
n
a
n 0
(2.7)
En particular y como una aplicacion de (2.6) se tiene que

2n
n
2n 2n
1 2n 2
3 2 1
n! n!
2n n! 2n 1 2n 3
5 3 1
n! n!
2n 2n 2n 1 2n 3
5 3 1
n!
2
2
2 2 2
2n 2n
1
3
5
n
1
n
n
n!
2
2
2
1
2
4n
.
n
3
2
1
2
(2.8)
d) Usando (2.7) y (2.8) podemos ahora encontrar una expresi

on cerrada
para la funci
on generadora de la coleccion de n
umeros p0 , p1 , p2 , . . .
p n tn
n 0
n 0
2n n n 2n
p q t
n
4
n 0
n 0
1 2
n
4pqt2
1 2 n n 2n
p q t
n
4pqt2
1 2
(2.9)
e) Substituyendo (2.9) en (2.5) se llega a la igualdad

1
4pqt2
1 2
Gt 1
4pqt2
1 2
15

De donde se obtiene finalmente
1
Gt
1 2
4pqt2
(2.10)
Usando esta expresi

on podemos ahora calcular la probabilidad de un
eventual regreso al estado inicial. En efecto, por el lema de Abel,
lm G t
fn
n 0
4pq
1 2
q.
En el caso asimetrico, p 1 2, esta cantidad es estrictamente menor

a uno y por lo tanto no hay seguridad de que la caminata sea capaz
de regresar al origen. En cambio, en el caso simetrico, p 1 2, esta
cantidad vale uno, es decir, con probabilidad uno la cadena aleatoria
simetrica regresa eventualmente a su posicion de origen. Ademas, el
tiempo promedio de regreso se obtiene derivando la funcion generadora
Gt
1
1 t2 1 2 , es decir,
lm G t
n fn
n 0
lm
t
1
t2
r
q
1
p
0
1
(a)
(b)
Figura 2.3
Puede considerarse tambien el caso de una caminata en donde sea posible
permanecer en el mismo estado despues de una unidad de tiempo. Esta
16
situaci
on se ilustra en la Figura 2.3(a), en donde p, q y r son probabilidades
tales que p q r 1. Tambien pueden considerarse caminatas aleatorias
en Z2 como la que se muestra en la Figura 2.3(b), en donde p q r s 1,
o m
as generalmente en Zn o cualquier otro conjunto reticulado. Para estos
y otros modelos pueden plantearse diversas preguntas sobre el calculo de
probabilidades de los distintos eventos en caminatas aleatorias. Existe una
amplia literatura sobre la teora y aplicaciones de las caminatas aleatorias,
el lector interesado en el tema puede consultar los textos sugeridos al final
del presente captulo. M
as adelante estudiaremos algunas otras propiedades
de las caminatas aleatorias en el contexto de las cadenas de Markov.
2.2.
El problema del jugador
En esta secci
on consideraremos un ejemplo particular de una caminata
aleatoria puesta en el contexto de un juego de apuestas.
Planteamiento del problema
Suponga que un jugador A apuesta sucesivamente una unidad monetaria a
un jugador B. Inicialmente el jugador A tiene k unidades y B tiene N
k unidades, es decir, el capital conjunto entre los dos jugadores es de N
unidades monetarias. En cada
apuesta el jugador A tiene proXn
babilidad de ganar p, y probaN
bilidad de perder q
1
p,
suponga adem
as que no hay empates. Sea Xn la fortuna del juk
gador A al tiempo n. Entonces
Xn : n
0, 1, . . . es una can
minata aleatoria que inicia en el

estado k y eventualmente puede
Figura 2.4
terminar en el estado 0 cuando
el jugador A ha perdido todo su
capital, o bien, puede terminar
en el estado N que corresponde a la situacion en donde el jugador A ha
ganado todo el capital. Este proceso es entonces una caminata aleatoria sobre el conjunto 0, 1, . . . , N , en donde los estados 0 y N son absorbentes,
17
2.2. El problema del jugador
pues una vez que la cadena llega a alguno de ellos, jamas lo abandona. Una
posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra
en la Figura 2.4. Una de las preguntas que resolveremos para esta caminata
es la siguiente: cu
al es la probabilidad de que eventualmente el jugador A
se arruine? Es decir, cu
al es la probabilidad de que la caminata se absorba
en el estado 0 y no en el estado N , u oscile entre estos dos estados? Este
problema se conoce como el problema de la ruina del jugador, y encontraremos a continuaci
on su solucion. Como veremos, usando probabilidad
condicional es posible transformar este problema en resolver una ecuacion
en diferencias.
Soluci
on al problema
Sea el primer momento en el que la caminata visita alguno de los dos
mn n 0 : Xn 0 o Xn N . Puede
estados absorbentes, es decir,
demostrarse que es una variable aleatoria y que es finita casi seguramente.
La pregunta planteada se traduce en encontrar la probabilidad
uk
0 X0
P X
k .
Por el teorema de probabilidad total se obtiene la ecuacion en diferencias

uk
p uk
q uk
(2.11)
1,
v
alida para k 1, 2, . . . , N 1. La interpretacion intuitiva de esta identidad
es sencilla: a partir del estado k se busca la probabilidad de ruina analizando
lo que sucede en la siguiente apuesta. Se tienen dos casos: el jugador gana
con probabilidad p y ahora se busca la probabilidad de ruina a partir del
estado k 1, o bien el jugador pierde con probabilidad q y se busca la
probabilidad de ruina ahora a partir del estado k 1. Las condiciones de
frontera son u0 1 y uN 0. Esta ecuacion es una ecuacion en diferencias,
lineal, de segundo orden y homogenea. Puede encontrarse su solucion de
la siguiente forma: multiplicando el lado izquierdo de (2.11) por p q y
agrupando terminos se llega a la expresion equivalente
uk
uk
q p uk
Resolviendo iterativamente, las primeras k
uk
(2.12)
1 ecuaciones se escriben de la
18
forma siguiente:
u2
u1
q p u1
u3
u2
q p
q p
k 1
1
1
u1
..
.
uk
uk
u1
1.
Hemos usado aqu la condicion de frontera u0 1. Conviene ahora definir

q p
q p k pues al sumar las k 1 ecuaciones anteriores
Sk 1
se obtiene uk u1
Sk 1 1 u1 1 . O bien,
1
uk
Sk
u1
1.
(2.13)
De manera an
aloga pero ahora sumando todas las ecuaciones de (2.12) se
obtiene uN
1 SN 1 u1 1 . Usando la segunda condicion de frontera
uN 0 se llega a u1 1
1 SN 1 . Substituyendo en (2.13) y simplificando
se llega a la soluci
on
Sk 1
.
uk 1
SN 1
Es necesario ahora distinguir los siguientes dos casos:
k
Sk
q p
q p
si p
1 2,
si p
1 2.
k 1
q p
1
q p
Por lo tanto,
N
uk
q p
1
k N
k
q p
q pN
si p
1 2,
si p
1 2.
(2.14)
En la Figura 2.5 se muestra la grafica de la probabilidad uk como funcion

del par
ametro k para varios valores de p y con N 50. En el caso simetrico
la soluci
on es la lnea recta que une la probabilidad 1 con la probabilidad
0. Naturalmente la probabilidad de ruina decrece cuando el capital inicial
k aumenta. En la secci
on de ejercicios se sugiere otra forma de resolver la
ecuaci
on en diferencias (2.11).
19
uk
1
p
p
p
0.01
0.2
0.35
0.5
p
p
p
p
0.65
0.8
0.99
k
10
20
30
40
50
Figura 2.5
An
alisis de la soluci
on
Es interesante analizar la f
ormula (2.14) en sus varios aspectos. Por ejemplo,
para el caso simetrico p 1 2, es decir, cuando el juego es justo, la probabilidad de ruina es muy cercana a 1 cuando k es muy peque
no comparado
con N . Esto sugiere que no conviene jugar esta serie de apuestas contra
adversarios demasiado ricos, aun cuando el juego sea justo. Es tambien un
tanto inesperado observar que la probabilidad uk es muy sensible a los valores de p cercanos a 1 2. Esto puede apreciarse en la Figura 2.6. Cuando p
es distante de 1 2 la probabilidad uk es casi constante, pero para valores de
p cercanos a 1 2 la probabilidad cambia rapidamente de un extremo a otro.
Estas gr
aficas fueron elaboradas tomando N 50.
N
umero esperado de apuestas antes de la ruina
Hemos comprobado en el ejercicio anterior que con probabilidad uno ocurre
que eventualmente alguno de los dos jugadores se arruina. Es natural entonces plantearse el problema de encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. Este n
umero
de apuestas promedio antes de la ruina puede encontrarse explcitamente, y
el metodo que usaremos para encontrarlo es nuevamente el planteamiento
de una ecuaci
on en diferencias que resolveremos del modo mostrado antes.
Sea entonces mk el n
umero esperado de apuesta antes de que termine el
juego, en donde el jugador A tiene un capital inicial de k unidades, y B
tiene N k.
20
uk
uk
uk
5
1 2
25
1 2
1 2
45
1
Figura 2.6
Proposici
on 2.5 El n
umero esperado de apuestas antes de la ruina es
k N
mk
1
q
k
k
q pk
q pN
1
1
si p
q,
si p
q.
Demostraci
on. Condicionando sobre el resultado de la primera apuesta
se obtiene que mk satisface la ecuacion
mk
p mk
q mk
1,
v
alida para k
1, 2, . . . , N
1. Esta es una ecuacion en diferencias, de
segundo orden, lineal y no homogenea. Las condiciones de frontera son ahora
m0 0 y mN 0. Substituyendo p q mk por mk y agrupando terminos
convenientemente la ecuaci
on anterior puede reescribirse del siguiente modo:
mk
Recordando la notaci
on Sk
q
mk
p
mk
q p
mk
1
.
p
(2.15)
q p k , y substituyendo
21

iterativamente, las primeras k
1 ecuaciones son
m2
m1
q p m1
m3
m2
q p 2 m1
1
S0 ,
p
1
S1 ,
p
..
.
mk
mk
k 1
q p
1
Sk
p
m1
2.
Aqu se ha hecho uso de la condicion de frontera m0

estas ecuaciones se obtiene
mk
m1
m1 S k
1
p
0. Sumando todas
k 2
Si .
i 0
Es decir,
mk
m1 S k
1
p
k 2
(2.16)
Si .
i 0
En particular, sumando todas las ecuaciones de (2.15) se obtiene

m1 S N
mN
1
p
Ahora se hace uso de la condicion mN

1
m1
SN
N 2
Si .
i 0
0, y se obtiene
1
p
k 2
Si .
i 0
Substituyendo en (2.16),
mk
Sk
SN
1
1
1
p
N 2
Si
i 0
1
p
k 2
(2.17)
Si .
i 0
Nuevamente se deben distinguir los siguientes dos casos:

k
Sk
q p
q p
si p
1 2,
si p
1 2.
k 1
q p
1
q p
22
Substituyendo en (2.17) y simplificando, despues de algunos calculos se llega

a la respuesta enunciada.
!
La forma en la que mk cambia al
mk
variar el par
ametro k se muestra
625
en la Figura 2.7 cuando N
50.
p 0.5
La duraci
on m
axima promedio del
juego se obtiene cuando el juego es
1 2, y ambos jugadores
justo, p
tienen el mismo capital inicial, es
p 0.1 p 0.9
k
decir, k
N 2. Esto arroja un
10 20 30 40 50
promedio m
aximo de N 2 N
N 2
N 2 2 apuestas antes del
Figura 2.7
fin del juego. En el caso ilustrado,
la duraci
on m
axima promedio del
juego es de 50 2 2 625 apuestas.
Notas y referencias. El tema de caminatas aleatorias puede ser encontrado en la mayora de los textos sobre procesos estocasticos, ya sea de
una manera explcita o como un ejemplo importante de cadena de Markov.
En particular el libro de Jones y Smith [15], y el de Basu [1] contienen un
captulo completo sobre el tema. En el texto de Lawler [22] puede encontrarse una exposici
on a nivel elemental sobre las caminatas aleatorias y la
ecuaci
on del calor, entre otros temas. Como lectura mas avanzada vease el
texto de Resnick [27] y el de Spitzer [32].
2.3.
Ejercicios
4. Propiedad de Markov. Demuestre que una caminata aleatoria simple

Xn : n
0 sobre Z cumple la propiedad de Markov, es decir, demuestre que para cualquier valor natural de n y para cualesquiera
enteros x0 , x1 , . . . , xn 1 , la probabilidad
P Xn
coincide con P Xn
xn
xn
X0
Xn
x0 , . . . , Xn
xn .
xn
23
2.3. Ejercicios
5. Para una caminata aleatoria simple Xn : n 0 sobre Z demuestre

que
P Xn 1 x
p P Xn x 1
q P Xn x 1 .
6. Una partcula realiza una caminata aleatoria simetrica sobre Z empezando en cero. Encuentre la probabilidad de que la partcula se
encuentre nuevamente en el origen en el sexto paso.
7. Una partcula realiza una caminata aleatoria simetrica sobre Z empezando en cero. Cual es la probabilidad de que la partcula regrese
al estado cero por primera vez en el sexto paso?
8. Demuestre que la funcion generadora de momentos de la variable Xn
de la caminata aleatoria simple sobre Z es
M t
E etXn
pet
qe
t n
A partir de esta expresion encuentre nuevamente la esperanza y varianza de Xn .

9. Demuestre nuevamente la identidad (2.1) analizando ahora la variable Ln , es decir, demuestre primero las igualdades que aparecen abajo. Concluya que Ln tiene distribucion binomial n, q . A partir de
aqu obtenga (2.1).
Ln
1
n
2
Xn
1
2
i .
i 1
10. Demuestre que la probabilidad (2.1) es una funcion simetrica de x si,

y s
olo si, la caminata es simetrica. La simetra de la probabilidad se
expresa de la forma siguiente
P Xn
x X0
P Xn
x X0
0.
11. Primera visita a un estado dado. Considere una caminata aleatoria

simple sobre Z que empieza en cero y tal que la probabilidad de pasar
al estado de la derecha es p y la probabilidad de pasar al estado de
1 p. Sea n el primer momento en el que la
la izquierda es q
24
caminata visita el estado n 1. Usando analisis del primer paso (es
decir, condicionando sobre si el primer paso se efect
ua a la izquierda
o a la derecha) demuestre que
p q
P n
si p
1 2,
si p
1 2.
(2.18)
En particular, la probabilidad de que la caminata se mantenga siempre

en el conjunto . . . , 1, 0, 1, . . . , n 1 es 1 p q n en el caso p 1 2, y
con probabilidad uno llegara al estado n en el caso p 1 2. Generalice
la f
ormula (2.18) en el caso cuando el estado inicial es m, menor o
mayor a n.
12. Un algoritmo aleatorio de b
usqueda del estado cero opera del siguiente
modo: si se encuentra en el estado k en alg
un momento, entonces el
estado del algoritmo al siguiente paso es aleatorio con distribucion
uniforme en el conjunto 0, 1, . . . , k 1 . Encuentre el n
umero esperado
de pasos en los que el algoritmo alcanza el estado cero cuando inicia
en el estado k.
13. Recurrencia. Sea Xn : n 0 una caminata aleatoria simple sobre Z
que inicia en X0 0. Sea fij la probabilidad de que eventualmente la
caminata visite el estado j a partir del estado i, es decir,
fij
P Xn
j para alguna n
1 X0
i.
Lleve a cabo cada uno de los siguientes pasos para encontrar nuevamente la probabilidad de un eventual retorno a la posicion de origen
f00 .
a) Demuestre que f
1,1
1,0 f01
2 .
f01
b) Condicionando sobre el primer paso de la caminada, demuestre

que f00 pf10 q f 1,0 pf10 q f01 .
c) Usando la misma tecnica que en el inciso anterior demuestre que
2 .
f01 p q f01
d) Resuelva la ecuacion cuadratica del inciso anterior y obtenga las
dos races f01 1, p q.
25
2.3. Ejercicios
e) De manera an
aloga obtenga f10
1, q p.
f) Analice los casos p q y p q por separado para encontrar que

f00 2q y f00 2p, respectivamente. Concluya que
f00
2 mn p, q
q.
El problema de la ruina del jugador

14. Ecuaci
on en diferencias. Siguiendo la notacion usada en el problema de la ruina del jugador, demuestre la validez de la ecuaci
on en
diferencias que aparece abajo, para k 1, 2, . . . , N 1.
uk
p uk
q uk
1.
15. Para resolver el problema del jugador se requiere resolver la ecuacion

en diferencias uk p uk 1 q uk 1 . Resuelva nuevamente esta ecuacion
siguiendo los siguientes pasos sugeridos en [16]:
a) Proponga la solucion uk a mk , con a y m constantes distintas
de cero, y que encontraremos a continuacion.
b) Substituya la solucion propuesta en la ecuacion en diferencias y
encuentre la ecuacion cuadratica pm2 m q 0. Esta ecuacion
se conoce como la ecuacion caracterstica de la ecuacion en diferencias.
q, esta ecuacion cuadratica tiene dos
c) Suponiendo el caso p
soluciones distintas: m1 1 y m2 q p. Dada la linealidad de la
ecuaci
on en diferencias, la solucion general puede escribirse como
uk a1 mk1 a2 mk2 a1 a2 q p k .
0 para encontrar
d) Use las condiciones de frontera u0 1 y uN
los valores de las constantes a1 y a2 , y obtener nuevamente la
soluci
on (2.14).
q la ecuacion caracterstica tiene una u
nica raz:
e) Cuando p
m1 1. Como segundo valor para m se propone k veces el valor
k. Proceda como en el
de la primera solucion, es decir, m2
inciso anterior para encontrar (2.14) en este caso.
26
16. Probabilidad de ruina del segundo jugador. Si el juego se considera

desde el punto de vista del jugador B, entonces se trata de la misma
caminata aleatoria s
olo que ahora el capital inicial es N k y la probabilidad de ganar en cada apuesta es q. Substituya estos parametros
en la soluci
on (2.14) y compruebe que la probabilidad de ruina del jugador B, denotada por vN k , es la que aparece abajo. Verifique ademas
que uk vN k 1, es decir, la probabilidad de que eventualmente el
juego termine con la ruina de alguno de los jugadores es uno.
k N
vN
q pk
q pN
1
1
si q
1 2,
si q
1 2.
17. Siguiendo la notaci

on usada para encontrar el n
umero esperado de
apuestas antes de la ruina en el problema del jugador, demuestre la
siguiente igualdad v
alida para k 1, 2, . . . , N 1.
mk
p mk
q mk
1.
18. Considere el problema de la ruina del jugador permitiendo ahora que

existan empates en cada una de las apuestas. Las probabilidades de
ganar, perder o empatar para el jugador A son p, q y r, respectivamente, con p q r 1. Demuestre que la probabilidad de ruina para
el jugador A sigue siendo la misma expresion (2.14). Es decir, la posibilidad de empate en cada apuesta extiende posiblemente la duracion
del juego pero no modifica las probabilidades de ruina.
19. Demuestre que la duracion promedio del juego en el problema de la
ruina del jugador es siempre menor o igual a N 2 2 , es decir, para
cada k
1, . . . , N , se cumple que mk
N 2 2 , tanto en el caso
simetrico como en el no simetrico.
Captulo 3
Cadenas de Markov
Las cadenas de Markov fueron introducidas por
el matem
atico ruso Andrey Markov alrededor de
1905. Su intenci
on era crear un modelo probabilstico para analizar la frecuencia con la que
aparecen las vocales en poemas y textos literarios. El exito del modelo propuesto por Markov radica en que es lo suficientemente complejo como para describir ciertas caractersticas
no triviales de algunos sistemas, pero al misAndrey Markov
mo tiempo es lo suficientemente sencillo para
(Rusia,
1856-1922)
ser analizado matem
aticamente. Las cadenas de
Markov pueden aplicarse a una amplia gama de
fen
omenos cientficos y sociales, y se cuenta con una teora matematica extensa al respecto. En este captulo presentaremos una introduccion a algunos
aspectos b
asicos de este modelo.
3.1.
Propiedad de Markov
Vamos a considerar procesos estocasticos a tiempo discreto Xn : n 0 que

cumplen la propiedad de Markov. Para describir a esta propiedad y varias
de sus condiciones equivalentes de una manera simple, a la probabilidad
P Xn xn se le escribir
a como p xn , es decir, el subndice indica tambien
la variable a la que se hace referencia. El significado de la probabilidad
27
28
condicional p xn 1 xn es analogo. Hacemos enfasis en que esta notacion

ayuda a escribir la propiedad de Markov y sus equivalencias de una manera
simple y clara. M
as adelante retomaremos la notacion que se usa de manera
est
andar para estas probabilidades.
Definici
on 3.1 Una cadena de Markov es un proceso estoc
astico a tiempo
discreto Xn : n
0, 1, . . . , con espacio de estados discreto, y que satis0, y para
face la propiedad de Markov, esto es, para cualquier entero n
cualesquiera estados x0 , . . . , xn 1 , se cumple
p xn
x0 , . . . , xn
p xn
(3.1)
xn .
Si al tiempo n 1 se le considera como un tiempo futuro, al tiempo n

como el presente y a los tiempos 0, 1, . . . , n 1 como el pasado, entonces la
condici
on (3.1) establece que la distribucion de probabilidad del estado del
proceso al tiempo futuro n 1 depende u
nicamente del estado del proceso al
tiempo n, y no depende de los estados en los tiempos pasados 0, 1, . . . , n 1.
Existen otras formas equivalentes de expresar esta propiedad, algunas de
ellas se encuentran enunciadas en la seccion de ejercicios. Por ejemplo, es
posible demostrar que la condicion (3.1) es equivalente a poder calcular la
distribuci
on conjunta de las variables X0 , X1 , . . . , Xn de la siguiente forma:
p x0 , x1 , . . . , xn
p x0 p x1 x0
p xn xn
Sin perdida de generalidad tomaremos como espacio de estados de una cadena de Markov al conjunto discreto 0, 1, 2, . . . , o cualquier subconjunto
finito que conste de los primeros elementos de este conjunto. Cuando el espacio de estados de una cadena de Markov es un conjunto finito se dice que
la cadena es finita.
on
Sean i y j dos estados de una cadena de Markov. A la probabilidad
P Xn
j Xn
se le denota por pij n, n 1 , y representa la probabilidad de transicion del

estado i en el tiempo n, al estado j en el tiempo n 1. Estas probabilidades
se conocen como las probabilidades de transicion en un paso. Cuando los
29
3.1. Propiedad de Markov
n
umeros pij n, n 1 no dependen de n se dice que la cadena es estacionaria u
homogenea en el tiempo. Por simplicidad se asume tal situacion de modo que
las probabilidades de transicion en un paso se escriben como pij . Variando
los ndices i y j, por ejemplo, sobre el conjunto de estados 0, 1, 2, . . . , se
obtiene la matriz de probabilidades de transicion en un paso que aparece
en la Figura 3.1. La entrada i, j de esta matriz es la probabilidad de
transici
on pij , es decir, la probabilidad de pasar del estado i al estado j
en una unidad de tiempo. En general, al escribir estas matrices omitiremos
escribir la identificaci
on de los estados en los renglones y columnas como
aparece en la Figura 3.1, tal identificacion sera evidente a partir de conocer
el espacio de estados del proceso. El ndice i se refiere al renglon de la matriz,
y el ndice j a la columna.
0
p00 p01 p02

p10 p11 p12
p20 p21 p22
..
..
..
.
.
.
0
1
2
..
.
Figura 3.1
Proposici
on 3.1 La matriz de probabilidades de transici
on P
ple las siguientes dos propiedades.
a) pij
b)
pij cum-
0.
pij
1.
Demostraci
on. La primera condicion es evidente a partir del hecho de que
estos n
umeros son probabilidades. Para la segunda propiedad observamos
primero que se cumple la descomposicion disjunta:
X1
j
Por lo tanto, para cualquiera estados i y j,
j .
30
X1
j
X0
P X1
i
j
j X0
pij .
i
j
!
Esto u
ltimo significa que a partir de cualquier estado i con probabilidad uno
la cadena pasa necesariamente a alg
un elemento del espacio de estados al
siguiente momento. En general toda matriz cuadrada que cumpla estas dos
propiedades se dice que es una matriz estocastica. Debido a la propiedad
de Markov, esta matriz captura la esencia del proceso y determina el comportamiento de la cadena en cualquier tiempo futuro. Si ademas la matriz
1, es decir, cuando la suma por columnas
satisface la condici
on i pij
tambien es uno, entonces se dice que es doblemente estocastica.
Distribuci
on de probabilidad inicial
En general puede considerarse que una cadena de Markov inicia su evolucion
partiendo de un estado i cualquiera, o mas generalmente considerando una
distribuci
on de probabilidad inicial sobre el espacio de estados. Una distribuci
on inicial para una cadena de Markov con espacio de estados 0, 1, 2, . . . es
simplemente una distribucion de probabilidad sobre este conjunto, es decir,
es una colecci
on de n
umeros p0 , p1 , p2 . . . que son no negativos y que suman
uno. El n
umero pi corresponde a la probabilidad de que la cadena inicie en
el estado i. En general, la distribucion inicial juega un papel secundario en
el estudio de las cadenas de Markov.
Existencia
Hemos mencionado que la propiedad de Markov (3.1) es equivalente a la
p x0 p x1 x0
p xn xn 1 . Esta identidad
igualdad p x0 , x1 , . . . , xn
establece que las distribuciones conjuntas p x0 , x1 , . . . , xn se encuentran
completamente especificadas por la matriz de probabilidades de transicion
y por una distribuci
on inicial. En el texto de Chung [5] puede encontrarse
una demostraci
on del hecho de que dada una matriz estocastica y una distribuci
on de probabilidad inicial, existe un espacio de probabilidad y una
cadena de Markov con matriz de probabilidades de transicion y distribucion
inicial las especificadas. Es por ello que a la matriz misma se le llama a veces
cadena de Markov.
3.2. Ejemplos
31
on en n pasos
La probabilidad P Xn m
j Xm
i corresponde a la probabilidad de
pasar del estado i al tiempo m, al estado j al tiempo m n. Dado que hemos
supuesto la condici
on de homogeneidad en el tiempo, esta probabilidad no
depende realmente de m, por lo tanto coincide con P Xn j X0 i , y se
n
le denota por pij n . A esta probabilidad tambien se le denota por pij , en
donde el n
umero de pasos n se escribe entre parentesis para distinguirlo de
alg
un posible exponente, y se le llama probabilidad de transicion en n pasos.
Usaremos ambas notaciones a conveniencia. Haciendo variar i y j se obtiene
la matriz de probabilidades de transicion en n pasos que denotaremos por
P n oP n:
p00 n p01 n
p10 n p11 n
P n
.
..
..
.
.
Cuando el n
umero de pasos n es uno, simplemente se omite su escritura en
estas probabilidades de transicion, a menos que se quiera hacer enfasis en
ello. Adem
as, cuando n 0 es natural definir pij 0 como la funcion delta
de Kronecker:
0 si i j,
ij
pij 0
1 si i j.
Es decir, despues de realizar cero pasos la cadena no puede estar en otro
lugar mas que en su estado de partida. Para algunas pocas cadenas de Markov encontraremos f
ormulas compactas para las probabilidades de transicion
pij n . Estas probabilidades en general no son faciles de encontrar.
3.2.
Ejemplos
Estudiaremos a continuaci
on algunos ejemplos particulares de cadenas de
Markov. Retomaremos m
as adelante varios de estos ejemplos para ilustrar
otros conceptos y resultados generales de la teora, de modo que nos referiremos a estos ejemplos por los nombres que indicaremos y, a menos que se diga
lo contrario, usaremos la misma notacion e hipotesis que aqu se presentan.
Cadena de dos estados
Considere una cadena de Markov con espacio de estados 0, 1 , y con matriz
y diagrama de transici
on como aparece en la Figura 3.2, en donde 0 a 1,
32
y0 b
0 y p1
1. Suponga que la distribucion inicial esta dada por p0

P X0 1 .
0
1
a
b
a
1
P X0
Figura 3.2
Aunque de aspecto sencillo, esta cadena es susceptible de muchas aplicaciones pues es com
un encontrar situaciones en donde se presenta siempre
la dualidad de ser o no ser, estar o no estar, tener o no tener, siempre en
una constante alternancia entre un estado y el otro. Cuando a 1 b, las
variables X1 , X2 , . . . son independientes e identicamente distribuidas con
P Xn 0
1 a y P Xn 1
a, para cada n 1. Cuando a 1 b,
as adelante daremos la solucion al problema no
Xn depende de Xn 1 . M
trivial de encontrar las probabilidades de transicion en n pasos. Estas probabilidades son, para a b 0,
p00 n
p10 n
P n
1
a
p01 n
p11 n
b a
b a
a
a
b
b
a
b
a
b
Cadena de variables aleatorias independientes

Sea 1 , 2 , . . . una sucesi
on de variables aleatorias independientes con valores
en el conjunto 0, 1, . . . , y con identica distribucion dada por las probabilidades a0 , a1 , . . . Definiremos varias cadenas de Markov a partir de esta
sucesi
on.
n . La sucesion Xn : n
1 es una cadena de Markov
a) Sea Xn
con espacio de estados 0, 1, . . . , y con probabilidades de transicion
P Xn j
aj . Es decir, la matriz de
pij P Xn j Xn 1 i
33
3.2. Ejemplos
probabilidades de transicion es de la siguiente forma:
P
a 0 a1 a 2
a 0 a1 a 2
..
..
..
.
.
.
Por la hip
otesis de independencia, esta cadena tiene la cualidad de
poder pasar a un estado cualquiera siempre con la misma probabilidad en cualquier momento, sin importar el estado de partida. En
consecuencia, para cualquiera estados i y j, y para cualquier entero
n 1, las probabilidades de transicion en n pasos son faciles de calaj . Esta cadena puede modelar, por
cular y est
an dadas por pij n
ejemplo, una sucesi
on de lanzamientos independientes de una moneda.
b) Sea Xn
m
ax 1 , . . . , n . La sucesion Xn : n 1 es una cadena
de Markov con espacio de estados 0, 1, . . . y matriz
a0
a1
0 a0 a1
0
0
a0
..
..
.
.
a2
a2
a1
..
.
a2
a3
a3
a3
..
.
c) Sea Xn
1
n . La sucesion Xn : n
1 es una cadena de
Markov con espacio de estados 0, 1, . . . y matriz
a 0 a1 a 2
0 a 0 a1
0 0 a0
..
..
..
.
.
.
Cadena de rachas de
exitos
on de ensayos independientes Bernoulli con probaumero
bilidad de exito p, y probabilidad de fracaso q 1 p. Sea Xn el n
de exitos consecutivos previos al tiempo n, incluyendo el tiempo n. Se dice
que una racha de exitos de longitud r ocurre al tiempo n si en el ensayo
n r se obtiene un fracaso y los resultados de los ensayos n r 1 al n son
todos exitos. Gr
aficamente esta situacion se ilustra en la Figura 3.3.
34
r exitos
F
1
E
r
E
n
Figura 3.3
La colecci
on de variables aleatorias Xn : n
1, 2, . . . es una cadena de
Markov con espacio de estados 0, 1, . . . . Las probabilidades de transicion
y la matriz correspondiente se muestran en la Figura 3.4.
0 1
pij
p
q
si j
si j
i 1,
0,
otro caso.
0
1
2
..
.
2 3
q p 0 0
q 0 p 0
q 0 0 p
.. .. ..
. . .
Figura 3.4
Las posibles transiciones de un estado a otro para esta cadena de Markov
se pueden observar en la Figura 3.5.
Cadena de la caminata aleatoria
Una caminata aleatoria simple sobre el conjunto de n
umeros enteros constituye una cadena de Markov con espacio de estados el conjunto Z, y con
probabilidades de transici
on
pij
si j
q
0
si j i 1,
otro caso,
1,
en donde p q 1. Hemos demostrado en la Proposicion 2.3 de la pagina 11

que las probabilidades de transicion en n pasos son las siguientes: si n y j i
35
3.2. Ejemplos
0
p
q
1
q
2
q
3
Figura 3.5
es ambos pares o ambos impares con
pij n
1
2
n
n j
n
pn
n, entonces
j i 2
n j i 2
En otro caso pij n

0, excepto cuando n
0 e i
j. Mas adelante
usaremos este modelo para ilustrar algunos conceptos generales de cadenas
de Markov.
Cadena del jugador
El modelo usado para el problema del jugador estudiado en el segundo
captulo es una caminata aleatoria sobre el conjunto de n
umeros enteros
0, 1, , . . . , N , en donde los estados 0 y N son absorbentes. Las probabilidades de transici
on son como las de la caminata aleatoria simple solo
que ahora p00
1 y pN N
1. Este proceso es otro ejemplo de cadena
de Markov con espacio de estados finito. Hemos demostrado antes que con
probabilidad uno la cadena eventualmente se absorbe en alguno de los dos
estados absorbentes, hemos calculado la probabilidad de ruina, es decir, la
probabilidad de que la absorcion se observe en el estado 0, y hemos ademas
encontrado el tiempo medio de absorcion.
Cadena de Ehrenfest
Sean A y B dos urnas dentro de las cuales se encuentran distribuidas un
total de N bolas de acuerdo a cierta configuracion inicial, por ejemplo, en
36
la urna A hay i bolas y en la urna B

hay N i bolas. En cada unidad de
tiempo se escoge una bola al azar y
se cambia de urna. Para tal efecto
...
...
puede considerarse que las bolas se
encuentran numeradas y que se esN i bolas
i bolas
coge un n
umero al azar, se busca la
Urna A
Urna B
bola con ese n
umero y se cambia de
urna. Vease la Figura 3.6. Sea Xn el
n
umero de bolas en la urna A desFigura 3.6
pues de n extracciones. Entonces la
0, 1, . . . conscolecci
on Xn : n
tituye una cadena de Markov con espacio de estados finito 0, 1, . . . , N . Es
claro que a partir del estado i la cadena solo puede pasar al estadio i 1 o
al estado i 1 al siguiente momento, de modo que las probabilidades son
N i N , validas para i 1, 2, . . . , N 1. Natupi,i 1 i N , y pi,i 1
ralmente p01 1 y pN,N 1 1. En este caso se dice que los estados 0 y N
son reflejantes. La matriz de probabilidades de transicion aparece mas abajo. Este modelo fue propuesto por Ehrenfest para describir el intercambio
aleatorio de moleculas en dos regiones separadas por una membrana porosa.
La regi
on con mayor n
umero de moleculas tendera a liberar mas moleculas.
0
1 N
0
..
.
1
0
2 N
..
.
0
N 1 N
0
..
.
0
0
N 2 N
..
.
0
0
0
0
0
0
0
0
0
0
0
..
.
0
0
0
..
.
0 1 N
1
0
Cadena de ramificaci
on
Considere una partcula u objeto que es capaz de generar otras partculas
del mismo tipo al final de un periodo establecido de tiempo. El conjunto de partculas iniciales constituye la generacion 0. Cada una de estas
partculas simult
aneamente y de manera independiente genera un n
umero
de descendientes dentro del conjunto 0, 1, . . . , y el total de estos descendientes pertenece a la generacion 1, estos a su vez son los progenitores de la
37
3.2. Ejemplos
generaci
on 2, y as sucesivamente. Una posible sucesion de generaciones se
muestra en la Figura 3.7. El posible evento cuando una partcula no genera
ning
un descendiente se interpreta en el sentido de que la partcula se ha
muerto o extinguido.
Generaci
on
Xn
Figura 3.7
Sea k la variable aleatoria que modela el n
umero de descendientes de la
k-esima partcula. Para cada n 0 defina Xn como el n
umero de partculas
en la generaci
on n. Entonces Xn : n 0, 1, . . . es una cadena de Markov
con espacio de estados 0, 1, . . . y probabilidades de transicion pij P 1
i
j , para i
1. Si en alg
un momento Xn
0, entonces se dice
que la poblaci
on de partculas se ha extinguido. Naturalmente el estado 0
es un estado absorbente. Este modelo ha sido usado para determinar la
probabilidad de extinci
on de la descendencia de una persona.
Cadena de la fila de espera
Considere una cola o lnea de espera de clientes que solicitan alg
un tipo de
servicio de un servidor. Suponga que el sistema es observado en los tiempos discretos n 0, 1, . . ., y que la fila funciona del siguiente modo: cuando
hay alg
un cliente esperando servicio al inicio de un periodo, el cliente al
frente de la fila es atendido terminando el servicio al final del periodo. Naturalmente si no existiera ning
un cliente en la fila al inicio de alg
un periodo,
entonces ning
un cliente es atendido. Para cada entero n 1 defina n como
el n
umero de nuevos clientes que se incorporan a la fila durante el periodo
38
n. Bajo ciertas condiciones es natural suponer que estas variables aleatorias son independientes, identicamente distribuidas y con valores enteros no
negativos. Suponga que P n
k
ak , con ak
0 y a0 a1
1.
Sea X0 el n
umero de clientes iniciales, y para cada n 1 defina a Xn como
el n
umero de clientes en la fila al final del periodo n. Las dos reglas de
operaci
on mencionadas se pueden escribir de la siguiente forma:
Xn
n
1
Xn
si Xn
0,
si Xn
1.
Esto puede escribirse como Xn 1

Xn 1
n 1 , en donde x
m
ax x, 0 . Por lo tanto, el proceso Xn : n
0, 1, . . . es una cadena de
Markov con espacio de estados 0, 1, . . . y probabilidades de transicion
pij
si i
0,
si i
1.
Es decir,
a 0 a1
a 0 a1
0 a0
0 0
..
..
.
.
a2
a2
a1
a0
..
.
Cadena de inventarios
Suponga que se almacena un cierto n
umero de bienes en una bodega, y que
se requiere una demanda aleatoria n del bien en el periodo n. Suponga que
P n
k
ak , para k
0, 1, . . . con ak
0 y k ak
1, es decir, la
distribuci
on de n es la misma para cualquier n. El n
umero de bienes en el
almacen es revisado al final de cada periodo y se aplica la siguiente poltica
de reabastecimiento: si al final del periodo la cantidad del bien es menor o
igual a un cierto nivel s, entonces se reabastece la bodega inmediatamente
hasta un nivel m
aximo S. Si al final del periodo el n
umero de bienes es mayor
a s, entonces no hay ning
un reabastecimiento. Naturalmente s S. Sea Xn
el n
umero de bienes al final del periodo n y justo antes de aplicar la poltica
de reabastecimiento. Entonces Xn : n 0 es una cadena de Markov con
n de Chapman-Kolmogorov
3.3. Ecuacio
39
espacio de estados . . . , 2, 1, 0, 1, 2, . . . , S . Se permiten valores negativos

para Xn los cuales corresponden a demandas del bien no satisfechas en su
momento pero que ser
an cubiertas en el siguiente reabastecimiento. El valor
de Xn 1 en terminos de Xn se escribe de la forma siguiente:
Xn
Xn
1
n
n
si s
Xn
si Xn
S,
s.
Las probabilidades de transicion para esta cadena son

pij
P Xn
j Xn
P n
P n
j
j
ai
aS
j
j
si s
si i
s.
S,
La primera expresi
on corresponde al caso cuando no hay reabastecimiento,
la probabilidad de pasar de i a j es la probabilidad de que la demanda al final
de ese periodo sea de j i pues el nuevo nivel del almacen sera de i i j
j. La segunda expresi
on corresponde al caso cuando hay reabastecimiento
S j
j, cuando la demanda sea S j.
y el nuevo nivel ser
a de S
3.3.
Ecuaci
on de Chapman-Kolmogorov
Esta ecuaci
on es una f
ormula sencilla y muy u
til que permite desk
componer la probabilidad de pasar
del estado i al estado j en n paj
sos, en la suma de probabilidades
de las trayectorias que van de i a
i
j, y que atraviesan por un estado
k cualquiera en un tiempo intermer
n
dio r. Gr
aficamente, las trayectorias que van del estado i al estado j
Figura 3.8
en n pasos se descomponen como se
muestra en la Figura 3.8. Para fines
ilustrativos se dibujan las trayectorias de manera continua pero en realidad
no lo son. La ecuaci
on de Chapman-Kolmogorov es importante para hacer
ciertos c
alculos y se usa con regularidad en el estudio de las cadenas de
Markov.
40
Proposici
on 3.2 (Ecuaci
on de Chapman-Kolmogorov) Para cualquier
par de n
umeros enteros r y n tales que 0 r n, y para cualesquiera estados i y j se cumple
pij n
pik r pkj n
r .
Demostraci
on.
Markov,
pij n
Por el teorema de probabilidad total y la propiedad de
P Xn
j X0
P Xn
j, Xr
k, X0
i P X0
P Xn
j Xr
k P Xr
k X0
pkj n
r pik r .
!
En particular, la siguiente desigualdad sera utilizada m
as adelante: para
cualquier estado k y para 0 r n, se tiene que
pij n
pik r pkj n
r .
Como una consecuencia importante de la ecuacion de Chapman-Kolmogorov

se tiene el siguiente resultado.
Proposici
on 3.3 La probabilidad de transici
on en n pasos, pij n , est
a dada por la entrada i, j de la n-esima potencia de la matriz P , es decir,
pij n
Pn
ij .
Demostraci
on. Esta identidad es consecuencia de la ecuacion de Chapman-Kolmogorov aplicada n 1 veces. La suma que aparece abajo corresponde a la entrada i, j de la matriz resultante de multiplicar P consigo
n de Chapman-Kolmogorov
3.3. Ecuacio
41
misma n veces.
pi,i1 1 pi1 ,j n
pij n
i1
pi,i1 1 pi1 ,i2 1 pi2 ,j n
pi,i1 1 pi1 ,i2 1
p in
i1 ,i2
..
.
1 ,j
i1 ,...,in 1
P n ij .
!
En palabras este resultado establece que el difcil problema de calcular las
on en n pasos se transforma en obtener la n-esima
potencia de la matriz de probabilidades de transicion en un paso, es decir,
P n
p00 n
p10 n
..
.
p01 n
p11 n
..
.
p00 p01
p10 p11
..
..
.
.
P n.
Si se conoce esta matriz y si pi

P X0
i es una distribucion inicial,
entonces la distribuci
on de la variable Xn es
P Xn
pi pij n .
i
Cuando una matriz estoc

astica P es diagonalizable, es decir, cuando puede
ser escrita en la forma QDQ 1 en donde D es una matriz diagonal, las
potencias de P se calculan facilmente, pues P n
QD n Q 1 . Como D es
n
diagonal, D es la matriz con cada elemento de la diagonal elevado a la
n-esima potencia.
Ejemplo 3.1 Consideremos nuevamente la cadena general de dos estados
P
a
b
a
1
42
Los eigenvalores de esta matriz est

an dados por la ecuaci
on P I
0,
y resultan ser 1 1 y 2 1 a b. Los correspondientes eigenvectores
escritos como vectores rengl
on son 1, 1 y a, b , respectivamente. La matriz Q est
a compuesta por los eigenvectores como columnas, y si se cumple
que a b 0, entonces es invertible, es decir,
1
1
a
b
b
1
a
1
La matriz D es la matriz diagonal que contiene a los dos eigenvalores. Puede

entonces comprobarse la identidad P QDQ 1 , es decir,
1
a
1
1
1
a
b
1
0 1
a
b
0
a
1
b
b
1
a
1
Por lo tanto,
Pn
Q Dn Q
1
1
a
b
1
a
b a
b a
1
0
0
a
b
1
a
b
a
1
a
b
Este resultado fue mencionado cuando se present

o la cadena de Markov de
dos estados en la p
agina 32.
Ejemplo 3.2 Toda matriz estoc
astica P con renglones identicos es idempotente, es decir, para cualquier entero n 1, se cumple que P n P . Este
es el caso de la cadena de variables aleatorias independientes.
3.4.
Comunicaci
on
Definiremos a continuaci
on el concepto de comunicacion entre dos estados
de una cadena de Markov como la posibilidad de pasar de un estado a otro
en alg
un n
umero finito de transiciones.
n
3.4. Comunicacio
43
Definici
on 3.2 Se dice que el estado j es accesible desde el estado i si
existe un entero n 0 tal que pij n
0, esto se escribe simplemente como
j. Se dice adem
as que los estados i y j son comunicantes, y se escribe
i
j, si se cumple que i
j yj
i.
i
Observe que siempre se cumple que i
i, pues por
definici
on pii 0
1. Ademas observe que si ocurre
j, la accesibilidad de i a j puede darse en
que i
un n
umero de pasos distinto que la accesibilidad
de j a i. Gr
aficamente la accesibilidad y la comunicaci
on se representan, como lo hemos hecho antes
en los ejemplos, mediante flechas entre nodos como
se muestra en la Figura 3.9. Es sencillo verificar que
la comunicaci
on es una relacion de equivalencia, es
decir, cumple las siguientes propiedades.
a) Es reflexiva: i
c) Es transitiva: si i
k.
i
Comunicacion
i
Figura 3.9
i.
b) Es simetrica: si i
Accesibilidad
j, entonces j
j y j
i.
k, entonces
En consecuencia, la comunicacion induce una particion del espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes, es decir, dos estados pertenecen al mismo elemento de la particion si,
y s
olo si, son estados que se comunican. De este modo el espacio de estados
de una cadena de Markov se subdivide en clases de comunicaci
on. A la clase
j
de comunicaci
on de un estado i se le denotara por C i . Por lo tanto, i
si, y s
olo si, C i
C j .
Ejemplo 3.3 La cadena de Markov con espacio de estados 0, 1, 2, 3 y
matriz de probabilidades de transici
on que se muestra en la Figura 3.11
0 , C 1
1, 2 y
tiene tres clases de comunicaci
on que son C 0
C 3
3 . Es evidente que el estado 0 se comunica consigo mismo pues
existe una flecha que parte de tal estado y llega a el mismo. Visualmente
tampoco hay duda de que la segunda colecci
on de estados es una clase de
on fsica del estado
comunicaci
on. Para la clase C 3 no existe una conexi
44
C i
C j
S
Particion de un espacio de estados

en clases de comunicacion
Figura 3.10
1, y ello hace que
3 consigo mismo, sin embargo, por definici
on p33 0
esta clase de u
nicamente un estado sea de comunicaci
on. Observe que estas
clases de comunicaci
on conforman una partici
on del espacio de estados.
C 0
1
0
0 0
1 2 0 1 2 0
0 1 2 1 2 0
1 2 0 1 2 0
C 1
2
C 3
Figura 3.11
El estado i de una cadena de Markov se llama absorbente si pii 1

ejemplo, el estado 0 de la cadena de la Figura 3.11 es absorbente.
1. Por
Definici
on 3.3 Se dice que una cadena de Markov es irreducible si todos
los estados se comunican entre s.
En otras palabras, una cadena de Markov es irreducible si existe solo una
clase de comunicaci
on, es decir, si la particion generada por la relacion de
comunicaci
on es trivial. Por ejemplo, la cadena de racha de exitos o la cadena
de la caminata aleatoria son cadenas irreducibles, pues todos los estados se
45
3.5. Periodo
comunican entre s. La cadena de la Figura 3.11 no es irreducible, pues no

se cumple que todos los estados se comuniquen.
3.5.
Periodo
El periodo es un n
umero entero no negativo que se calcula para cada estado
de una cadena. Una interpretacion de este n
umero sera mencionada mas
adelante y aparecer
a tambien dentro de los enunciados generales sobre el
comportamiento lmite de cadenas de Markov.
Definici
on 3.4 El periodo de un estado i es un n
umero entero no negativo
denotado por d i , y definido como sigue:
di
m.c.d. n
1 : pii n
0 ,
0 para
en donde m.c.d. significa m
aximo com
un divisor. Cuando pii n
toda n
1, se define d i
0. En particular, se dice que un estado i es
1. Cuando d i
k
2 se dice que i es peri
odico de
aperi
odico si d i
periodo k.
En palabras, para calcular el periodo de un estado i se considera el conjunto
0 y se obtiene el entero mas grande
de n
umeros naturales n tales que pii n
que divide a todos los elementos de este conjunto. Tal divisor maximo es
el periodo del estado i. Observe que si en el conjunto mencionado aparece
como elemento el n
umero uno, o un n
umero primo, o dos n
umeros primos
relativos, entonces el periodo es uno.
Ejemplo 3.4 Considere una cadena de Markov con diagrama de transici
on
como en la Figura 3.12. No es difcil comprobar que d 0
1, d 1
2,
d2
2yd3
0.
Demostraremos a continuacion
que el periodo es una propiedad
de clase, es decir, todos los estados de una misma clase de comunicaci
on tienen el mismo periodo. De este modo uno puede
hablar de clases de comunicacion
peri
odicas o clases aperi
odicas.
Figura 3.12
46
Proposici
on 3.4 Si los estados i y j pertenecen a la misma clase de comunicaci
on, entonces tienen el mismo periodo.
Demostraci
on. Claramente el resultado es valido para i j. Suponga
entonces que i y j son distintos. Como los estados i y j estan en la misma
clase de comunicaci
on, existen enteros n 1 y m 1 tales que pij n
0
0. Sea s
1 un entero cualquiera tal que pii s
0. Tal
y pji m
entero existe pues por la ecuacion de Chapman-Kolmogorov, pii n m
pij n pji m
0. Esto quiere decir que d i s y lo hace de manera maxima.
Por otro lado, nuevamente por la ecuacion de Chapman-Kolmogorov,
pjj n
pji m pii s pij n
2s
pji m pii 2s pij n
0.
An
alogamente,
pjj n
0.
Por lo tanto d j n m s y d j n m 2s . Entonces d j divide a la

diferencia n m 2s
n m s
s. Por lo tanto, todo entero s 1
0 cumple d j s. Pero d i divide a s de manera maxima,
tal que pii s
por lo tanto d i
d j . De manera analoga, escribiendo i por j, y j por i,
d i . Se concluye entonces que d i
dj .
!
se obtiene d j
El recproco del resultado anterior es en general falso, es decir, dos estados
pueden tener el mismo periodo y sin embargo no ser comunicantes. Puede
usted dar un ejemplo de tal situacion? El siguiente resultado establece que
despues de un n
umero suficientemente grande de pasos, con probabilidad
positiva toda cadena puede regresar a cada estado i cada d i pasos. Esta
es la raz
on por la que a tal n
umero se le llama periodo.
Proposici
on 3.5 Para cada estado i, existe un entero N tal que para toda
0.
n N , se cumple pii nd i
0 para cada n 1, entonces d i
0 y por lo
Demostraci
on. Si pii n
tanto la afirmaci
on es v
alida pues pii 0
1, sin embargo la interpretacion
de recurrencia peri
odica no se aplica en este caso. Suponga entonces que
n1 , . . . , nk son enteros tales que pii n1
0, . . ., pii nk
0. Sea d
m.c.d. n1 , . . . , nk
d i . Como d i es divisor de cada entero n1 , . . ., nk , se
47
3.6. Primeras visitas
tiene que d i d, y por lo tanto existe un entero q tal que qd i

d. Ahora
se hace uso del siguiente resultado cuya demostracion puede encontrarse
en [17]:
Sean n1 , . . . , nk enteros no negativos y sea d m.c.d. n1 , . . . , nk .
Entonces existe un entero M tal que para cada m M existen
enteros no negativos c1 , . . . , ck tales que md c1 n1
ck nk .
Entonces existe un entero no negativo M tal que para cada m M , md
c1 n1
ck nk , para algunos enteros c1 , . . . , ck , y por lo tanto,
pii md
pii c1 n1
ck nk
pii c1 n1
pii ck nk
0.
Por lo tanto, para cada m M , pii md

pii mqd i
0. Defina N
0.
Se puede entonces concluir que para toda n N , pii nd i
M q.
!
Como corolario de la proposicion anterior se tiene que si acaso es posible

pasar de i a j en m pasos, entonces tambien es posible tal transicion en
1.
m nd j pasos con n suficientemente grande, suponiendo d j
Proposici
on 3.6 Si pij m
entero N tal que para toda n
0 para alg
un entero m, entonces existe un
N se cumple pij m nd j
0.
Demostraci
on. Por el resultado anterior y por la ecuacion de ChapmanKolmogorov, para n suficientemente grande, se tiene que
pij m
nd j
pij m pjj nd j
0.
!
3.6.
Primeras visitas
En ocasiones interesa estudiar el primer momento en el que una cadena de

Markov visita un estado particular o un conjunto de estados. Definiremos
a continuaci
on este tiempo aleatorio y despues demostraremos una formula
u
til que lo relaciona con las probabilidades de transicion.
48
Definici
on 3.5 Sea A un subconjunto del espacio de estados de una cadena
de Markov Xn : n
0 . El tiempo de primera visita al conjunto A es la
variable aleatoria
A
mn n
1 : Xn
si Xn
A para alg
un n
1,
otro caso.
Es decir, A es el primer momento positivo en el cual la cadena toma un valor

dentro de la colecci
on de estados A, si ello eventualmente sucede. Estaremos
interesados principalmente en el caso cuando el conjunto A consta de un solo
estado j, y si suponemos que la cadena inicia en i, entonces el tiempo de
primera visita al estado j se escribe ij . Cuando los estados i y j coinciden
se escribe simplemente i . En general no es facil encontrar la distribucion de
probabilidad de la variable aleatoria ij . Definiremos a continuacion como
fij n a la probabilidad de que ij tome el valor n.
Definici
on 3.6 Para cada n 1, el n
umero fij n denota la probabilidad
de que una cadena que inicia en el estado i, llegue al estado j por primera
vez en exactamente n pasos, es decir,
fij n
P Xn
j, Xn
Adicionalmente se define fij 0
j, . . . , X1
X0
0, incluyendo el caso i
i.
j.
Es decir, fij n
P ij n . En particular, observe que fii n es la probabilidad de regresar por primera vez al mismo estado i en el n-esimo paso, y
que fii 1 es simplemente pii 1 . El uso de la letra f para esta probabilidad
proviene del termino en ingles first para indicar que es la probabilidad de
primera visita; saber esto ayuda a recordar su significado.
Ejemplo 3.5 Considere la cadena de Markov de dos estados. Teniendo en
cuenta la Figura 3.2 de la p
agina 32, es inmediato comprobar que
a) f01 n
n 1 a,
para n
1.
b) f10 n
n 1 b,
para n
1.
c) f00 n
a1
n 2 b,
para n
2.
d) f11 n
b1
n 2 a,
para n
2.
49
3.6. Primeras visitas

Ejemplo 3.6 Para la cadena de racha de exitos se tiene que
a) f01 n
qn
1p
para n
1.
b) f00 n
pn
1q
para n
1.
El siguiente resultado establece que la probabilidad de visitar el estado j,

a partir de i, en n pasos, puede descomponerse en las probabilidades de
los eventos disjuntos en los que se presenta la primera visita, la cual puede
efectuarse en el primer paso, o en el segundo paso, y as sucesivamente,
hasta el u
ltimo momento posible n.
1,
Proposici
on 3.7 Para cada n
n
pij n
fij k pjj n
(3.2)
k .
k 1
Demostraci
on. Defina los eventos
A1
Xn
j, X1
j, X0
A2
Xn
j, X2
j, X1
j, X0
Xn
j, X3
j, X2
j, X1
j, X0
Xn
j, Xn
A3
..
.
An
j, . . . , X2
j, X1
j, X0
i.
No es difcil darse cuenta que estos eventos son disjuntos y la union de todos
j, X0
i . Ademas, por la propiedad de Markov,
ellos es el evento Xn
la probabilidad de cada uno de ellos es, para k 1, 2, . . . , n,
P Ak
P X0
i fij k Pjj n
k .
Por lo tanto,
n
P Xn
j, X0
P X0
fij k Pjj n
k .
k 1
50
En terminos de las probabilidades de primera visita, la probabilidad de una

eventual visita al estado j, a partir del estado i, es el n
umero
fij n .
fij
n 1
Recordemos que fij n es la probabilidad de que la primera visita al estado

j, a partir de i, se efect
ue exactamente en el paso n. Siendo estos eventos
disjuntos para valores distintos de n, esta suma representa la probabilidad
de una eventual visita al estado j.
3.7.
Recurrencia y transitoriedad
Veremos a continuaci
on que los estados de una cadena de Markov pueden
ser clasificados, en una primera instancia, en dos tipos, dependiendo si la
cadena es capaz de regresar con certeza al estado de partida.
Definici
on 3.7 (I) Se dice que un estado i es recurrente si la probabilidad
de eventualmente regresar a i, partiendo de i, es uno, es decir, si
P Xn
i para alguna n
1 X0
1.
Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidad anterior es estrictamente menor a uno.
De manera intuitiva, un estado es recurrente si con probabilidad uno la
cadena es capaz de regresar eventualmente a ese estado, y cuando ello ocurre
en alg
un momento finito, por la propiedad de Markov, se puede regresar a
el una y otra vez con probabilidad uno. Debido a este comportamiento
es que al estado en cuestion se le llama recurrente. En cambio, el estado
se llama transitorio si existe una probabilidad positiva de que la cadena,
iniciando en el, ya no regrese nunca a ese estado. De este modo la definicion
de recurrencia y transitoriedad puede enunciarse de manera equivalente de
la siguiente forma.
Definici
on 3.8 (II) Un estado i es recurrente si fii
1, es decir, si la
probabilidad de regresar a el en un tiempo finito es uno. An
alogamente, un
estado i es transitorio si fii 1.
51
3.7. Recurrencia y transitoriedad
Adem
as de la definici
on, tenemos el siguiente criterio u
til para determinar
si un estado es recurrente o transitorio.
Proposici
on 3.8 El estado i es:
a) recurrente si, y s
olo si
pii n
pii n
n 1
b) transitorio si, y s
olo si
n 1
Demostraci
on. Sea Ni la variable aleatoria que cuenta el n
umero de
veces que el proceso regresa al estado i a partir del primer paso, es decir,
1 Xn
Ni
n 1
cuando X0
k 1,
P Ni
i. Entonces Ni tiene una distribucion geometrica, pues para
k X0
P Ni
k, Xm
i, Xm
i, . . . , X1
i X0
P Ni
k Xm
i, Xm
i, . . . , X1
i, X0
m 1
m 1
P Xm
P Ni
i, Xm
k
1 X0
i, . . . , X1
i fii m
m 1
P Ni
1 X0
i fii
P Ni
2 X0
i fii
P Ni
1 X0
..
.
fii k .
i fii
k 1
i X0
52
La esperanza de Ni , posiblemente infinita, puede calcularse de las siguientes

dos formas. Primero,
E Ni X0
P Ni
k X0
k 1
fii
k 1
fii
1 fii
si 0
1,
fii
si fii
1.
Por otro lado, por el teorema de convergencia monotona,

E Ni X0
E 1 Xn
X0
P Xn
i X0
n 1
n 1
pii n .
n 1
El resultado se sigue de igualar estas dos expresiones.
Siguiendo con la notaci

on de la demostracion anterior, observe que la esi es el n
umero promedio de retornos al estado i, de
peranza E Ni X0
modo que un estado i es recurrente si, y solo si, el n
umero promedio de
retornos a el es infinito. En contraparte, un estado i es transitorio si, y solo
si, el n
umero promedio de retornos a el es finito.
Ejemplo 3.7 Considere una caminata aleatoria sobre Z. En el segundo ca1 p q . De aqu hemos concluido
ptulo demostramos que n 0 f00 n
que el estado 0 es recurrente en el caso simetrico. Siendo la cadena irreducible, la cadena toda es recurrente. Alternativamente, hemos encontrado
2
1
tambien la f
ormula pii n
n 2 2n , para n par. Estimando los factoriales
mediante la f
ormula de Stirling: n!
2 nn 1 2 e n , puede comprobarse
que n 0 p00 n
, confirmando nuevamente la recurrencia del estado
53
0 y de la cadena completa en el caso simetrico. La cadena es transitoria

cuando es asimetrica.
Demostraremos a continuacion que la recurrencia y la transitoriedad son
propiedades de clase, es decir, si dos estados estan en una misma clase de
comunicaci
on, entonces ambos estados son recurrentes o ambos son transitorios.
Proposici
on 3.9 La recurrencia es una propiedad de clase, es decir,
a) Si i es recurrente e i
j, entonces j es recurrente.
b) Si i es transitorio e i
j, entonces j es transitorio.
Demostraci
on. Como i
j, existen enteros n
1ym
1 tales que
0 y pji m
0. Entonces pjj m n r
pji m pii r pij n . De
pij n
modo que, por la ecuaci
on de Chapman-Kolmogorov,
pjj m
r 1
pii r pij n .
pji m
r 1
Si i es recurrente, la suma del lado derecho es infinita. Se sigue entonces

que la suma del lado izquierdo tambien lo es, es decir, j es recurrente. La
segunda afirmaci
on se demuestra facilmente por contradiccion usando el
!
primer resultado.
En consecuencia, cuando una cadena es irreducible y alg
un estado es recurrente, todos los estados lo son, y se dice que la cadena es recurrente. Tambien puede presentarse la
situaci
on en donde el espacio de estados conste de
Estados
Estados
recurrentes
transitorios
varias clases de comunicaci
on recurrentes, en tal
caso la cadena tambien se
llama recurrente. En conDescomposicion del espacio de estados
traparte, una cadena es
Figura 3.13
transitoria si todos los estados lo son, ya sea conformando una sola clase de comunicacion de estados transitorios o varias de
54
ellas. Sin embargo, demostraremos mas adelante que cuando el espacio de

estados es finito, siempre existe por lo menos un estado recurrente, y por
lo tanto no existen cadenas finitas transitorias. De este modo el espacio
de estados de una cadena de Markov puede descomponerse en dos subconjuntos ajenos de estados, aquellos que son transitorios y aquellos que son
recurrentes. Tal partici
on se muestra en la Figura 3.13. Cada uno de estos
subconjuntos puede constar de ninguna, una o varias clases de comunicacion.
Ejemplo 3.8 La cadena de dos estados es irreducible y recurrente cuando

1 a, y f00 n
a 1 b n 2b
a, b 0, 1 . En efecto, tenemos que f00 1
para n 2. Por lo tanto,
f00 n
f00
ab
n 1
n 2
ab
b
n 2
1.
Ejemplo 3.9 Considere la cadena de rachas de exitos. En este caso es

sencillo demostrar que el estado 0 es recurrente pues
f00 n
f00
n 1
q 1
p2
q
1
1.
Dado que la cadena es irreducible y la recurrencia es una propiedad de clase,

cualquier otro estado es recurrente. Por lo tanto, la cadena es recurrente.
on algunos ejemplos de aplicacion del criterio de la
Proposici
on 3.8.
Proposici
on 3.10 Sea j un estado transitorio. Para cualquier estado inicial i, se cumple que n 1 pij n
. En consecuencia, lm pij n
0.
n
55

Demostraci
on.
Usando (3.2), y siendo todos los terminos no negativos,

n 1
pij n
fij n
n 1
k pjj k
n 1 k 0
fij n
k pjj k
k 0 n k 1
fij m pjj k
k 0 m 1
fij
pjj k
k 0
pjj k
k 0
.
!
Proposici
on 3.11 Toda cadena de Markov finita tiene por lo menos un
estado recurrente.
Demostraci
on. Por contradiccion, suponga que todos los estados son
transitorios. Entonces para cualesquiera estados i y j, se cumple que la
suma n 1 pij n es finita. Sumando sobre el conjunto finito de todos los
posibles estados j se obtiene
pij n
j n 1
Por otro lado, intercambiando el orden de las sumas se llega a la afirmacion

contraria,
1
pij n
n 1 j
n 1
Por lo tanto es err

oneo suponer que todos los estados son transitorios, debe
!
existir por lo menos uno que es recurrente.
56
En consecuencia, toda cadena finita e irreducible es recurrente. Mas adelante

demostraremos que en tal caso, con probabilidad uno la cadena visita cada
uno de sus estados una infinidad de veces.
3.8.
Tiempo medio de recurrencia
Hemos visto que si una cadena de Markov inicia en un estado recurrente,

entonces regresa a el una infinidad de veces con probabilidad uno. Y hemos
definido el tiempo de primera visita a un estado j, a partir de cualquier
estado i, como la variable aleatoria discreta ij
mn n
1 : Xn
j X0 i , con la posibilidad de que tome el valor infinito. Vamos a definir
el tiempo medio de recurrencia como la esperanza de esta variable aleatoria
en el caso cuando el estado a visitar es recurrente.
Definici
on 3.9 El tiempo medio de recurrencia de un estado recurrente j,
a partir del estado i, se define como la esperanza de ij , y se denota por ij ,
es decir,
ij
nfij n .
E ij
n 1
Recordemos que cuando el tiempo de primera visita se refiere al mismo

estado de inicio y de llegada j, se escribe j en lugar de jj . En este caso el
tiempo medio de recurrencia se escribe simplemente como j . Esta esperanza
puede ser finita o infinita, y representa el n
umero de pasos promedio que a
la cadena le toma regresar al estado recurrente j.
Ejemplo 3.10 La cadena de Markov de dos estados es irreducible y recurrente cuando a, b 0, 1 . Vamos a calcular los tiempos medios de recurrencia de estos dos estados. Tenemos que f00 1
1 a, y f00 n
a 1 b n 2b
para n 2. Por lo tanto,
0
nf00 n
n1
ab
n 1
n 2
b
b
ab
b
b2
n 2
3.9. Clases cerradas
57
De manera an
aloga, o bien intercambiando los valores de a y b, se encuentra
que 1
a b a. Observe que 1 0 1 1 1, m
as adelante explicaremos
la raz
on de ello. Observe tambien que estos dos tiempos medios de recurrencia son, en general, distintos. Esto ejemplifica el hecho de que los tiempos
medios de recurrencia no son necesariamente identicos para cada elemento
de una misma clase de comunicaci
on recurrente.
3.9.
Clases cerradas
Las clases cerradas son subconjuntos de estados de una cadena de Markov

que cumplen la propiedad de que partiendo de cualquiera estado de este
subconjunto, no se puede pasar a cualquier otro estado fuera del subconjunto. Esta propiedad hace que a tales subconjuntos de estados se les considere
como subsistemas propios de la cadena de Markov, es decir, constituyen
subcadenas de Markov.
Definici
on 3.10 Una colecci
on de estados no vaca C es cerrada si ning
un
estado fuera de C es accesible desde alg
un estado dentro de C , es decir, si
para cualquier i C y j C , i j.
i
Por ejemplo, si i es un estado absorbente, entonces la coleccion C
es claramente una clase cerrada. Mas generalmente se tiene el siguiente
ejemplo.
Ejemplo 3.11 Demostreremos que toda clase de comunicaci
on recurrente
es cerrada. Sea C una clase de comunicaci
on recurrente. Es claro que esta
clase es cerrada pues de lo contrario, si i C y j C con C recurrente,
e i
j, entonces necesariamente j
i pues hemos supuesto que i es
j, y entonces j C , contrario a la hip
otesis
recurrente. Por lo tanto i
j
C . En conclusi
on, no es posible salir de una clase de comunicaci
on
recurrente.
El siguiente resultado es una especie de recproco del ejemplo anterior y
caracteriza a aquellas clases cerradas que son irreducibles.
Proposici
on 3.12 Toda colecci
on de estados que es cerrada e irreducible
es una clase de comunicaci
on.
58
Demostraci
on. Sea C una coleccion no vaca de estados que es irreducible
y cerrada, y sea i C . Entonces C
C i pues como C es irreducible, todos
sus estados se comunican y por lo tanto deben pertenecer a la misma clase
de comunicaci
on. Como C es cerrada, no es posible salir de tal coleccion,
C es vaca, pues si existiera j C i
C,
de modo que la diferencia C i
j, lo cual contradice el supuesto de que C es cerrada. Por lo
entonces i
tanto C
C i.
!
3.10.
N
umero de visitas
En esta secci
on vamos a estudiar la variable aleatoria que registra el n
umero
de visitas que una cadena realiza sobre un estado j a partir del estado i, es
decir, para cualquier tiempo finito n se define la variable aleatoria
n
1 Xk
Nij n
cuando X0
i.
k 1
Cuando los estados i y j coinciden, se escribe Ni n en lugar de Nii n .

Observe que 0 Nij 1
Nij 2
, es decir, se trata de una sucesion
mon
otona creciente de variables aleatorias no negativas que converge casi
seguramente a la variable
1 Xk
Nij
cuando X0
i.
k 1
Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios
respecto de los recurrentes.
Proposici
on 3.13 Para cualesquiera estados i y j,
a) P Nij
b) P Nij
1
fij fjj
1 fij
fij fjj
k 1
k 1
si k
0,
si k
1.
fjj
si k
si k
0,
1.
mero de visitas
3.10. Nu
c) E Nij
59
pij n
n 1
si fij
fij
1 fjj
si 0
0,
si fij
d) P Nij
0
fij
e) P Nij
1
1
1,
fjj
0 y fjj
1.
si j es transitorio,
si j es recurrente.
fij
si j es recurrente.
Demostraci
on.
a) La primera parte de esta igualdad es evidente. Para demostrar el caso
k 1 se usa an
alisis del primer paso,
P Nij
fij n P Njj
n 1
fij P Njj
fij fjj
k 1
b) Este resultado se sigue de la formula del inciso (a) y de la igualdad

P Nij
P Nij
P Nij
c) Por el teorema de convergencia monotona,

E Nij
1 Xn
X0
E 1 Xn
X0
E
n 1
n 1
pij n .
n 1
1.
60
Por otro lado, usando la primera formula
E Nij
P Nij
fij fjj
k 1
k 1
k 1
si fij
fij
1 fjj
si 0
0,
fjj
si fij
1,
0 y fjj
1.
d) Por la f
ormula del inciso (a),
P Nij
lm P Nij
lm fij fjj
k 1
k
k
0
fij
si j es recurrente.
e) El evento que aparece en esta expresion es el complemento del que

aparece en la f
ormula del inciso (d).
!
Distribuci
on de probabilidad del n
umero de visitas
La variable aleatoria discreta Nij toma valores en el conjunto 0, 1, . . . ,
y
la funci
on de probabilidad que hemos encontrado para esta variable incluye
los siguientes tres casos:
1. Si fij 0, entonces no es posible visitar j a partir de i, y por lo tanto
1, es decir, la probabilidad se concentra completamente
P Nij 0
en el valor 0.
2. Si fij 0 y fjj 1, es decir, si se puede pasar de i a j y j es recurrente,
entonces para cualquier valor de k
1, P Nij
k
fij , y por lo
fij . Mientras que P Nij 0
1 fij . Se trata
tanto P Nij
entonces de una medida de probabilidad concentrada en los valores 0
e .
mero de visitas
3.10. Nu
61
3. Si fij 0 y fjj 1, es decir, si se puede pasar de i a j y j es transitorio,

entonces la probabilidad se distribuye sobre los valores finitos 0, 1, . . .
como indica la f
ormula del inciso (b).
A partir de las formulas recien demostradas podemos distinguir el comportamiento del n
umero de visitas en los casos cuando el estado j es transitorio
o recurrente.
Transitoriedad y n
umero de visitas
Si j es transitorio, entonces sin importar el estado inicial i, con probabilidad
uno la cadena realiza s
olo un n
umero finito de visitas al estado j, esto es
lo que dice la f
ormula del inciso (e), y el n
umero esperado de visitas a tal
1, es decir,
estado es siempre finito por la formula del inciso (c) con fjj
E Nij
. Por lo tanto, encontramos nuevamente que
n 1 pij n
0.
lm pij n
Recurrencia y n
umero de visitas
Si j es recurrente, y si se inicia en j, entonces con probabilidad uno la cadena
regresa a j una infinidad de veces, esto es lo que dice la formula del inciso (d)
fjj
1, y el n
umero esperado de visitas al estado j es infinito.
con fij
Si la cadena inicia en cualquier otro estado i, entonces existe la posibilidad
umero esperado de
de que la cadena nunca visite j (es decir,fij 0), y el n
visitas es naturalmente cero (formula del inciso (c) con fij 0). Pero si la
cadena visita j alguna vez (fij 0), entonces regresara a j una infinidad de
veces, y el n
umero esperado de visitas al estado j es infinito por la formula
del inciso (c) con fij 0 y fjj 1.
N
umero esperado de visitas
Anteriormente habamos demostrado un criterio para la transitoriedad y la
recurrencia del estado i en terminos de la convergencia o divergencia de
la serie n 1 pii n . En vista de la formula del inciso (c) ahora podemos
corroborar que un estado i es recurrente si, y solo si, el n
umero promedio de
regresos a el es infinito, y es transitorio si, y solo si, el n
umero promedio de
regresos es finito. Tambien en particular, la formula del inciso (d) muestra
que toda cadena de Markov irreducible y recurrente, visita cada uno de sus
estados una infinidad de veces con probabilidad uno.
62
Ejemplo 3.12 La cadena de racha de exitos es irreducible y recurrente. Por

lo tanto con probabilidad uno visita cada uno de sus estados una infinidad
de veces.
Propiedad fuerte de Markov
Para justificar adecuadamente las siguientes aplicaciones y resultados para
cadenas de Markov vamos a extender la propiedad de Markov al caso de
tiempos aleatorios. Supongamos que X0 , X1 , . . . es un proceso estocastico a
tiempo discreto y que es un tiempo aleatorio que indica el momento en el
que ocurre alg
un evento de interes del proceso. Por ejemplo, el momento en
el que el proceso llega por primera vez a un cierto estado o a un conjunto
de estados. As, es un tiempo aleatorio con posibles valores 0, 1, . . .
. Se incluye el valor infinito pues el evento a observar podra nunca
ocurrir. A estos tiempos aleatorios los llamaremos tiempos de paro y les
pediremos que cumplan con cierta condicion tecnica. Mas especficamente,
0, 1, . . . ,
es un tiempo de paro
se dice que una variable aleatoria :
respecto del proceso estoc
astico indicado si para cada entero n 0, el evento
n depende u
nicamente de las variables X0 , X1 , . . . , Xn . Intuitivamente
n puede
esto significa que la ocurrencia o no ocurrencia del evento
verificarse a partir de la informacion o historia del proceso hasta el tiempo n.
En el captulo sobre martingalas estudiaremos con mas detalle a los tiempos
de paro, lo que necesitamos saber por el momento es que la propiedad de
Markov que hemos mencionado para cadenas puede extenderse al caso de
tiempos de paro de la siguiente forma:
Proposici
on 3.14 (Propiedad fuerte de Markov) Sea Xn : n
0
una cadena de Markov y sea un tiempo de paro respecto de este proceso.
, el proceso X n : n 0 es una cadena
Condicionado al evento
de Markov, es decir, la probabilidad
P X
es igual a P X
n 1
n 1
j X0
j X
x0 , . . . , X
n
n 1
xn
1 , X n
(3.3)
i.
La demostraci
on de la propiedad fuerte de Markov consiste en condicionar
sobre el valor del tiempo de paro y desarrollar ambas probabilidades. Vea
el ejercicio 78 en la p
agina 107 para los detalles.
mero de visitas
3.10. Nu
63
Ejemplo 3.13 (El problema del mono). Suponga que un mono escribe
caracteres al azar en una m
aquina de escribir. Cu
al es la probabilidad de
que eventualmente el mono escriba exactamente, y sin ning
un error, las
obras completas de Shakespeare?
Usaremos la teora de cadenas de Markov
para demostrar que la probabilidad buscada es uno. Imaginemos entonces que un
mono escribe caracteres al azar en una
m
aquina de escribir, y que lo hace de
manera continua generando una sucesion
lineal de caracteres. Cada uno de los caracteres tiene la misma probabilidad de apareFigura 3.14
cer y se genera un caracter independientemente de otro. Sea m el total de caracteres disponibles que se pueden imprimir, y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. Sea Xn el n
umero de caracteres correctos obtenidos
inmediatamente antes e incluyendo el u
ltimo momento observado n, es decir, se trata de un modelo de racha de exitos. Es claro que las variables Xn
toman valores en el conjunto 0, 1, 2, . . . , N , y dado que los caracteres se
nicamente del
generan de manera independiente, el valor de Xn 1 depende u
valor de Xn y no de los anteriores, es decir, se trata efectivamente de una
cadena de Markov. Considerando entonces un conjunto de smbolos de m
caracteres se tiene que
P Xn
y
P Xn
1 Xn
1 m
0 Xn
1 m.
El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n 1. La segunda igualdad refleja la situacion de cometer un error en el
siguiente caracter generado cuando ya se haban obtenido x caracteres correctos. Tecnicamente existen algunas otras posibles transiciones de algunos
estados en otros, pero ello no modifica substancialmente el comportamiento cualitativo del modelo. Como se ha observado, se trata de la cadena de
racha de exitos, y por lo tanto la matriz de probabilidades de transicion es
finita, irreducible y recurrente. Entonces, con probabilidad uno la cadena
visita cada uno de sus estados una infinidad de veces. En particular, cada
vez que la cadena visita el estado N el mono concluye una sucesion exitosa
64
de caracteres, y sorprendentemente ello sucedera una infinidad de veces con

probabilidad uno. El lector puede encontrar otras maneras de resolver este
problema en [29].
El siguiente resultado lleva el nombre de ergodico y establece el comportamiento lmite del promedio en el tiempo de la funcion que registra las
visitas a un estado cualquiera. El termino erg
odico proviene del griego ergon que significa trabajo y hodos que significa trayectoria, fue acu
nado por
L. Boltzmann al estudiar algunos problemas de la mecanica estadstica. La
famosa hip
otesis erg
odica establece que los promedios temporales son iguales
a los promedios espaciales en los sistemas dinamicos, y esto es justamente
lo que se afirma en el siguiente resultado.
Teorema 3.1 (Teorema erg
odico para cadenas de Markov) Para
cualesquiera estados i y j de una cadena de Markov irreducible se cumple
que
Nij n
1
c.s.
(3.4)
lm
n
n
j
.
siendo este lmite cero cuando j
Demostraci
on.
Si la cadena es transitoria, entonces ambos lados de
la igualdad se anulan. Suponga que la cadena es recurrente. El tiempo de
primera visita al estado j a partir de i es ij mn n 1 : Xn j X0 i .
Dada la recurrencia e irreducibilidad, P ij
1, y entonces para
cualquier n 1 se cumple la identidad
Nij ij
Njj n .
Por lo tanto es suficiente demostrar la convergencia para Njj n n pues

lm
Nij n
n
Nij ij n
n
ij n
1 Njj n
lm
n
ij n
n
Njj n
lm
n
n
ij n
Njj n
.
lm
n
n
lm
65
3.11. Recurrencia positiva y nula
Sea Y k la variable que registra el n

umero de pasos que transcurren entre la visita k 1 y la visita k que la cadena realiza al estado j. Sabemos
j , para j
1, 2, . . ., y
que el tiempo medio de recurrencia es E Y k
usando la propiedad fuerte de Markov puede demostrarse que las variables
Y 1 , Y 2 , . . . son independientes. Se tienen entonces las siguientes estimaciones
Y 1
Njj
Y Njj n
n
Y 1
Y Njj n
Njj n
Njj n
Por la recurrencia, Njj n

, cuando n
, de modo que por la ley de
los grandes n
umeros, los dos extremos de esta desigualdad convergen a j
casi seguramente. Por lo tanto,
lm
1
j
Njj n
n
c. s.
!
Interpretaci
on: para una cadena de Markov irreducible, el n
umero j 1 j
representa el tiempo promedio que la cadena permanece en el estado j a
largo plazo, suponiendo que tal cantidad es positiva.
Tomando esperanza en (3.4), por el teorema de convergencia dominada, y
para una cadena irreducible, se cumple que
1
j
E lm
n
1
Nij n
n
lm
1
E Nij n
n
lm
1
n
pij k .
k 1
En particular, cuando el tiempo medio de recurrencia j es infinito, o cuando

el estado j es transitorio, se tiene que
lm
3.11.
1
nk
pij k
0.
Recurrencia positiva y nula
Hemos visto que si una cadena de Markov inicia en un estado recurrente,

entonces regresa a el una infinidad de veces con probabilidad uno. Sin embargo, esta recurrencia puede presentarse de dos formas: cuando el tiempo
66
promedio de retorno es finito o cuando es infinito. Esto lleva a la definicion

de recurrencia positiva y recurrencia nula respectivamente. Consideremos
entonces que j es un estado recurrente. El tiempo de primera visita a este
estado, a partir de cualquier otro estado i, es la variable aleatoria discreta
ij
mn n 1 : Xn j X0 i . Recordemos que cuando el tiempo de
primera visita se refiere al mismo estado recurrente de inicio y de llegada i,
se escribe simplemente como i en lugar de ii . La esperanza de esta variable
aleatoria es naturalmente el tiempo medio de recurrencia.
Definici
on 3.11 El tiempo medio de recurrencia de un estado recurrente
j, a partir del estado i, se define como la esperanza de ij , y se denota por
ij , es decir,
ij
nfij n .
E ij
n 1
Nuevamente cuando el tiempo medio de recurrencia se refiere al mismo

estado recurrente de inicio y de llegada i, se escribe simplemente como i .
Como hemos mencionado, esta esperanza puede ser finita o infinita, y ello
lleva a la siguiente clasificacion de estados recurrentes.
Definici
on 3.12 Se dice que un estado recurrente i es:
.
a) recurrente positivo si i
b) recurrente nulo si i
Demostraremos a continuacion que la recurrencia positiva y la recurrencia

nula son propiedades de las clases de comunicacion. Es decir, dos estados en
una misma clase de comunicacion recurrente, son ambos recurrentes positivos o recurrente nulos.
Proposici
on 3.15 Sea i un estado recurrente. Entonces,
a) si i es recurrente positivo e i
b) si i es recurrente nulo e i
j, entonces j es recurrente positivo.

j, entonces j es recurrente nulo.
Demostraci
on. Observe que es suficiente demostrar cualquiera de estas
afirmaciones. Demostraremos la primera. Suponga que i es un estado recu. Como i
j,
rrente positivo, es decir, i es recurrente y es tal que i
67
3.11. Recurrencia positiva y nula
se tiene que j es tambien un estado recurrente. Ademas existen enteros no

negativos n y m tales que pij n
0 y pji m
0. Entonces para cualquier
entero natural k,
pjj n
Sumando para k
1
N
Haciendo N
pji m pii k pij n .
1, . . . , N , y dividiendo entre N ,
pjj n
pji m
k 1
1
N
pii k pij n .
k 1
se obtiene
1
j
pji m
1
pij n
i
0.
Por lo tanto el cociente 1 j es estrictamente positivo. Ello significa que j

!
es finito, es decir, j es recurrente positivo.
De esta forma, el espacio de estados de toda cadena de Markov puede descomponerse en tres grandes subconjuntos ajenos de estados: transitorios,
recurrentes positivos y recurrentes nulos. Esto se muestra en la Figura 3.15.
Cada una de estas colecciones de estados puede estar constituida por ninguna, una o varias clase de comunicacion.
Estados
recurrentes
nulos
Estados
transitorios
Estados
recurrentes
positivos
Descomposicion del espacio de estados
Figura 3.15
Ejemplo 3.14 Anteriormente demostramos que para la caminata aleatoria
sobre Z, el tiempo promedio de regreso al estado 0 es
0
n f00 n
n 0
4pq
.
1 4pq
68
En el caso simetrico, es decir, en el caso en el que la cadena es recurrente,

este cociente se hace infinito. Esto demuestra que el estado 0 es recurrente
nulo, y por lo tanto la cadena entera es recurrente nula.
Ejemplo 3.15 Demostraremos ahora que la cadena de Markov de rachas
de exitos es recurrente positiva. Recordemos que dicha cadena es irreducible
y recurrente. Comprobaremos que el tiempo medio de recurrencia del estado
0 es finito. En efecto,
p pn
n 1
n f00 n
0
n 1
n pn
n 1
n 1
Esto demuestra que el estado 0 es recurrente positivo y siendo la cadena

irreducible, es recurrente positiva. Por lo tanto, el tiempo medio de recurrencia de cada estado es finito. Hemos aprovechado la facilidad del c
alculo
de las probabilidades de primer regreso al estado 0.
Se ha demostrado antes que toda cadena finita tiene por lo menos un estado
recurrente. Demostraremos ahora que para cadenas finitas s
olo puede haber
dos tipos de estados: transitorios o recurrentes positivos.
Proposici
on 3.16 No existen estados recurrentes nulos en cadenas de Markov finitas.
Demostraci
on. Sea j un estado recurrente y sea C su clase de comunicaci
on. La clase C es cerrada y ademas es finita, pues la cadena completa
lo es. Demostraremos que j
. Para cualquier i C, y k natural,
1.
pij k
j C
Entonces
1
nk
Haciendo n
obtiene
pij k
1 j C
j C
1
nk
pij k
1.
, por el teorema ergodico aplicado a la clase cerrada C se
j C
1
j
1.
n de distribuciones
3.12. Evolucio
69
Para que esta suma sea uno debe existir por lo menos un valor de j en C
tal que j
, pues de lo contrario cada sumando sera cero y la suma
total no podra ser uno. Por lo tanto existe un estado j que es recurrente
positivo. Dado que la recurrencia positiva es una propiedad de clase, todos
!
los elementos de C son recurrentes positivos.
Observe que en particular, todos los estados de una cadena finita e irreducible son recurrentes positivos.
3.12.
Evoluci
on de distribuciones
Una matriz estoc

astica establece una dinamica en el conjunto de las distribuciones de probabilidad definidas sobre el espacio de estados de la correspondiente cadena de Markov. Para explicar la situacion de manera simple
consideraremos un espacio de estados finito 0, 1, . . . , n , y una distribu00 , 10 , . . . , n0 . Despues de transcurrida
ci
on de probabilidad inicial 0
la primera unidad de tiempo, la cadena se encuentre en cualquiera de sus
posibles estados de acuerdo a la distribucion 1
01 , 11 , . . . , n1 , en donde
la j-esima entrada de este vector es
j1
P X1
P X1
j X0
i P X0
i 0
n
i0 pij .
i 0
Es decir, el vector 1 se obtiene a partir del vector 0 y de la matriz de

on P a traves de la multiplicacion 1 0 P , esto
es,
01 , . . . , n1
00 , . . . , n0
p00
..
.
p0n
..
.
pn0
pnn
A su vez el vector
se transforma en el vector
a traves de la ecuacion
2
1
0
2
P P , y as sucesivamente. En general, para m 1,

m
0 P m .
(3.5)
70
De esta forma se obtiene una sucesion infinita de distribuciones de probabilidad 0 , 1 , 2 , . . ., en donde cada una de ellas, excepto la primera, es
obtenida de la anterior multiplicada por la derecha por la matriz de probabilidades de transici
on en un paso. Es natural preguntarse si existe alg
un
lmite para esta sucesi
on de distribuciones. En las siguientes secciones estudiaremos tal problema y encontraremos condiciones bajo las cuales existe
un u
nico lmite para esta sucesion.
Ejemplo 3.16 Considere la matriz estoc
astica
0
1 0
0
0 1
1/2 1/2 0
con distribuci
on inicial el vector 0
1 10, 0, 9 10 . Los subsecuentes vectores de probabilidad 1 , 2 , . . . se calculan a continuaci
on y las gr
aficas de
estas distribuciones se muestran en la Figura 3.16. Existir
a el lmite para
esta sucesi
on de vectores de probabilidad?
1
0 P
0.45, 0.55, 0
0, 0.45, 0.55
0.275, 0.275, 0.45
3 P
0.225, 0.5, 0.275
..
.
0 1 2
0 1 2
0 1 2
0 1 2
0 1 2
Figura 3.16
Ejemplo 3.17 Considere la matriz estoc
astica
P
0 1
1 0
71
3.13. Distribuciones estacionarias
con distribuci
on inicial cualquier vector de probabilidad 0
, 1 , con
0
1. No es difcil darse cuenta que la multiplicaci

on de un vector
rengl
on por la matriz P tiene el efecto de intercambiar las entradas del
vector. Por lo tanto la sucesi
on de vectores de probabilidad es
0
, 1
, 1
..
.
que claramente no es convergente, pues tiene un comportamiento oscilatorio,
a menos que 1 2.
Antes de encontrar condiciones bajo las cuales la sucesion de distribuciones
de probabilidad definidas por (3.5) es convergente, estudiaremos a continuaci
on el caso particular cuando la distribucion inicial no cambia al ser
multiplicada por la derecha por P . A tales distribuciones se les llama estacionarias o invariantes en el tiempo.
3.13.
Distribuciones estacionarias
0 , 1 , . . . es estaDefinici
on 3.13 Una distribuci
on de probabilidad
cionaria o invariante para una cadena de Markov con matriz de probabilidades de transici
on P
pij si
j
i pij .
i
En terminos matriciales, la distribucion de probabilidad es estacionaria

P . Esta identidad tiene como consecuencia el hecho de que para
si
cualquier n
umero natural n se cumpla que P n , es decir, es tambien
una distribuci
on estacionaria para la matriz P n . Esto significa que si la
variable aleatoria inicial X0 tiene esa distribucion , entonces la distribucion
de Xn tambien es pues P Xn
j
j , es decir, esta
i i pij n
distribuci
on no cambia con el paso del tiempo y por ello es que se le llama
72
estacionaria o invariante. Observe que el vector de ceros cumple la condicion
P , sin embargo no corresponde a una distribucion de probabilidad.

Los siguientes ejemplos muestran que las distribuciones estacionarias pueden
no ser u
nicas y pueden incluso no existir.
Ejemplo 3.18 (Existencia m
ultiple) Considere una cadena de Markov
on dada
sobre el conjunto de estados 0, 1, 2 y con probabilidades de transici
por la siguiente matriz
1
0
0
1 3 1 3 1 3
0
0
1
Es inmediato comprobar que el vector

1 , 0, satisface el sis0, 1 . Existen entonces una intema de ecuaciones P para cada
finidad de distribuciones estacionarias para esta cadena. Observe que el vector 1 , 0, se puede escribir como la combinaci
on lineal 1 1, 0, 0
0, 0, 1 .
Ejemplo 3.19 (No existencia) Para la caminata aleatoria simetrica simple sobre Z no existe ninguna distribuci
on estacionaria pues la condici
on
P se traduce en el sistema de ecuaciones
j
1
j
2
1
j
2
1,
Z,
as explcitamente, iniciando con la identidad

o bien j 1 j j j 1 . M
1 0 , y escribiendo algunas de estas diferencias en terminos
1 0
de la diferencia 1 0 se encuentra que
1
0 .
..
.
n
Sumando estas n ecuaciones se llega a que para todo entero n

n
n 1
0 .
1,
73
El lado izquierdo es acotado pues es la diferencia de dos probabilidades

mientras el lado derecho crece sin lmite cuando n es grande, a menos que
1 0 0. Esto demuestra que todas las diferencias j j 1 con j Z
son cero, y por lo tanto j es constante para cualquier valor de j. Es decir,
el vector constante es la soluci
on al sistema de ecuaciones en diferencias
planteado, pero ello es incompatible con la condici
on j j 1. Por lo tanto no existe ninguna distribuci
on de probabilidad que cumpla la igualdad
P para esta cadena.
Ejemplo 3.20 (Existencia u
nica) La cadena de Markov de dos estados
dada por la matriz
1 a
a
P
b
1 b
tiene una u
nica distribuci
on estacionaria dada por
0 , 1
b
a
b a
cuando a b
0. En cambio, cuando a
b
0, la matriz resultante es
la matriz identidad que acepta como distribuci
on estacionaria a cualquier
distribuci
on de probabilidad sobre 0, 1 , es decir, en este caso existe una
infinidad de distribuciones estacionarias para esta cadena.
Con base en los ejemplos anteriores haremos algunas observaciones sobre las
distribuciones estacionarias. Primeramente observe que para encontrar una
posible distribuci
on estacionaria de una cadena con matriz P , un primer
P , sujeto a la
metodo consiste en resolver el sistema de ecuaciones
condici
on j j 1. M
as adelante expondremos una forma alternativa de
buscar distribuciones estacionarias para cadenas reversibles. Por otro lado,
suponga que y son dos distribuciones estacionarias distintas para una
1 , para
matriz P . Entonces la combinacion lineal convexa
0, 1 , tambien es una distribucion estacionaria pues
Por lo tanto, si existen dos distribuciones estacionarias distintas para una cadena, entonces existe una infinidad de ellas. Esto demuestra que el conjunto
de distribuciones estacionarias es un conjunto convexo. Tomando en cuenta
74
las observaciones anteriores y de acuerdo a los ejemplos mostrados, solo hay

tres situaciones sobre la existencia de distribuciones estacionarias para una
cadena de Markov cualquiera: no existe ninguna distribuci
on estacionaria,
existe una distribuci
on estacionaria y es u
nica, o existe una infinidad de distribuciones estacionarias. Dadas estas consideraciones, es natural plantearse
el problema de encontrar condiciones necesarias y suficientes para que una
cadena tenga alguna distribucion estacionaria. Primeramente demostraremos que cuando existe una distribucion estacionaria, esta tiene como soporte
el conjunto de estados recurrentes positivos.
Proposici
on 3.17 (Soporte de una distribuci
on estacionaria) Sea
una distribuci
on estacionaria para una cadena de Markov. Si j es un estado
transitorio o recurrente nulo, entonces j 0.
Demostraci
on. Usaremos el hecho de que si j es un estado transitorio o
recurrente nulo, entonces para cualquier estado i,
lm
1
nk
0.
pij k
1
Como es una distribuci

on estacionaria,
j
i pij
i
i pij k
i
1
nk
i pij k
1
i
i
Tomando el lmite cuando n

se obtiene
j
1
nk
pij k
1
, por el teorema de convergencia dominada,

i
lm
1
nk
pij k
0.
75
En particular, si j
0, entonces j es un estado recurrente positivo. Esto es una consecuencia inmediata del resultado anterior y para ello puede
usarse un argumento por contradiccion. Por otro lado, la proposicion recien
demostrada tambien nos ayuda a corroborar nuevamente, por ejemplo, que
una caminata aleatoria simetrica simple no tiene distribucion estacionaria,
pues se trata de una cadena cuyos estados son todos recurrentes nulos y por
lo tanto j 0 para cualquier valor entero de j. Se presenta a continuacion
una soluci
on al problema de encontrar condiciones suficientes que garanticen
la existencia y unicidad de la distribucion estacionaria.
Proposici
on 3.18 (Existencia y unicidad de la distribuci
on estacionaria) Toda cadena de Markov que es irreducible y recurrente positiva
tiene una u
nica distribuci
on estacionaria dada por
1
j
0,
en donde j es el tiempo medio de recurrencia del estado j. En particular,

toda cadena finita e irreducible tiene una u
nica distribuci
on estacionaria.
Demostraci
on.
Sea j
1 j . Demostraremos que
i pij .
(1) j
i
(2)
1.
(3) j es u
nica.
Como la cadena es irreducible y recurrente positiva, se tiene que j
,
para cualquier estado j. Por lo tanto el cociente 1 j es estrictamente positivo. Por el teorema erg
odico para cadenas de Markov,
n
lm
1
nm
pij m
1
1
.
j
76
(1) Estacionariedad. Para cualquier natural N ,

N
1
n
lm
i pij
i 0
i 0
1
n
lm
1
n
lm
pki m
pij
m 1
N
pki m pij
m 1 i 0
n
pkj m
m 1
j .
Haciendo N
,
i pij
(3.6)
j .
Suponga que para alg

un valor de j la desigualdad anterior es estricta.
Sumando sobre todos los valores j, por el teorema de Fubini,
j
i pij
pij
i .
i
Lo cual es una contradiccion. Por lo tanto (3.6) es una igualdad. Esto

demuestra que es estacionaria.
(2) Distribuci
on de probabilidad. Para cualquier n
umero natural N ,
N
lm
j
j 0
j 0
lm
lm
1
nk
1
nk
pij k
1
1
nk
pij k
1 j 0
n
1
1
1.
Por otra parte, recordemos que si es estacionaria para P , entonces
tambien lo es para P m para cualquier m natural, es decir,
j
i pij m ,
i
(3.7)
77

de modo que para cualquier n natural,
n
j
i
1
nm
pij m .
1
Haciendo n
, por el teorema de convergencia dominada de Lebesgue,
y usando el hecho de que j j 1,
n
1
lm
n
nm
i
i 0
pij m
1
i j .
i 0
Dado que j es estrictamente positivo, se obtiene que
1.
(3) Unicidad. Sean y dos distribuciones estacionarias para la matriz

P . Entonces para cualquier valor natural de n,
n
1
i
nm
j
i
Haciendo n
pij m
1
i 0
1
i
nm
pij m .
1
,
N
i j .
i 0
Ahora hacemos N
para obtener
j
j .
(3.8)
Si esta desigualdad fuera estricta para alg

un valor de j, entonces
sumando sobre todos los valores de j se obtiene 1
j j
j j
1, lo cual es una contradiccion. Por lo tanto (3.8) es una igualdad para
cada valor de j, y ello demuestra la unicidad.
!
Ejemplo 3.21 La cadena de Markov de dos estados es finita e irreducible
cuando a b
0, y por lo tanto es recurrente positiva. Por la Proposici
on 3.18 existe una u
nica distribuci
on estacionaria para esta cadena. Resolviendo el sistema de ecuaciones P para
0 , 1 , con 0 1
1, se encuentra que
b
a
0 , 1
.
,
a b a b
78
Como otra aplicaci

on de la Proposici
on 3.18 encontramos nuevamente que,
sin hacer mayores c
alculos, los tiempos medios de recurrencia son
1 1
,
0 1
0 , 1
a
b
b a
,
b
a
Ejemplo 3.22 La cadena de Ehrenfest es finita e irreducible, en consecuencia es recurrente positiva. Por lo tanto tiene una u
nica distribuci
on estacionaria. Resolviendo el sistema de ecuaciones P junto con j j 1
se encuentra que el vector estacionario tiene distribuci
on bin N, p , con
p 1 2, es decir,
j
1
,
2N
N
j
para j
En efecto, el sistema de ecuaciones

0
1
1
N
0, 1, . . . , N.
(3.9)
P se escribe
2
2
N
N 1
3
1
3
N
N
2
..
.
N
2
N
N
1
N
N
1.
Se busca resolver este sistema de ecuaciones junto con la condici

on j j
1. Reescribiendo cada una de estas ecuaciones en terminos de 0 se encuentra que
N
j
0 , para j 0, 1, . . . , N.
j
Sumando todas estas ecuaciones se llega a la identidad
N
0
k 0
N
k
0 2N .
79
De donde se obtiene 0 1 2N y de esta forma se demuestra (3.9). En vista

de la Proposici
on 3.18, los tiempos medios de recurrencia para esta cadena
son
1
2N
, para j 0, 1, . . . , N.
j
N
j
j
Para fines ilustrativos concretos podemos tomar el caso N 2, es decir, se
tienen u
nicamente dos bolas distribuidas en las dos urnas de la cadena de
Ehrenfest. Entonces la distribuci
on binomial bin N, p , como el vector de
probabilidad invariante de esta cadena, se escribe
0 , 1 , 2
1 2
1 4, 1 2, 1 4 .
1 4
Urna A
Urna B
Figura 3.17
En vista del teorema erg
odico, esto significa que, a largo plazo, la cadena de
Ehrenfest se encontrar
a en el estado 1 el 50 % del tiempo, y en los estados 0 y
2 el 25 % del tiempo en cada uno de ellos. Los tiempos medios de recurrencia
son
0 , 1 , 2
4, 2, 4 ,
es decir, si por ejemplo la cadena se encuentra en alg
un momento en el
estado 0, entonces tardar
a en promedio 4 tiempos para regresar nuevamente
a ese estado. En este caso particular, estos tiempos medios de recurrencia
pueden corroborarse usando la definici
on b
asica de esperanza.
Ejemplo 3.23 La cadena de racha de exitos, aunque no es finita, es irreducible y recurrente positiva. Por lo tanto tiene una u
nica distribuci
on estacionaria dada por la distribuci
on geo 1 p , es decir, el sistema de ecua-
80
ciones
ci
on
P junto con
j
1 tiene como u
nica soluci
on la distribu-
p pj ,
para j
0, 1, 2 . . .
Como consecuencia de la Proposici

on 3.18, se resuelve un problema difcil
de manera inmediata: los tiempos medios de recurrencia para cada uno de
los estados de esta cadena son
1
1
j
, para j 0, 1, 2 . . .
j
1 p pj
En particular, 0
1 1 p . Esto confirma los c
alculos realizados antes
n
.
n
f
para 0 a partir de la f
ormula 0
00
n 1
3.14.
Distribuciones lmite
Como hemos mencionado antes, toda matriz de probabilidades de transicion

P determina una sucesi
on de distribuciones de probabilidad 0 , 1 , . . . sobre
el espacio de estados, dada por
n
0 P n ,
1.
(3.10)
Bajo ciertas condiciones tal sucesion es convergente a una distribucion de

probabilidad lmite . Imaginemos por ahora que tal es el caso y supongamos
entonces que
lm n .
Examinaremos algunas propiedades de esta distribucion lmite. Tomando el

lmite cuando n
en las dos igualdades de (3.10) se tiene que
y
(3.11)
lm P
(3.12)
Estas igualdades revelan varias cosas. Primero, la supuesta distribucion

lmite es una distribuci
on estacionaria, (3.11). Segundo, la distribucion lmite
no depende de la distribucion inicial, pues nuevamente la igualdad (3.11)
indica que se determina a traves de la ecuacion (3.11). Tercero, la distribuci
on lmite est
a dada por el lmite de las potencias de P , (3.12). Cuarto, a
partir de (3.12), el lmite de las potencias de P es una matriz con todos sus
renglones identicos, siendo este reglon la distribucion lmite. En esta seccion
se establecen condiciones para obtener rigurosamente estos resultados.
3.14. Distribuciones lmite
81
Definici
on 3.14 Considere una cadena de Markov con matriz de probabilidades de transici
on P
pij y distribuci
on inicial 0 . Se le llama distribuci
on lmite de esta cadena al vector
lm 0 P n
i0 pij n .
lm
Observe que el vector lmite en la definicion anterior podra no ser una

distribuci
on de probabilidad verdadera, a pesar de esto mantendremos dicho
termino en la definici
on. Como se ha mencionado, toda posible distribucion
lmite es estacionaria pero el recproco es en general falso, como se ilustra
en el siguiente ejemplo.
Ejemplo 3.24 Es inmediato comprobar que la distribuci
on 1 2, 1 2 es
estacionaria para la cadena con matriz
P
0 1
1 0
Sin embargo las potencias de P no convergen, pues para cualquier n

P 2n
0 1
1 0
P 2n
1 0
0 1
0,
El siguiente resultado es v
alido para espacios de estados finitos o infinitos,
y establece que si el lmite de las probabilidades pij n , cuando n
,
existen y no dependen de i, entonces la distribucion lmite podra ser una
distribuci
on estacionaria. Esto es solamente una posibilidad, pues los lmites
podran ser todos cero. En el caso finito, sin embargo, demostraremos que
tales lmites conforman una distribucion de probabilidad verdadera.
Proposici
on 3.19 Considere una cadena de Markov con probabilidades de
pij n existen para cada j,
transici
on pij tales que los lmites j lmn
y no dependen del estado i. Entonces
1.
1.
j
j
i pij .
2. j
i
82
Cuando el espacio de estados es finito se cumple la igualdad en el primer

resultado obteniendose una distribuci
on de probabilidad verdadera.
Demostraci
on.
Caso 1. Espacio de estados finito. Suponga que el espacio de estados es el
conjunto finito 0, 1, . . . , N . Entonces la primera afirmacion se cumple con
igualdad pues
N
lm pij n
j
j 0
j 0
lm
1.
pij n
j 0
Para la segunda afirmaci

on se tiene que para cualquier n
1,
lm pki m
i pij
i 0
i 0
pij
lm
pki m pij
i 0
lm pkj m
m
j .
Caso 2. Espacio de estados infinito. Suponga ahora que el espacio de estados

es infinito. En este caso no es posible garantizar la validez del intercambio
de lmite y suma efectuado en el caso anterior. Para la primera afirmacion
se tiene que para cualquier n
umero natural N 1,
N
N
j 0
lm pij n
j
j 0
lm
pij n
j 0
lm 1
1.
Haciendo N
se obtiene el resultado buscado. Para la segunda afirma1, y para cualquier
ci
on, nuevamente para cualquier n
umero natural N
83
estado j,
N
lm pki n pij
i pij
i 0
i 0
lm
pki n pij
i 0
lm pkj n
j .
Tomando el lmite cuando N
se obtiene que para cualquier estado j,

i pij
(3.13)
j .
Si j
0 para cualquier j, entonces estas desigualdades se convierten en
identidades como dice el enunciado. Suponga entonces que j j 0. Demostraremos que las desigualdades que aparecen en (3.13) no pueden ser
estrictas. Suponga que para alg
un estado j, i i pij j . Entonces
j
j
i pij
i,j
i
i
pij
j
i .
i
Esto es una contradicci

on, por lo tanto (3.13) es en realidad una igualdad.
!
Ahora se establecen condiciones suficientes para que exista el lmite de las
probabilidades de transicion cuando el n
umero de pasos n crece a infinito. Este resultado es una especie de recproco del resultado anterior, pues
supone la existencia de una distribucion estacionaria para concluir que los
lmites de las probabilidades existen.
Teorema 3.2 (Convergencia a la distribuci
on estacionaria) Considere una cadena de Markov que es:
a) irreducible,
b) aperi
odica, y
c) con distribuci
on estacionaria .
84
Entonces para cualesquiera estados i y j, lm pij n
j .
Demostraci
on. El metodo de esta demostracion se conoce como tecnica
0 una cadena de Markov independiente de la
de acople. Sea Yn : n
original Xn : n
0 , pero con la misma matriz de probabilidades de
Xn , Yn es
transici
on. Entonces el proceso Zn : n 0 definido por Zn
una cadena de Markov con probabilidades de transicion
P Zn
xn
1 , yn 1
Zn
xn , y n
pxn ,xn
pyn ,yn 1 ,
y puede f
acilmente comprobarse que tiene distribucion estacionaria
xn ,yn
x n yn .
Puede adem
as verificarse que la cadena Zn : n 0 es recurrente positiva.
Adem
as es irreducible, pues como Xn : n 0 y Yn : n 0 son aperiodi0, para toda n N .
cas, existe un n
umero natural N tal que pij n pkl n
Por lo tanto p i,k j,l n
0.
Sea j un estado cualquiera de la cadena original. Defina el primer momento
en el que la cadena Zn : n 0 visita el estado j, j como j mn n
1 : Zn
j, j . Sea ademas
mn n 1 : Xn Yn . Este es el primer
momento de acople de las dos cadenas. Como Zn : n
0 es recurrente,
1. Adem
as j . Por la propiedad de Markov,
P
n
P Xn
x,
n
j
r 1
n
r 1
n
r 1
n
r 1
P Yn
P Xn
x, Xr
j,
P Xn
x Xr
j,
r P Xr
P Yn
x Yr
j,
P Yn
x Yr
j P Yr
x,
n,
r P Yr
j,
j,
j,
r
r
r
85
es decir, sobre el evento

n , las variables Xn y Yn tienen la misma
distribuci
on de probabilidad. Por otro lado,
P Xn
De manera an
aloga, P Yn
P Xn
j,
P Xn
j,
P Yn
j,
P Xn
j,
P Yn
P Xn
P Yn
P Xn
j X0
n.
. Si ahora se toma X0
cuando n
tiene que
P Xn
P Xn
n . Por lo tanto,
P
P
0,
(3.14)
i con probabilidad uno, entonces se
i P X0
pij n P X0
pij n .
Por otro lado, si se toma Y0 con la distribucion estacionaria , entonces

P Yn
P Yn
j Y0
i i
i pij n
j .
Substituyendo estas expresiones en (3.14) se conluye que

pij n
0.
!
El siguiente resultado establece condiciones suficientes para la existencia

del lmite de las probabilidades de transicion cuando el n
umero de pasos
crece a infinito, asegurando ademas que el lmite obtenido constituye una
distribuci
on de probabilidad estacionaria.
Teorema 3.3 (Convergencia para cadenas de Markov) Considere
una cadena de Markov que es:
a) irreducible,
b) recurrente positiva, y
c) aperi
odica.
86
Entonces las probabilidades lmite j

j
lm pij n existen, est

an dadas por
1 j , y constituyen la u
nica soluci
on al sistema de ecuaciones
j
i pij ,
(3.15)
sujeto a las condiciones j
0, y
1.
Demostraci
on. Como la cadena es irreducible y recurrente positiva, tiene
nica
una u
nica distribuci
on estacionaria dada por j 1 j . Es decir, es la u
soluci
on al sistema de ecuaciones P , con j 0 y j j 1. Ademas,
j .
!
por la aperiodicidad, pij n
3.15.
Cadenas regulares
Las cadenas de Markov regulares son cadenas finitas que cumplen la propiedad de que a partir de un cierto momento, con probabilidad positiva se
puede pasar de un estado a otro cualquiera en un paso. Demostraremos que
para este tipo de cadenas siempre existe la distribucion lmite.
Definici
on 3.15 Se dice que una cadena finita o su matriz de probabilida0,
des de transici
on es regular si existe un entero natural n tal que pij n
para cualesquiera estados i y j.
En palabras, una cadena de Markov finita es regular si alguna potencia de
su matriz de probabilidades de transicion tiene todas sus entradas estrictamente positivas. Otra forma de definir a una cadena regular es a traves del
siguiente resultado.
Proposici
on 3.20 Una matriz estoc
astica es regular si, y s
olo si, es finita,
irreducible y aperi
odica.
Demostraci
on. Si la matriz es regular, entonces claramente es finita,
irreducible y aperi
odica. Recprocamente, por la irreducibilidad, para cualesquiera dos estados i y j, existe un entero m tal que pij m
0. Entonces
existe un entero N tal que pij m n d j
0, para cada n
N . Como
1 y siendo la matriz finita, esto implica la regularidad.
!
dj
3.15. Cadenas regulares
87
Para este tipo particular de cadenas finitas se conocen los siguientes resultados acerca de su comportamiento lmite.
Proposici
on 3.21 Toda cadena finita que adem
as es:
1. regular, tiene como distribuci
on lmite la u
nica soluci
on no negativa
del sistema de ecuaciones (3.15).
2. regular y doblemente estoc
astica, tiene como distribuci
on lmite la distribuci
on uniforme.
3. irreducible, aperi
odica y doblemente estoc
astica, tiene como distribuci
on lmite la distribuci
on uniforme.
Demostraci
on.
1. Como la cadena es regular, es irreducible, aperiodica, y es recurrente
positiva por ser finita. Por el Teorema 3.3, la distribucion lmite existe
y est
a dada por el sistema de ecuaciones (3.15).
2. Como la cadena es regular, es aperiodica, irreducible y recurrente
positiva por ser finita. Entonces la distribucion lmite existe. Por
la hip
otesis de doble estocasticidad y suponiendo que el espacio de
1. Tomando el
estados es 0, 1, . . . , N , se tiene que N
i 0 pij n
1.
Por lo tanto,
lmite cuando n tiende a infinito se obtiene N
i 0 j
j 1 N 1 .
3. Este resultado es identico al anterior, pues hemos demostrado que la
regularidad es equivalente a la finitud, irreducibilidad y aperiodicidad
conjuntamente.
!
Ejemplo 3.25 Sea Sn la suma de los resultados que se obtienen al lanzar

un dado equilibrado n veces. Encontraremos
ultiplo de 7 .
lm P Sn es m
88
Defina el proceso Xn Sn mod. 7 cuyo espacio de estados es 0, 1, . . . , 6 .

No es difcil convencerse de que Xn : n 1 es una cadena de Markov con
matriz de probabilidades de transici
on
0
1 6
1 6
1 6
1 6
1 6
1 6
1 6
0
1 6
1 6
1 6
1 6
1 6
1 6
1 6
0
1 6
1 6
1 6
1 6
1 6
1 6
1 6
0
1 6
1 6
1 6
1 6
1 6
1 6
1 6
0
1 6
1 6
1 6
1 6
1 6
1 6
1 6
0
1 6
1 6
1 6
1 6
1 6
1 6
1 6
0
El evento Sn es m
ultiplo de 7 es identico al evento Xn
0 , de modo
que la probabilidad de que Sn sea m
ultiplo de 7 a largo plazo es el tiempo de
estancia a largo plazo que la cadena Xn : n 1 pasa en el estado 0. El
problema se reduce a encontrar la distribuci
on lmite de P . Pero esta matriz
es regular, y entonces su distribuci
on lmite es la uniforme. Por lo tanto,
0
lm P Xn
3.16.
1 7.
Cadenas reversibles
Sea Xn : n 0 una cadena de Markov con probabilidades de transicion

Xm n para
pij . Sea m 1 un entero fijo y defina un nuevo proceso Yn
n 0, . . . , m, es decir, Yn : n 0, . . . , m es la cadena original pero vista
en sentido inverso en el tiempo, ahora del tiempo m al tiempo 0. Este nuevo
proceso resulta tambien ser una cadena de Markov, pues cumple el criterio
de independencia entre pasado y futuro cuando se conoce el presente, las
nociones de pasado y futuro se intercambian debido al cambio en el sentido
r
n
m, considere la probabilidad
del tiempo. En efecto, para 1
condicional
P y1 , . . . , yr 1 , yr 1 , . . . , yn yr .
En terminos del proceso Xn : n
P Xm
Xm
0 , esta probabilidad es
y1 , . . . , Xm
r 1
yr
r 1
yr
1 , . . . , Xm n
1,
yn Xm
yr .
89
3.16. Cadenas reversibles

Por la propiedad de Markov del proceso Xn : n
el producto
P Xm
P Xm
y1 , . . . , Xm
que en terminos del proceso Yn : n

para este proceso
P y1 , . . . , yr
1 , . . . , Xm n
yr
r 1
yr
r 1
0 , esta probabilidad es
Xm
yr
yn Xm
yr ,
0, . . . , m es la propiedad de Markov
yr P yr
1 , . . . , yn
yr .
Sin embargo, las probabilidades de transicion del nuevo proceso no son homogeneas pues para 0 n m,
P Yn
j Yn
P Xm
i, Xm
P Xm
P Xm
pji
i Xm
n 1
i
n 1
P Xm n 1 j
P Xm n i
P Yn 1 j
,
P Yn i
es decir, estas probabilidades dependen de n a traves del cociente P Yn 1

j P Yn
i . Tal dependencia desaparece cuando se toma como hipotesis
la existencia de una distribucion estacionaria para Xn : n 0 , pues en
tal caso la igualdad anterior se reduce a
j
pji
P Yn 1 j Yn i
.
(3.16)
i
Bajo tal hip
otesis las probabilidades de transicion de la nueva cadena son
ahora estacionarias. Si adicionalmente se pide que las probabilidades de
transici
on son las mismas para ambas cadenas, entonces de la ecuacion (3.16)
se obtiene que debe satisfacerse la ecuacion pij pji j i , es decir, i pij
j pji . Esto lleva a la siguiente definicion de reversibilidad, la cual a
nade la
hip
otesis de irreducibilidad.
Definici
on 3.16 Se dice que una cadena de Markov irreducible con probabilidades de transici
on pij y con distribuci
on estacionaria es reversible en
el tiempo si para cualesquiera estados i y j,
i pij
j pji .
(3.17)
90
A la ecuaci
on (3.17) se llama ecuacion de balance detallado. La utilidad de
las cadenas reversibles est
a dada por el siguiente resultado, el cual ejemplificaremos m
as adelante con un par de aplicaciones.
Proposici
on 3.22 Considere una cadena irreducible para la cual existe una
distribuci
on que cumple la identidad (3.17). Entonces es una distribuci
on estacionaria y la cadena es reversible.
Demostraci
on. Si cumple (3.17), entonces es una distribucion estacionaria pues i i pij
j . Ademas la cadena es reversible por
i j pji
!
definici
on.
Ejemplo 3.26 Considere nuevamente la cadena de Ehrenfest. El espacio
on son, para i
de estados es 0, . . . , N , y las probabilidades de transici
1, . . . , N 1,
N i N si j i 1,
si j i 1,
pij
i N
0
otro caso,
1 y pN,N 1
1. Esta cadena es finita, irreducible y recurrente
con p01
positiva. Estas propiedades garantizan que la cadena tiene una u
nica distribuci
on estacionaria. Si se desea encontrar esta distribuci
on estacionaria
a traves de la ecuaci
on P , uno tendra que resolver el sistema
1
1 ,
N
N i 1
i 1
i
i 1
i 1 , para i 1, . . . , N 1,
N
N
1
N 1 .
N
N
A partir de estas ecuaciones hemos demostrado en el Ejemplo 3.22 de la
p
agina 78 que es la distribuci
on bin N, 1 2 . Alternativamente, usando el
concepto de reversibilidad se puede intentar encontrar una posible soluci
on
al sistema de ecuaciones
i pij j pji ,
0
el cual, despues de algunos c

alculos, se reduce al sistema
i
N i
i ,
i 1
para i
0, 1, . . . , N
1.
91
3.16. Cadenas reversibles
Si existiera una soluci

on a este sistema de ecuaciones que resulte ser una
distribuci
on de probabilidad, entonces por la Proposici
on 3.22 sabramos que
dicha distribuci
on es estacionaria y la cadena sera reversible. Dado que las
probabilidades buscadas se encuentran en terminos de la inmediata anterior,
se puedan escribir todas en terminos de 0 y de esa forma se obtienen las
siguientes expresiones
N
1
N
2
1
2
0 ,
0 ,
..
.
N
N
0 .
Sumando todas estas cantidades junto a 0 se tiene que

N
0
i 0
N
i
0 2N .
N
Por lo tanto 0
1 2N , y encontramos nuevamente que i
2N es
i
la soluci
on al sistema. Esta es la distribuci
on bin N, 1 2 . Por la Proposici
on 3.22, sabemos entonces que la distribuci
on encontrada es estacionaria
y la cadena es reversible.
Ejemplo 3.27 Considere una caminata aleatoria no homogenea sobre el

conjunto 0, 1, . . . , con probabilidades de transici
on
pi
qi
1 pi
0
pij
qi
si j i 1,
si j i 1,
si j i,
otro caso,
en donde q0 0. Esta es una cadena irreducible. Si uno busca una distribu P , se tendra que resolver
ci
on estacionaria a traves de la ecuaci
on
el sistema de ecuaciones
0
0 1
p0
1 qi 1
q 1 1 ,
i 1
pi
qi
1 pi 1 ,
para i
1.
92
Sin embargo la condici

on (3.17) se traduce en el sistema m
as simple i pi
on de este sistema (su existencia depender
a de
i 1 qi 1 . Una posible soluci
los par
ametros pi y qi ), ser
a la distribuci
on estacionaria para esta caminata
y la cadena ser
a entonces reversible en el tiempo.
Resumen de la notaci
on utilizada. Como referencia se presenta a continuaci
on una lista de la notacion utilizada en este captulo.
pij
Probabilidad de pasar del estado i al estado j en un paso, es decir,

pij P X1 j X0 i .
pij n
Probabilidad de pasar del estado i al estado j en n pasos, es decir,

pij n
P Xn j X0 i . En algunos textos aparece tambien como
n
ij , que vale uno cuando i j,
pij . En particular, se define pij 0
y cero cuando i j.
fij n
Probabilidad de llegar por primera vez al estado j a partir del estaP Xn

j, Xn 1
do i exactamente en el paso n, es decir, fij n
n
j, . . . , X1 j X0 i . A veces se escribe tambien como fij . En particular se define fij 0
0 para cualesquiera estados i y j, incluyendo
el caso i j.
fij
Nij n
Probabilidad de una eventual visita el estado j a partir del estado i.

En terminos de probabilidades de primeras visitas, esta probabilidad
es fij
k 0 fij n .
Variable aleatoria que registra el n
umero de visitas realizadas al estado
j durante las primeras n transiciones, cuando la cadena inicia en el
n
estado i, es decir, Nij n
i.
k 1 1 Xk j , cuando X0
Nij
Variable aleatoria que cuenta el n

umero total de visitas realizadas
al estado j cuando la cadena inicia en el estado i, es decir, Nij
i. Puede tomar el valor infinito.
k 1 1 Xk j , cuando X0
ij
Tiempo en el que se logra la primera visita el estado j a partir del

estado i, es decir, ij mn n 1 : Xn j , cuando X0 i. Toma el
valor infinito cuando nunca ocurre tal evento. Cuando i j se escribe
i , y corresponde al tiempo del primer regreso al estado i.
3.17. A. A. Markov
ij
93
Tiempo medio de primera visita al estado j a partir del estado i, es

decir, ij E ij . Puede ser infinito. Cuando i j se escribe i y se
le llama tiempo medio de recurrencia del estado i.
Notas y referencias. El tema de cadenas de Markov a tiempo discreto

aparece en casi cualquier texto de procesos estocasticos en mayor o menor
profundidad, e incluso puede encontrarse tambien en los u
ltimos captulos
de algunos textos de probabilidad. El tema es regularmente la parte inicial
y obligada de un curso elemental de procesos estocasticos. Las siguientes
referencias son una muestra de algunos textos que contienen captulos sobre
el tema de cadenas de Markov a un nivel similar al presentado: Karlin y
Taylor [17], Brzezniak y Zastawniak [3], Jones y Smith [15], Hoel, Port y
Stone [14], y Stirzaker [34]. Los textos de Caballero et al [4] y Norris [24],
est
an dedicados enteramente al tema de cadenas de Markov.
3.17.
A. A. Markov
Andrey Andreyevich Markov (Rusia, 1856

1922) tuvo una salud muy precaria durante
sus primeros a
nos de vida, teniendo que caminar con muletas hasta la edad de 10 a
nos.
En 1874 ingres
o a la Facultad de Fsica y
Matem
aticas de la universidad de San Petersburgo, y asisti
o a las clases de reconocidos matem
aticos de la epoca, entre ellos
P. L. Chebyshev, quien tuvo una influencia
decisiva en el quehacer futuro de Markov. Se
A. A. Markov
gradu
o brillantemente en 1878, y continuo con
sus estudios de maestra, los cuales concluyo en 1880. Trabajo como profesor en la universidad de San Petersburgo al mismo tiempo que estudiaba
para su doctorado, el cual concluyo en 1884. Continuo trabajando en la
misma universidad por pr
acticamente el resto de su vida. Despues de 1900,
y siguiendo los trabajos de P. L. Chebyshev, aplico el metodo de fracciones
continuas en la teora de la probabilidad. Markov fue el mejor exponente
y continuador de las ideas de Chebyshev y de sus temas de investigacion
en probabilidad. Especialmente sobresalientes son sus trabajos sobre la ley
94
de los grandes n
umeros y el teorema central del lmite, as como otros resultados fundamentales de la teora de la probabilidad, y sobre el metodo
de mnimos cuadrados. Markov fue un profesor muy estricto pero tambien
muy claro en sus exposiciones, y demandaba mucho rigor matematico en
los argumentos de sus estudiantes. Markov desarrollo su teora de cadenas
de Markov desde un punto de vista matematico, aunque tambien aplico su
modelo en el an
alisis de estilos de escritura en poemas. Con sus trabajos sobre cadenas de Markov fundo una nueva rama de la probabilidad e inicio la
teora de los procesos estocasticos.
Fuente: Archivo MacTutor, Universidad de St. Andrews.
3.18.
Ejercicios
Recordemos que para hacer la notacion mas corta, a la probabilidad P Xn

xn se le ha escrito como p xn , es decir, el subndice indica tambien la variable a la que se hace referencia. El significado de la probabilidad condicional
p xn 1 xn es an
alogo.
Propiedad de Markov
20. Demuestre que la propiedad de Markov (3.1) es equivalente a cada
una de las siguientes condiciones.
a) Esta condici
on establece que la distribucion conjunta queda especificada a traves de la distribucion inicial y las probabilidades
de transici
on en un paso: para cualesquiera estados x0 , . . . , xn ,
p x0 , x1 , . . . , xn
p x0 p x1 x0
p xn xn
b) Esta condici
on establece que el futuro, sin importar lo distante
que se encuentre, depende solamente del u
ltimo momento observado: para cualesquiera enteros n, m 1,
p xn
x0 , . . . , xn
p xn
xn .
c) Esta es la condicion de Markov para tiempos no necesariamente

consecutivos: para cualesquiera enteros 0 n1
nm 1 ,
p xn m
xn 1 , . . . , xn m
p xn m
xn m .
95
3.18. Ejercicios
d) Esta condici
on expresa la independencia entre el pasado y el
futuro cuando se conoce el presente: para cualesquiera enteros
0 k n,
p x0 , . . . , xk
1 , xk 1 , . . . , xn
p x0 , . . . , xk
xk p xk
xk
1 , . . . , xn
xk .
e) En esta condicion se consideran varios eventos en el futuro: para

cualesquiera enteros n, m 1,
p xn
m , . . . , xn 1
x0 , . . . , xn
p xn
p xn
xn
1
m 1
xn .
Matrices estoc
asticas
21. Demuestre que:
a) si P y Q dos matrices estocasticas (o doblemente estocasticas)
de la misma dimension, entonces P Q tambien es estocastica (o
doblemente estocastica).
b) si P es estoc
astica (o doblemente estocastica), entonces para cualquier entero positivo n, la potencia P n tambien es estocastica (o
doblemente estocastica).
22. Demuestre que una matriz cuadrada P puede ser tal que la potencia
P n sea estoc
astica para alg
un entero n 2, sin ser P misma estocastica.
23. Demuestre que si una matriz estocastica P es simetrica, entonces para
cualquier n 1, la potencia P n tambien es simetrica.
24. Demuestre que toda matriz estocastica simetrica es doblemente estoc
astica.
25. Demuestre que toda matriz estocastica finita tiene siempre al n
umero
uno como valor propio.
96
on
0 una cadena de Markov con espacio de estados

26. Sea Xn : n
0, 1, 2 y con matriz de probabilidades de transicion
P
0.4 0.3 0.3

0.3 0.2 0.5
0.7 0 0.3
Calcule:
a) P X2
0, X1
0 X0
1.
b) P X3
1, X2
1 X1
2.
27. Sea Xn : n 0 una cadena de Markov con dos estados 0, 1 , con

1 2, P X0 1
1 2, y con matriz
distribuci
on inicial P X0 0
de probabilidades de transicion
P
4 10 6 10
9 10 1 10
Calcule:
a) P X0
0, X1
1, X2
b) P X0
0 X1
1.
c) P X1
0.
d) P X2
1.
e) P X0
0, X1
0, X2
0.
1, X3
1.
28. Sea Xn : n 0 una cadena de Markov con espacio de estados 0, 1 ,

con distribuci
on inicial P X0
0
1 5, P X0
1
4 5, y con
matriz de probabilidades de transicion
P
Encuentre:
a) la distribuci
on de X1 .
1 2 1 2
2 3 1 3
97
3.18. Ejercicios
b) la distribuci
on de X2 .
c) la distribuci
on conjunta de X1 y X2 .
d) la esperanza condicional E X2 X1 .
29. Considere una cadena de Markov de dos estados: 0 y 1, con matriz de

probabilidades de transicion
1 5 4 5
1 2 1 2
Suponga que la cadena tiene una distribucion inicial dada por el vector
3 5, 2 5 . Encuentre P X1 0 , P X1 1 , P X2 0 y P X2 1 .
30. Considere una cadena de Markov de dos estados: 0 y 1, con distribuci
on inicial 1 2, 1 2 , y con matriz de probabilidades de transicion
1 3 2 3
3 4 1 4
Encuentre:
a) la distribuci
on de X1 .
b) P X5
1 X4
0.
c) P X3
0 X1
0.
d) P X100
0 X98
0.
e) P X1
0 X2
0.
f) P X1
1 X2
1, X3
1.
g) P X3
0, X2
0 X1
0.
31. Ecuaci
on de Chapman-Kolmogorov para cadenas no homogeneas. Considere una cadena de Markov con probabilidades de transicion no necesariamente homogeneas pij n, m
P Xm j Xn i , para n m.
Demuestre que para cualquier tiempo u tal que n u m,
pij n, m
pik n, u pkj u, m .
k
32. Demuestre o proporcione un contraejemplo.
98
a) pij n
pij 1 pjj n
b) pij n
1.
pji n .
33. Demuestre que:

a) pii n pii m
pii n
b) sup pij n
fij
pii n pii m
pii n .
pij n .
n 1
c) i
j si, y s
olo si, fij
0.
d) i
j si, y s
olo si, fij fji
e)
pij n
0.
pjj n
fij
n 1
1 .
n 1
Cadenas de Markov
34. Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes con
valores en el conjunto 0, 1, . . . , y con identica distribucion dada por
las probabilidades a0 , a1 , . . . Determine si el proceso Xn : n
1
dado por Xn
mn 1 , . . . , n es una cadena de Markov. En caso
afirmativo encuentre la matriz de probabilidades de transicion.
35. Para la cadena de Markov de dos estados, compruebe que:
a) P X0
0, X1
1, X2
b) P X0
0, X2
c) P X2
0
1
ab
ab p0 .
a a p0 .
1
ab p0
bb
b1
a p1 .
36. Para la cadena de Markov de dos estados con distribucion inicial

0 , 1 , use inducci
on sobre n para demostrar que para a b 0,
a) P Xn
b) P Xn
b
a
b
a
0
1
b
a
b
a
b n.
b n.
Cu
al es el lmite de esta distribucion cuando n
99
3.18. Ejercicios
37. Encuentre la matriz de probabilidades de transicion de la cadena de

Markov de cuatro estados dada por el laberinto de la Figura 3.18.
A partir de cada posici
on solo se permite pasar a los estados como
indica el diagrama, con identica probabilidad para todas las posibilidades. Suponga que no se permite permanecer en la misma posicion
al efectuarse un movimiento.
Figura 3.18
38. Se lanza un dado equilibrado repetidas veces. Sea Xn el n
umero de
lanzamientos realizados al tiempo n desde la u
ltima vez que aparecio el
n
umero 6. Demuestre que Xn : n 1 es una cadena de Markov y
encuentre las probabilidades de transicion.
39. Sea Xn : n 0 una cadena de Markov con probabilidades de tran1 un entero fijo. Demuestre que los siguientes
sici
on pij , y sea m
procesos son tambien cadenas de Markov y encuentre las correspondientes probabilidades de transicion.
a) Xn
:n
b) Xnm : n
0 .
0 .
40. Demuestre que para cualquier entero n

a) P Xn
P Xn
1,
i pij 1 .
b) P Xn
P X0
i pij n .
41. Considere una cadena de Markov con espacio de estados 0, 1, . . . , N ,
100
y probabilidades de transicion tales que para cualquier estado i,
N
E Xn
Xn
j pij
i,
j 0
es decir, el estado promedio despues de una transicion es el estado

inicial. Demuestre que esta cadena es una martingala y que los estados
0 y N son absorbentes.
42. Renovaciones discretas. Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes identicamente distribuidas, y con valores en el
conjunto 1, 2, . . . . Interpretaremos estas variables discretas como los
tiempos de vida de artculos puestos en operacion uno despues de otro
en un proceso de renovacion a tiempo discreto. Sea X0
0 y para
n . Para cada k 1, 2, . . . defina
cada n 1 sea Xn 1
max n
Nk
1 : Xn
k .
Si el conjunto indicado es vaco, entonces el maximo se define como

cero. La variable Nk cuenta el n
umero de renovaciones efectuadas hasta el tiempo k. Sea Ak k XNk , es decir, Ak es la edad del artculo
que se encuentra en operacion al tiempo k, o bien, el tiempo transcurrido desde la u
ltima renovacion. La notacion A proviene del termino
en ingles Age. Demuestre que el proceso Ak : k 1 es una cadena
de Markov con espacio de estados 0, 1, . . . , y con probabilidades de
transici
on
pi,0
P X
P X
i
i
1
,
1
pi,i
P X
P X
i
i
2
.
1
43. Considere la cadena de inventarios en donde n tiene distribucion uni1 y S

4. Encuentre la
forme en el conjunto 0, 1, 2, 3 , con s
matriz de probabilidades de transicion de esta cadena.
0 la cadena de Markov de dos estados. Demuestre
44. Sea Xn : n
que el proceso Yn
Xn 1 , Xn es una cadena de Markov. Determine
el espacio de estados de este nuevo proceso y encuentre la matriz de
probabilidades de transicion. Generalice este resultado para cualquier
cadena con espacio de estados 0, 1, . . . .
101
3.18. Ejercicios
45. Se colocan N bolas negras en una primera urna, y N bolas blancas en

una segunda urna. Se selecciona al azar una bola de cada urna y se
intercambian. Este ensayo se repite varias veces. Sea Xn el n
umero de
bolas blancas en la primera urna despues del n-esimo ensayo. Justifique que Xn : n 1 es una cadena de Markov y encuentre la matriz
de probabilidades de transicion.
46. Sea 0 , 1 , . . . una sucesion de variables independientes con identica
1 definido
distribuci
on Ber p . Determine si el proceso Xn : n
a continuaci
on es una cadena de Markov. En caso afirmativo determine el espacio de estados y encuentre la matriz de probabilidades de
transici
on.
1.
a) Xn
b) Xn
Xn
n .
c) Xn
Xn
n , (mod. 2).
47. Sea 1 , 2 , . . . una sucesion infinita de variables independientes con

valores en el conjunto 0, 1, 2, 3, 4 y con identica distribucion dada
por p0 , p1 , p2 , p3 , p4 . Determine si el proceso Xn : n 1 definido a
continuaci
on es una cadena de Markov. En caso afirmativo encuentre
el espacio de estados y la matriz de probabilidades de transicion.
X0
Xn
0,
Xn
(mod. 5), para n
0.
48. Modificaci
on de la cadena de Ehrenfest. Considere el esquema de dos
urnas como en la cadena de Ehrenfest con un total de N bolas. Suponga ahora que un ensayo consiste en que cada una de las bolas se cambia
de urna con una distribucion de probabilidad especificada p1 , . . . , pN ,
sin importar la posicion de las bolas. Sea Xn el n
umero de bolas en
una de las urnas despues del n-esimo ensayo. Es esta una cadena de
Markov? En caso afirmativo encuentre la matriz de probabilidades de
transici
on.
0 una cadena de Markov con espacio de estados E.
49. Sea Xn : n
Xn , Xn 1 .
Defina el proceso Yn : n 0 de la siguiente forma: Yn
102
Determine el espacio de estados del proceso Yn : n 0 , demuestre
que es una cadena de Markov y encuentre sus probabilidades de transici
on en terminos de las probabilidades de transicion de Xn : n 0 .
Comunicaci
on
50. Demuestre que la comunicacion entre los estados de una cadena de

Markov es una relaci
on de equivalencia.
51. Dibuje un diagrama de transicion e identifique las clases de comunicaci
on para las siguientes cadenas de Markov.
0.3 0 0.7
0.4 0.6 0
0.5 0 0.5
0 0.2 0 0.8
0.4 0.6 0
0
0
0
1
0
0
0 0.3 0.7
52. Cu
al es el n
umero maximo y mnimo de clases de comunicacion que
puede existir para una cadena de Markov de n estados? Dibuje un
diagrama de transicion ilustrando cada una de estas dos situaciones.
53. Dibuje el diagrama de transicion de una cadena de Markov que sea:
a) finita e irreducible.
b) finita y reducible.
c) infinita e irreducible.
d) infinita y reducible.
54. Dibuje un diagrama de transicion y encuentre las clases de
caci
on para cada una de las siguientes cadenas de Markov.
0
0
1
1 2 1 2 0
1
0
0
a P
1 2 0 1 2
b P
1 2 1 2 0
0
0
1
1 3 1 3 1 3
0 1 0 0
0 0 0 1
c P
0 1 0 0
1 2 0 1 2 0
comuni0
0
0
0
103
3.18. Ejercicios
55. Considere una cadena de Markov con n estados. Demuestre que si

i
j con i j, entonces es posible pasar de i a j en a lo sumo n 1
pasos.
Periodo
56. Dibuje un diagrama de transicion, determine las clases de comunicaci
on y calcule el periodo de cada uno de los estados de las siguientes
cadenas de Markov.
1 3 1 3 1 3 0
1 2 1 2 0
1
0
0 0
b P
1 2 1 2 0
a P
1 2 1 2 0 0
0 1 2 1 2
1 3 1 3 1 3 0
c
1 2 0 1 2 0
0
0
0
1
1 2 0 1 2 0
1 4 1 4 1 4 1 4
57. Dibuje un diagrama de transicion, determine las clases de comunicaci

on y calcule el periodo de cada uno de los estados de las siguientes
cadenas de Markov.
a) P
1 4 1 4 1 4 1 4
0 1 2 1 2 0
0
0
0
1
0
0
1
0
b) P
0
0
0
0
1
0
0
1
0
0
0
0
0 1 2 1 2
0
0
1
0
0
1 5 1 5 1 5 1 5 1 5
58. En la Proposici
on 3.4 se ha demostrado que el periodo es una propiedad de clase, es decir, dos estados que pertenecen a la misma clase de
comunicaci
on tienen el mismo periodo. El recproco de tal afirmacion
es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Proporcione un ejemplo de tal
situaci
on.
104
59. Demuestre que no existe una cadena de Markov irreducible de periodo

cero.
60. Demuestre que toda cadena de Markov finita tiene por lo menos un
estado de periodo positivo.
Tiempo y probabilidad de primera visita

61. Demuestre que i
j, si y solo si, fij
0.
62. Use la identidad (3.2) para demostrar que para cada n 1, se cumple
la desigualdad pij n
P ij n . Observe que la igualdad se cumple
en particular cuando j es un estado absorbente.
63. Demuestre las siguientes igualdades.
a) P ij
b) P ij
pij 1 .
pik 1 pkj 1 .
k j
c) P ij
pik 1 P kj
n,
para n
1.
k j
Tiempo medio de absorci

on
64. Se efect
ua un sucesi
on de lanzamientos independientes de una moneda
equilibrada con resultados A y S. Encuentre el n
umero esperado de
lanzamientos para que aparezca la secuencia particular
a) S .
b) SA .
c) SAS .
105
3.18. Ejercicios
65. Encuentre las clases de comunicacion de la siguiente cadena de Markov. Encuentre ademas los periodos, y clasifique cada clase de comunicaci
on como transitoria o recurrente.
1 2
1 2
0
0
1 6
1 6
1 2
1 2
0
0
1 6
1 6
0
0
1 2
1 2
1 6
1 6
0
0
0
0
0
0
1 2 0
0
1 2 0
0
1 6 1 6 1 6
1 6 1 6 1 6
66. Demuestre que todo estado absorbente es recurrente.

67. Determine las clases de comunicacion de las siguientes cadenas de
Markov y clasifique estas como recurrentes o transitorias.
1 2 1 2 0
0 1 2 1 2
0 1 2 1 2
1 2
0
0
1 4
1
1
1
1
2 0
0
2 1 2 0
2 1 2 0
4 1 4 1 4
68. Dibuje un diagrama de transicion de una cadena de Markov tal que:

a) Todos sus estados sean recurrentes.
b) Todos sus estados sean transitorios.
c) Tenga igual n
umero de estados transitorios y recurrentes.
69. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transici
on de la Figura 3.19(a) es transitorio.
70. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transici
on de la Figura 3.19(b) es recurrente. Suponga que
0
1 y 0
1. Concluya que todos los estados de esta

cadena son recurrentes.
71. Demuestre que si i es un estado recurrente e i
j, entonces j
i.
72. Demuestre que toda cadena de Markov finita tiene por lo menos una
clase de comunicaci
on recurrente.
106
1 2
0
1 2
1 2
1 2
1
3
(b)
(a)
Figura 3.19
Tiempo medio de recurrencia
73. Considere una sucesion de ensayos independientes Bernoulli con resultados A y B, y con probabilidades P A
pyP B
q 1 p.
Calcule el n
umero promedio de ensayos para la primera ocurrencia de
la secuencia AB.
Clases cerradas
74. Demuestre que:
a) La uni
on de dos clases cerradas es una clase cerrada.
b) Toda cadena de Markov tiene por lo menos una clase cerrada.
75. Demuestre que la coleccion de estados C es cerrada si, y solo si, alguna
C y
de las siguientes condiciones se cumple. Para cualesquiera i
j C,
a) pij n
0, para cada n
b) pij 1
0.
1.
76. Demuestre que:

a) Toda clase de comunicacion recurrente es cerrada.
b) La uni
on de dos clases de comunicacion recurrentes es una clase
cerrada.
107
3.18. Ejercicios
c) La uni
on de todas las clases de comunicacion recurrentes de una
cadena de Markov es una clase cerrada.
77. Proporcione ejemplos que muestren la invalidez de las siguientes afirmaciones.
a) Si C es una clase cerrada, entonces C c es cerrada.
C2 es cerrada.
b) Si C1 y C2 son dos clases cerradas, entonces C1
C2 ,
c) Si C1 y C2 son dos clases cerradas distintas tales que C1

entonces C2 C1 es una clase cerrada.
Propiedad fuerte de Markov
78. Sea Xn : n 0 una cadena de Markov con probabilidades de transici

on estacionarias y sea un tiempo de paro respecto de este proceso.
Suponiendo que es finito, use el metodo de induccion para demostrar
que
a) P X n 1 j X n i
P X1 j X0 i . Esta propiedad
es la estacionariedad de las probabilidades de transicion en una
versi
on m
as general.
b) Se cumple la propiedad fuerte de Markov: La probabilidad
P X
n 1
es igual a P X
j X0
n 1
x0 , . . . , X
j X
n 1
xn
1 , X n
i.
79. Sea Xn : n 0 una cadena de Markov con espacio de estados S y sea

S1 es subconjunto propio no vaco de S. Defina el proceso Yn : n 0
como el proceso original visto u
nicamente cuando toma valores en S1 .
a) Demuestre que 0 , 1 , . . . definidos abajo son tiempos de paro respecto del proceso Xn : n 0 .
0
mn n
0 : Xn
mn n
S1 ,
: Xn
S1 ,
1.
108
b) Suponiendo que P n
1 para toda n 0, demuestre que
Yn : n 0 es una cadena de Markov y encuentre su matriz de
probabilidades de transicion. Observe que Yn Xn para n 0.
80. Sea Xn : n
0 una cadena de Markov y defina el proceso Yn :
nicamente cuando cambia de
n 0 como el proceso original visto u
estado.
a) Demuestre que 0 , 1 , . . . definidos abajo son tiempos de paro respecto del proceso Xn : n 0 .
0,
0
n
mn n
n : Xn
Observe que se puede escribir Yn
Xn ,
Xn , para n
0.
n
0.
1 para toda n 0, es decir, no hay

b) Suponiendo que P n
estados absorbentes, demuestre que Yn : n 0 es una cadena
de Markov y encuentre su matriz de probabilidades de transicion.
Recurrencia positiva y nula
81. Determine si la cadena de racha de exitos es recurrente positiva o nula.
82. Sea Xn : n
0, 1, 2, . . . y probabilidades de transicion
p0,i
pi,i
ai
para i
1 para i
0, 1, 2, . . .
1, 2, 3, . . .
1. Encuentre condiciones suficientes sobre

en donde a0 a1
estas probabilidades para que la cadena sea:
a) Irreducible.
b) Recurrente.
c) Recurrente positiva.
83. Sea P una matriz doblemente estocastica. Demuestre directamente
que:
109
3.18. Ejercicios
a) Si P es finita, entonces todos los estados son recurrentes positivos.

b) Si P es infinita e irreducible, entonces todos los estados son transitorios o recurrentes nulos.
84. Encuentre todas las distribuciones estacionarias, si existen, para cada
una de las siguientes cadenas de Markov.
1 2 1 2 0
0 1 2 1 2
0 1 2 1 2
1 2
0
0
1 4
1
1
1
1
2 0
0
2 1 2 0
2 1 2 0
4 1 4 1 4
85. Determine si existe alguna distribucion estacionaria para la siguiente

matriz estoc
astica. En caso afirmativo encuentre todas las distribuciones estacionarias.
1
P
p p
0
0
0
0 1 p p
1 p p
0
0
0
1
0
0
86. Demuestre que la siguiente cadena de Markov tiene un n

umero infinito
de distribuciones estacionarias.
1 2 0 1 2 0
0 1 2 0 1 2
1 2 0 1 2 0
0 1 2 0 1 2
87. Demuestre que la cadena del jugador tiene una infinidad de distribuciones estacionarias.
88. Demuestre que la cadena de variables aleatorias independientes tiene
una u
nica distribuci
on estacionaria dada por 0 , 1 , . . .
a0 , a1 , . . . .
89. Demuestre que toda matriz doblemente estocastica, aperiodica, finita
e irreducible tiene una u
nica distribucion estacionaria dada por la
distribuci
on uniforme.
110
90. Demuestre que si la distribucion uniforme es una distribucion estacionaria para una cadena de Markov finita, entonces la correspondiente matriz de probabilidades de transicion es doblemente estocastica.
91. Considere una cadena de Markov a tiempo discreto con espacio de
estados finito y tal que para cada estado j los siguientes lmites existen
y no dependen del estado i,
lm pij n
j .
Demuestre que
j es una distribucion estacionaria.
92. Justifique la existencia y unicidad, y encuentre la distribucion estacionaria para una caminata aleatoria simple no simetrica sobre el conjunto 0, 1, . . . , n , en donde los estados 0 y n son reflejantes, es decir:
p00
q, p01
p, pnn
p, pn,n 1
q. Las otras probabilidades de
transici
on son: pi,i 1 p y pi,i 1 q para i 1, 2, . . . , n 1.
93. Considere una caminata aleatoria Xn : n
0 sobre el conjunto
0, 1, . . . , N 1, N en donde los estados 0 y N son reflejantes, es decir,
1 y P Xn 1 N 1 Xn N
1. El resto
P Xn 1 1 Xn 0
de las probabilidades de transicion son P Xn 1 i 1 Xn i
p
i 1 Xn
i
q, para i
1, 2, . . . , N 1. Vease la
y P Xn 1
Figura 3.20. Calcule el n
umero promedio de visitas que la caminata
realiza a cada uno de sus estados.
q
1
0
p
i
1
1
1 N
Figura 3.20
94. Sea P la matriz de probabilidades de transicion de una cadena de Markov con n estados. Demuestre que es una distribucion estacionaria
para P si y s
olo si
a,
I P A
111
3.18. Ejercicios
en donde I es la matriz identidad de n n, A es una matriz cuadrada de

n n con el valor 1 en cada una de sus entradas, y a es un vector renglon
de dimensi
on 1 n con el valor 1 tambien en todas sus entradas.
Este resultado permite encontrar la posible distribucion estacionaria
invirtiendo la matriz I P A, cuando tal operacion es posible.
Como un ejemplo vease el siguiente ejercicio.
95. Recuerde que una matriz cuadrada de 2 2 y su inversa tienen las
siguientes expresiones generales cuando ad bc 0.
A
a b
c d
ad
d
c
bc
b
a
Use este resultado y el ejercicio anterior para deducir nuevamente que

la distribuci
on estacionaria para la cadena de Markov de dos estados,
cuando a b 0, es
0 , 1
b
a
b a
96. Demuestre que si es una distribucion estacionaria para P , entonces

lo es para P n para cualquier n natural. Por otra parte, si es estacionaria para P n para alg
un n 2, entonces no necesariamente es
estacionaria para P . Considere por ejemplo la matriz estocastica
P
0 1
1 0
Entonces P 2 es la matriz identidad que acepta como distribucion esta0 , 1 , sin emcionaria a cualquier distribucion de probabilidad
bargo no es estacionaria para P , a menos que sea la distribucion
uniforme.
Distribuciones lmite
97. Calcule la distribuci
on lmite, cuando existe, de las siguientes cadenas
de Markov.
112
0
0
1
1
0
0
1 2 1 2 0
1 3 1 3 1 3
0
0
0
1 2
1 0
0 0
1 0
0 1 2
0
0
0
0
0
0
0
1 3
1
0
1
0
0
0
0
2 3
0
1
0
0
0
1
0
0
98. El problema de la lluvia. Una persona se traslada todos los das de su

casa a la oficina en la ma
nana, y de la oficina a su casa por la tarde.
Esta persona tiene un coche que usa en cualquiera de estos dos viajes
en caso de lluvia, siempre y cuando tenga el coche disponible. No
siempre tiene el coche disponible pues ha decidido dejarlo en la casa
o en la oficina e irse caminando cuando al salir de alguno de estos
lugares no est
a lloviendo. La probabilidad de lluvia por la ma
nana o
por la tarde es p 0, independiente un evento del otro.
a) Demuestre que la proporcion de viajes a largo plazo en los cuales
la persona se moja por la lluvia es p 1 p 2 p .
b) Demuestre que la respuesta a la pregunta del inciso anterior cuando la persona posee r coches es p 1 p 1 p r .
Cadenas regulares
99. Determine si las siguientes matrices estocasticas son regulares.
a
0 1 0
0 0 1
1 0 0
0
1
0
0 1 2 1 2
1 2 1 2 0
100. Cu
antas potencias de una matriz se necesitan calcular como maximo
para verificar que es regular?
0 y Yn : n
0 dos cadenas de Markov indepen101. Sean Xn : n
dientes y regulares. Demuestre que Zn
Xn , Yn es una cadena de
Markov regular y encuentre sus probabilidades de transici
on.
113
3.18. Ejercicios
Cadenas reversibles
102. Resolviendo la ecuacion de balance detallado (3.17), demuestre que

la cadena de dos estados es reversible y encuentre nuevamente que,
cuando a b 0, la distribucion estacionaria esta dada por
0 , 1
b
a
,
b a
a
b
114
Captulo 4
El proceso de Poisson
En el presente y en el siguiente captulo estudiaremos el modelo de cadena
de Markov a tiempo continuo. Como una introduccion a la teora general que
se expondr
a m
as adelante, en este captulo estudiaremos uno de los ejemplos
m
as importantes de este tipo de modelos: el proceso de Poisson. Definiremos
este proceso de varias formas equivalentes y estudiaremos algunas de sus
propiedades, sus generalizaciones y algunas de sus aplicaciones. El proceso
de Poisson es un modelo relevante tanto en las aplicaciones como en la teora
general de los procesos estocasticos.
4.1.
Definici
on
Suponga que un mismo evento ocurre

repetidas veces de manera aleatoria a
lo largo del tiempo, como se muestra
0
en la Figura 4.1. Tal evento puede ser,
Figura 4.1
por ejemplo, la llegada de una reclamaci
on a una compa
na aseguradora o
la recepci
on de una llamada a un conmutador, la llegada de un cliente
a una ventanilla para solicitar alg
un servicio o los momentos en que una
cierta maquinaria requiere reparacion, etcetera. Suponga que las variables
aleatorias T1 , T2 . . . representan los tiempos que transcurren entre una ocurrencia del evento y la siguiente ocurrencia. Suponga que estos tiempos son
independientes uno del otro y que cada uno tiene distribuci
on exp . Se
115
116
define el proceso de Poisson al tiempo t como el n

umero de ocurrencias del
evento que se han observado hasta ese instante t. Esta es una definicion constructiva de este proceso y la formalizaremos a continuaci
on. Mas adelante
enunciaremos otras definiciones axiomaticas equivalentes.
Definici
on 4.1 (Primera definici
on) Sea T1 , T2 , . . . una sucesi
on de variables aleatorias independientes cada una con distribuci
on exp . El proceso de Poisson de par
ametro es el proceso a tiempo continuo Xt : t 0
definido de la siguiente manera:
Xt
m
ax n
1 : T1
Tn
t .
Se postula adem
as que el proceso inicia en cero y para ello se define max
0. En palabras, la variable Xt es el entero n maximo tal que T1
Tn es
menor o igual a t, y ello equivale a contar el n
umero de eventos ocurridos
hasta el tiempo t. A este proceso se le llama proceso de Poisson homogeneo,
tal adjetivo se refiere a que el parametro no cambia con el tiempo, es
decir, es homogeneo en
Xt
el tiempo. Una trayectoria
3
tpica de este proceso puede
observarse en la Figura 4.2,
2
la cual es no decreciente,
1
constante por partes, continua por la derecha y con
t
lmite por la izquierda. A
W1 W2
W3
0
los tiempos T1 , T2 , . . . se les
T1
T2
T3
T4
llama tiempos de estancia
o tiempos de interarribo,
Figura 4.2: El proceso de Poisson
y los tiempos de ocurrencia de eventos.
y corresponden a los tiempos que transcurren entre
un salto del proceso y el siguiente salto. Hemos supuesto que estos tiempos
son independientes y que todos tienen distribucion exp . En consecuencia,
T1
Tn tiene distribucion gama n, . Esta variala variable Wn
ble representa el tiempo real en el que se observa la ocurrencia del n-esimo
evento. Observe la igualdad de eventos Xt n
Wn t , esto equivale
a decir que al tiempo t han ocurrido por lo menos n eventos si, y solo si, el
n-esimo evento ocurri
o antes de t. Una de las caractersticas sobresalientes
n
4.1. Definicio
117
de este proceso es que puede encontrarse explcitamente la distribucion de

probabilidad de la variable Xt para cualquier valor de t 0. La respuesta
es la distribuci
on Poisson, y de all el proceso adquiere su nombre.
Proposici
on 4.1 La variable Xt tiene distribuci
on Poisson t , es decir,
para cualquier t 0, y para n 0, 1, . . .
P Xt
t n
.
n!
Demostraci
on. Como Wn tiene distribucion gama n, , su funcion de
distribuci
on es, para t 0,
n 1
P Wn
t
k 0
Entonces para cualquier t

P Xt
0 y para cada n
P Xt
P Wn t
t k
.
e t
k!
t k
.
k!
0, 1, . . .
P Xt
P Wn
n
1
!
Entonces, dado que Xt tiene una distribucion Poisson t , se tiene que
t, y Var Xt
t. Por lo tanto t es el promedio de obserE Xt
vaciones o registros del evento de interes en el intervalo 0, t . As, mientras
mayor es la longitud del intervalo de observacion, mayor es el promedio de
observaciones realizadas, y mayor tambien la incertidumbre del n
umero de
observaciones.
P
erdida de memoria y sus consecuencias
Una de las propiedades que caracterizan de manera u
nica a la distribucion
exponencial dentro del conjunto de distribuciones absolutamente continuas
es que satisface la propiedad de perdida de memoria, esto es, si T tiene
distribuci
on exp , entonces para cualesquiera tiempos s, t 0 se cumple
la igualdad
P T t s T s
P T t.
118
En otras palabras, condiYt

Xt
cionada al evento T
s,
2
3
s sigue tela variable T
1
2
niendo distribuci
on exp .
Esto significa que, para un
t
1
valor de s
0 fijo, tot
dos los tiempos de interarris
bo a partir de s, incluyendo
Figura 4.3
el primero, siguen teniendo
distribuci
on exp , y por lo
tanto el proceso de conteo de eventos a partir del tiempo s es un proceso de
Poisson. La situaci
on se muestra graficamente en la Figura 4.3. Demostraremos a continuaci
on que los incrementos de este proceso son estacionarios
y tienen distribuci
on Poisson.
Proposici
on 4.2 Para cualesquiera tiempos 0
P Xt
Xs
Demostraci
on.
P Xt
Xs
P Xt
t s
t, y para n
t
0, 1, . . .
(4.1)
n!
Por el teorema de probabilidad total,

P Xt
Xs
n Xs
k P Xs
k .
k 0
Nos concentraremos en analizar la probabilidad condicional indicada. Dado

que al tiempo s el proceso de Poisson se encuentra en el nivel k, por la
propiedad de perdida de memoria podemos considerar que en ese momento
reinicia el proceso de Poisson, y la probabilidad del evento Xt Xs n
es igual a la probabilidad del evento Xt s n . Por lo tanto,
P Xt
Xs
P Xt
n P Xs
P Xs
k 0
P Xt
P Xt
n.
k 0
n
4.1. Definicio
119
Lo que hemos demostrado en la Proposicion 4.2 es que no solamente la variable Xt del proceso de Poisson tiene distribucion Poisson t , sino tambien
los incrementos Xt Xs tienen distribucion Poisson, ahora con parametro
t s , cuando 0 s t. De la propiedad de perdida de memoria pueden
derivarse todas las propiedades del Proceso de Poisson, incluida la propiedad
de Markov, la cual demostraremos a continuacion.
Proposici
on 4.3 El proceso de Poisson Xt : t
propiedades.
0 satisface las siguientes
a) Es un proceso de Markov.
b) Tiene incrementos independientes.
c) Tiene incrementos estacionarios.
0, y enteros 0
d) Para cualesquiera s, t
transici
on son
P Xt
j Xs
j, las probabilidades de
t j i
.
j i!
(4.2)
Demostraci
on.
a) Considere las probabilidades condicionales
P Xtn
xn Xt1
P Xtn
xn Xtn
x1 , . . . , Xtn
1
xn
xn
para cualesquiera n tiempos 0 t1 t2

tn , y cualesquiera estados
0 x1 . . . xn . En ambos casos se establece que al tiempo tn 1 ha habido
xn 1 ocurrencias del evento de interes. A partir de ese momento inicia un
nuevo proceso de Poisson y para que al tiempo tn hayan xn ocurrencias
es necesario que en el intervalo de tiempo tn 1 , tn hayan ocurrido xn
xn 1 eventos. Ambas probabilidades coinciden entonces con la probabilidad
P Xtn Xtn 1 xn xn 1 y ello demuestra la propiedad de Markov.
b) Considere cualesquiera n tiempos 0 t1 t2
tn , y cualesquiera
xn ,
estados x1 , . . . , xn . Por comodidad llamaremos sn a la suma x1
120
para cada n 1. Por la propiedad de Markov y despues por la propiedad

de perdida de memoria, la probabilidad conjunta
P Xt1
x1 , Xt2
Xt1
x2 , . . . , Xtn
Xtn
xn
es igual a
P Xt1
s1 , Xt2
s2 , . . . , Xtn
sn
P Xt1
s1 P Xt2
s2 Xt1
P Xt1
x1 P Xt2
Xt1
s1
P Xtn
x2
P Xtn
Xtn
sn Xtn
1
sn
xn .
Las propiedades c), y d) son consecuencia inmediata de (4.1). La estacionariedad de los incrementos significa que la distribucion de la variable Xt Xs ,
s
t, depende de s y de t u
nicamente a traves de la diferencia
para 0
t s, lo cual es evidente de (4.1).
!
La expresi
on (4.2) establece de manera clara que las probabilidades de transici
on son estacionarias en el tiempo, es decir, no dependen del parametro s,
y se escriben simplemente como pij t . Pero tambien es interesante observar
que (4.2) dice que estas probabilidades son estacionarias en el espacio, es
decir, dependen de los estados i y j u
nicamente a traves de la diferencia
j i. En smbolos, para j i,
pij t
p0,j
t.
Ejemplo 4.1 (Paradoja del autob

us) Suponga que la llegada de autobuses a una estaci
on se modela mediante un proceso de Poisson de par
ametro
, es decir, el tiempo que transcurre entre la llegada de un autob
us y el siguiente es una variable aleatoria con distribuci
on exp . Suponga que el
tiempo es medido en minutos. La propiedad de perdida de memoria en este
contexto puede interpretarse de la siguiente forma: una persona ha llegado a la estaci
on y ha esperado s minutos sin que un autob
us aparezca. La
probabilidad de que tenga que esperar m
as de t minutos adicionales es la
misma que la probabilidad de espera de m
as de t minutos para una persona
que acaba de llegar a la estaci
on!
ametro y sea
Ejemplo 4.2 Sea Xt : t 0 un proceso de Poisson de par
S una variable aleatoria continua con soporte el intervalo 0,
e independiente del proceso de Poisson. Entonces para cualquier t 0, el incremento
n
4.1. Definicio
121
XS t Xt tiene distribuci
on Poisson t . En efecto, para cualquier entero
k 0, y suponiendo que F s es la funci
on de distribuci
on de la variable S,
P XS
Xt
P XS
Xt
k S
s dF s
P Xs
Xs
k dF s
P Xt
k dF s
P Xt
k .
En el siguiente ejemplo haremos uso de este peque

no resultado.
Ejemplo 4.3 (La suma de dos procesos de Poisson independientes
es un proceso de Poisson) Sean Xt : t 0 y Yt : t 0 dos procesos
de Poisson independientes de par
ametros 1 y 2 respectivamente. Demostraremos que el proceso suma Xt Yt : t
0 es un proceso de Poisson
de par
ametro 1 2 . Denotaremos por T1 , T2 , . . . a los tiempos de interarribo del proceso suma. La forma en la que se obtienen estos tiempos se
muestra en la Figura 4.4. Demostraremos que estas variables aleatorias son
independientes con identica distribuci
on exp 1 2 .
Xt
Yt
Xt
Yt
Figura 4.4: Suma de dos procesos de Poisson.

En el siguiente an
alisis el termino X s,t denotar
a la diferencia Xt Xs , para
0 s t. Entonces para cualquier valor natural de n y para cualesquiera
tiempos t1 , . . . , tn , el evento T1 t1 , T2 t2 , . . . , Tn tn puede expresarse
como
X
0,t1
0, X
T1 ,T1 t2
0, . . . , X
Tn
1 ,Tn 1
tn
0,
122
esto es,
0
X 0,t1
X T1 ,T1
X Tn
Y 0,t1
0
t2
1 ,Tn 1
Y T1 ,T1
0
tn
t2
Y Tn
1 ,Tn 1
0.
tn
Por la independencia de los procesos, la propiedad de incrementos independientes de cada uno de ellos, y el resultado del Ejemplo 4.2, la probabilidad
de este evento es
0 P Y 0,t1
P X 0,t1
P X T1 ,T1
P X Tn
0 P Y T1 ,T1
t2
1 ,Tn 1
t2
0 P Y Tn
tn
1 ,Tn 1
0.
tn
Por lo tanto,
P T1
t1 , T2
t2 , . . . , Tn
tn
1 2 t1
1 2 t2
1 2 tn
Esta identidad demuestra que las variables T1 , T2 , . . . , Tn son independientes

con identica distribuci
on exp 1 2 .
Distribuciones asociadas al proceso de Poisson
Adem
as de las distribuciones exponencial y gama ya mencionadas, existen
otras distribuciones de probabilidad que surgen al estudiar ciertas caractersticas del proceso de Poisson. Por ejemplo, el siguiente resultado establece una forma de obtener la distribucion binomial a partir del proceso
de Poisson. Suponga que durante el intervalo de tiempo 0, t se han obsern ha
vado n ocurrencias del evento de interes, es decir, el evento Xt
ocurrido. La pregunta es, cuantos de estos eventos ocurrieron en el subintervalo 0, s ? Demostraremos a continuacion que esta variable aleatoria tiene
distribuci
on binomial n, s t .
Proposici
on 4.4 Sean s y t tiempos tales que 0
enteros tales que 0 k n. Entonces
P Xs
k Xt
n
k
s
t
s
s
t
n k
t, y sean k y n
n
4.1. Definicio
Demostraci
on.
P Xs
123
Por la definicion de probabilidad condicional,
k Xt
P Xt
n Xs k P Xs
P Xt n
Substituyendo estas probabilidades y simplificando se obtiene el resultado.

!
Recordando que la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson, se puede comprobar facilmente el siguiente
resultado.
Proposici
on 4.5 Sean X1 t y X2 t dos procesos de Poisson independientes con par
ametros 1 y 2 respectivamente, y sean k y n enteros tales que
0 k n. Entonces
P X1 t
k X1 t
Demostraci
on.
P X1 t
X2 t
n
k
1
1
n k
Por la hipotesis de independencia entre los procesos,
k X1 t
X2 t
P X1 t
k, X1 t
X2 t
P X1 t
k, X2 t
P X1 t
k P X2 t
n P X1 t
k P X1 t
n
X2 t
X2 t
k P X1 t
X2 t
n.
Substituyendo estas probabilidades se obtiene el resultado.
Proposici
on 4.6 Dado el evento Xt
n , el vector de tiempos reales
W1 , . . . , Wn tiene la misma distribuci
on que el vector de las estadsticas de
on
orden Y 1 , . . . , Y n de una muestra aleatoria Y1 , . . . , Yn de la distribuci
uniforme en el intervalo 0, t , es decir,
fW1,...,Wn Xt w1 , . . . , wn n
n!
tn
0
si 0
w1
otro caso.
wn
t,
124
Demostraci
on. La f
ormula general para la funcion de densidad conjunta
de las estadsticas de orden Y 1 , . . . , Y n de una muestra aleatoria Y1 , . . . , Yn
yn ,
de una distribuci
on con funcion de densidad f y es, para y1
fY 1 ,...,Y n y1 , . . . , yn
n! f y1
f yn .
Cuando la funci
on de densidad f y es la uniforme en el intervalo 0, t , esta
funci
on de densidad conjunta es la que aparece en el enunciado. Demostraremos que la distribuci
on conjunta de las variables W1 , . . . , Wn , condicionada
al evento Xt n tambien tiene esta misma funcion de densidad. Usaremos
nuevamente la identidad de eventos Xt
n
Wn
t . Para tiempos
wn t, la funcion de densidad conjunta condicional
0 w1
fW1 ,...,Wn Xt w1 , . . . , wn n
se puede obtener a traves de las siguientes derivadas
n
w1
wn
P W1
w1 , W2
w2 , . . . , W n
wn Xt
w1
wn
P Xw1
1, Xw2
2, . . . , Xwn
n Xt
P Xt Xwn 0, Xwn Xwn 1 1, . . .

wn
. . . , Xw2 Xw1 1, Xw1 1 P Xt n
w1
n
w1
wn
t wn
w2 w1
wn wn
w2
w1 e
w1
n! tn .
wn
n! wn
wn
wn
w2
w1
wn
w1 e
n!
w1 w1 tn
Observe que bajo el signo de derivada, la probabilidad del evento Xw1

1, Xw2
2, . . . , Xwn
n, Xt
n , que aparece en la primera igualdad, es
identica a la probabilidad de Xt Xwn 0, Xwn Xwn 1 1, . . . , Xw2
Xw1
1, Xw1
1 , pues si alguna de estas identidades (exceptuando la
primera) fuera distinta de uno, la derivada se anula. Observa ademas para
la u
ltima igualdad que es preferible llevar a cabo la derivacion en el orden
125
4.2. Definiciones alternativas
indicado, pues de esa forma las expresiones en parentesis van desapareciendo

sucesivamente.
!
La f
ormula anterior nos provee de un mecanismo para obtener simulaciones
por computadora de las trayectorias del proceso Poisson. El procedimiento
es el siguiente: se fija un valor t y se asigna un valor para . Se genera un
valor al azar de la variable Xt con distribucion Poisson t . Suponga que
n. A continuaci
on se generan n valores u1 , . . . , un de la distribucion
Xt
unif 0, t , y se ordenan estos valores de menor a mayor: u 1
un.
Estos son los tiempos en donde la trayectoria tiene saltos. De esta forma
pueden obtenerse trayectorias como la que se muestra en la Figura 4.2.
4.2.
Definiciones alternativas
La Definici
on 4.1 de proceso de Poisson es constructiva pues a partir de los
tiempos de interarribo se construye el proceso de conteo correspondiente.
Existen otras formas equivalentes y un tanto axiomaticas de definir a este
proceso. Revisaremos y comentaremos a continuacion dos de ellas. Una de
las ventajas de contar con estas definiciones alternativas es que para demostrar que un cierto proceso es de Poisson se puede tomar cualquiera de
las definiciones a conveniencia.
Definici
on 4.2 (Segunda definici
on) Un proceso de Poisson de par
ametro 0 es un proceso a tiempo continuo Xt : t 0 , con espacio de
estados 0, 1, . . . , y que cumple las siguientes propiedades:
a) X0
0.
b) Tiene incrementos independientes y estacionarios.

c) Para cualquier t
0, y cuando h
i) P Xt
Xt
ii) P Xt
Xt
oh.
0,
oh.
Esta definici
on hace uso de las probabilidades infinitesimales del proceso y
ello tiene algunas ventajas desde el punto de vista de la interpretacion de
lo que sucede en un intervalo infinitesimal de tiempo t, t h . El proceso
empieza en cero y por el tercer postulado la probabilidad de que pase al
126
estado uno al final de un intervalo de tiempo peque

no 0, h es h o h , la
probabilidad de que el proceso no tenga ning
un cambio en dicho intervalo
es 1 h o h , y finalmente la probabilidad de que el proceso tenga dos o
m
as incrementos en tal intervalo es o h . Es decir, en un intervalo cualquiera
de longitud infinitesimal h solo pueden ocurrir dos situaciones: que haya un
incremento o que no lo haya.
Ejemplo 4.4 Demostraremos que la variable Xt s Xs tiene distribuci
on
on 4.2. Se define pn t
Poisson t a partir de los postulados de la Definici
P Xt n y se considera cualquier h 0. Denotaremos por pn t, t h a
la probabilidad P Xt h Xt n . Por la hip
otesis de independencia, para
0,
t 0 y cuando h
p0 t
p0 t p0 t, t
p0 t 1
Haciendo h
oh .
0 se obtiene la ecuaci
on diferencial
p0 t
p0 t ,
cuya soluci
on es p0 t
c e t , en donde la constante c es uno por la condici
on inicial p0 0
1. Ahora encontraremos pn t para n 1. Nuevamente
por independencia,
pn t
pn t p0 t, t
pn t 1
Haciendo h
pn
t p1 t, t
oh
pn
pn t
pn
t h
oh
oh
oh.
0 se obtiene
pn t
t,
con condici
on inicial pn 0
0 para n
1. Definiendo qn t
et pn t
la ecuaci
on diferencial se transforma en qn t
qn 1 t , con condiciones
qn 0
0 y q0 t
1. Esta ecuaci
on se resuelve iterativamente primero para
t n n!
q1 t , despues para q2 t , y as sucesivamente, en general qn t
Por lo tanto,
pn t
e t t n n!
Esto significa que Xt tiene distribuci
on Poisson t . Debido al postulado de
incrementos estacionarios, la variable Xt s Xs tiene la misma distribuci
on
que Xt .
127
4.2. Definiciones alternativas
Definici
on 4.3 (Tercera definici
on) Un proceso de Poisson de par
ametro
0 es un proceso a tiempo continuo Xt : t 0 con espacio de estados
0, 1, . . . , con trayectorias no decrecientes y que cumple las siguientes propiedades:
a) X0
0.
b) Tiene incrementos independientes.

c) Xt s Xs Poisson t , para cualesquiera s
0, t
0.
Esta es posiblemente la definicion del proceso de Poisson que con mas frecuencia se puede encontrar en las referencias. A partir de ella inmediatamente sabemos que la variable Xt tiene distribucion Poisson t . La independencia de los incrementos es explcita, y la estacionariedad de los mismos aparece de manera implcita en el tercer postulado. Para demostrar
la equivalencia con la definicion 4.1, el reto consiste en definir los tiempos
de interarribo y demostrar que estos son variables aleatorias independientes
con distribuci
on exponencial .
Proposici
on 4.7 Las definiciones del proceso de Poisson 4.1, 4.2 y 4.3 son
equivalentes.
Def. 4.3 . El
Demostraci
on.
Hemos demostrado que Def. 4.2
recproco es inmediato, pues la propiedad de incrementos independientes
y estacionarios aparecen en ambas definiciones, y para cualquier t
0 y
h 0,
P Xt
Xt
1
1
P Xt
Xt
oh.
oh
An
alogamente
P Xt
Xt
1
1
P Xt
e
1
oh.
e
h
Xt
h
P Xt
oh
oh
Xt
128
Estos c
alculos y lo desarrollado antes demuestran que Def. 4.2
Def. 4.3 .
Tambien antes hemos demostrado que Def. 4.1
Def. 4.3 . Para deDef. 4.1 es necesario comprobar que los tiempos
mostrar Def. 4.3
de interarribo T1 , T2 , . . . son independientes con distribucion exp . Daremos una demostraci
on no completamente rigurosa de este resultado. Sean
t1 , . . . , tn
0 tiempos cualesquiera y sean t1 , . . . , tn las longitudes que
se muestran en la Figura 4.5.
t1
t1
t2
tn
t2
tn
Figura 4.5
La probabilidad de que T1 tome un valor en el intervalo t1 , T2 tome un
valor en el intervalo t2 , y as sucesivamente es
fT1 ,...,Tn t1 , . . . , tn t1
e
e
t1
t1
t1
tn
t2
t1 e
t2
Al hacer t1 , . . . , tn
tn
t2
t1
t2
tn e
tn
t1
tn
tn
tn
0 se obtiene
fT1 ,...,Tn t1 , . . . , tn
t1
t2
tn
Esto demuestra que las variables T1 , . . . , Tn son independientes y cada una

de ellas tiene distribuci
on exp . En conjunto esto demuestra que
Definici
on 4.1
Definicion 4.3
Definicion 4.2 .
!
Observe que la pregunta acerca de la existencia de un proceso estocastico

que cumpla los postulados de las Definiciones 4.2 o 4.3 queda resuelta al
verificar la equivalencia de tales postulados con la definicion constructiva
4.1. Presentaremos a continuacion algunas generalizaciones del proceso de
Poisson. Una de tales generalizaciones que estudiaremos con mayor detalle
en un captulo m
as adelante es aquella en la que se considera que las variables
4.3. Proceso de Poisson no homog

eneo
129
de interarribo no son necesariamente exponenciales, en tal caso se pierde

la propiedad de Markov del proceso. A este tipo de procesos se les llama
procesos de renovaci
on.
4.3.
Proceso de Poisson no homog

eneo
Se considera ahora que el parametro del proceso de Poisson no es necesariamente una constante sino una funcion del tiempo. A veces a este
proceso se le llama tambien proceso de Poisson con parametro dependiente
del tiempo. Este modelo puede ser naturalmente mas adecuado para algunas
situaciones reales aunque deja de cumplir la propiedad de Markov.
Definici
on 4.4 Un proceso de Poisson no homogeneo es un proceso a tiemametro
po continuo Xt : t 0 , con espacio de estados 0, 1, . . . , con par
la funci
on positiva y localmente integrable t , y que cumple las siguientes
propiedades:
a) X0 0.
b) Los incrementos son independientes.
c) Para cualquier t 0, y cuando h
0,
i) P Xt
Xt
t h
ii) P Xt
Xt
oh.
oh.
Comparando esta definici

on con la Definicion 4.2 de proceso de Poisson se
observa mucha similaridad excepto por dos aspectos: en lugar de la constante
se escribe ahora la funci
on t , y la hipotesis de incrementos estacionarios
ya no aparece. Ello es consecuencia de que el parametro vara con el tiempo,
generalmente de manera decreciente. Es decir, la distribucion de probabilidad de la variable incremento Xt s Xs depende de los valores de la funcion
en el intervalo s, s t . Sin embargo, y en completa analoga con el caso
homogeneo, la variable Xt contin
ua teniendo distribucion Poisson, como a
continuaci
on demostraremos.
Proposici
on 4.8 La variable Xt en un proceso de Poisson no homogeneo
on Poisson t , en donde se define
de par
ametro t tiene distribuci
t
s ds,
0
130
es decir, para n
0, 1, . . .
P Xt
t
n!
Demostraci
on. La prueba es analoga a una de las realizadas en el caso homogeneo. Se define nuevamente pn t
P Xt n y se considera cualquier
n.
h 0. Denotaremos por pn t, t h a la probabilidad P Xt h Xt
Por la hip
otesis de independencia, para t 0 y cuando h
0,
p0 t
p0 t p0 t, t
p0 t 1
th
oh .
Calculando la derivada se obtiene la ecuacion diferencial p0 t

t p0 t ,
c e t , en donde la constante c es uno debido a
cuya soluci
on es p0 t
la condici
on inicial p0 0
1. Ahora encontraremos pn t para n
1.
Nuevamente por independencia,
pn t
pn t p0 t, t
pn t 1
pn
th
oh
t p1 t, t
pn
oh
t th
oh
oh.
t pn t
t pn 1 t , con condicion inicial pn 0
0
Entonces pn t
t
1. Definiendo qn t
e pn t la ecuacion diferencial se transpara n
forma en qn t
t qn 1 t , con condiciones qn 0
0 y q0 t
1. Esta
ecuaci
on se resuelve iterativamente primero para q1 t , despues para q2 t , y
as sucesivamente, en general qn t
t n n! y de aqu se obtiene pn t .
!
Las trayectorias de un proceso de Poisson no homogeneo son semejantes
a las trayectorias de un proceso de Poisson, es decir, son trayectorias no
decrecientes y con saltos unitarios hacia arriba, pero la frecuencia promedio
con la que aparecen los saltos cambia a lo largo del tiempo. De manera
an
aloga al caso homogeneo, los incrementos de este proceso tambien tienen
distribuci
on Poisson.
Proposici
on 4.9 Para el proceso de Poisson no homogeneo, la variable
on Poisson t s
s .
incremento Xt s Xs tiene distribuci
4.3. Proceso de Poisson no homog

eneo
131
Demostraci
on. Se escribe Xt s
Xs
Xt s Xs , en donde, por el
axioma de incrementos independientes, en el lado derecho aparece la suma
de dos variables aleatorias independientes. Recordando que la funcion geneexp er 1 ,
radora de momentos de la distribucion Poisson es M r
al aplicar este resultado a la ecuacion anterior se obtiene
s er
exp t
Por lo tanto, MXt
Xs
exp s er
exp t
1 MXt
er
Xs
1 .
r .
!
Si la funci
on t es constante igual a , entonces t
t, y se recupera
el proceso de Poisson homogeneo. Cuando t es continua, t es diferenciable y por lo tanto t
t . A la funcion t se le llama funcion de
intensidad y a t se le conoce como funcion de valor medio. A un proceso
de Poisson no homogeneo en donde t : t 0 es un proceso estocastico
se le llama proceso de Cox.
El siguiente resultado establece que bajo una transformacion del parametro
tiempo, un proceso de Poisson no homogeneo puede ser llevado a un proceso
de Poisson homogeneo de parametro uno. Antes de demostrar este resultado
t es positiva, la funcion de intensiobservemos que como la funcion t
dad t es continua y no decreciente, y en general no es invertible. Puede
definirse, sin embargo, la inversa por la derecha
que cumple la identidad

creciente.
nf u
0: u
t, y que es una funcion continua y
t ,
Proposici
on 4.10 Sea Xt : t 0 un proceso de Poisson no homogeneo
t
on de intensidad t
de par
ametro t , y funci
0 s ds. Defina la
funci
on
1 t
nf u 0 : u
t .
Entonces el proceso X
de par
ametro 1.
:t
0 es un proceso de Poisson homogeneo
Demostraci
on. Usaremos la Definicion 4.3 del proceso de Poisson. El
proceso X 1 t : t 0 empieza en cero y tiene incrementos independient1
t2
tn ,
tes, pues si se consideran cualesquiera tiempos 0
132
bajo la funci
on creciente 1 t estos tiempos se transforman en una nueva
colecci
on mon
otona de tiempos
0
t1
t2
tn .
Por lo tanto las siguientes variables son independientes

X
t1
, X
t2
t1
, . . . , X
tn
tn
Finalmente, para cualesquiera tiempos s, t

0 el incremento X
X 1 s tiene distribuci
on Poisson de parametro
t s
t.
!
Pueden definirse los tiempos de interarribo T1 , T2 , . . ., y los tiempos de saltos

W1 , W2 , . . . para un proceso de Poisson no homogeneo de manera analoga
al caso homogeneo. Por hipotesis los incrementos de este proceso son independientes, sin embargo, debido a que el parametro t es una funcion del
tiempo, los tiempos de interarribo T1 , T2 , . . . no son independientes pues,
por ejemplo, T2 depende de t para valores de t mayores a T1 . Y por las
mismas razones las distribuciones de estas variables no son identicas.
4.4.
Proceso de Poisson compuesto
Esta es una de las generalizaciones del proceso de Poisson m

as conocidas y
de amplia aplicaci
on. La generalizacion consiste en que ahora los saltos ya
no son necesariamente unitarios.
Definici
on 4.5 Sea Nt : t 0 un proceso de Poisson y sea Y1 , Y2 , . . . una
sucesi
on de variables aleatorias independientes, identicamente distribuidas
e independientes del proceso Poisson. Sea Y0
compuesto se define de la siguiente forma:
Nt
Yn .
Xt
n 0
(4.3)
133
4.4. Proceso de Poisson compuesto
Observe que la variable Xt del proceso de Poisson compuesto es una suma

de variables aleatorias en donde el n
umero de sumandos es aleatorio. Tal
tipo de modelos encuentra aplicacion natural en distintos contextos. Por
ejemplo, la variable Xt puede interpretarse como el monto total de reclamaciones recibidas por una compa
na aseguradora al tiempo t. El proceso de Poisson determina el n
umero de siniestros o reclamaciones efectuadas hasta un momento cualquiera. La variable Yn representa el mon0, para n
1.
to de la n-esima reclamacion y es natural suponer Yn
En la Figura 4.6 se muestra una
trayectoria de este proceso y en el
Xt
siguiente resultado se presentan algunas de sus propiedades basicas.
Y3
Este proceso es un ejemplo de proY2
ceso de Markov a tiempo continuo
Y1
como los que estudiaremos en el sit
guiente captulo. Cuando las variables Y1 , Y2 , . . . toman valores en el
Figura 4.6
conjunto 1, 2, . . . se dice que este
proceso es un proceso de Poisson
generalizado, pues los saltos ya no son necesariamente unitarios. Observe
que si las variables Y1 , Y2 , . . . son todas identicamente uno, el proceso de
Poisson compuesto se reduce al proceso de Poisson.
Proposici
on 4.11 El proceso de Poisson compuesto (4.3) cumple las siguientes propiedades:
1. Tiene incrementos independientes y estacionarios.
2. E Xt
tE Y .
3. Var Xt
4. Cov Xt , Xs
tE Y 2 .
E Y 2 mn s, t .
5. La funci
on generadora de momentos de la variable Xt es
MXt u
E euXt
exp t MY u
1 .
Estos resultados se obtienen condicionando sobre el valor de Nt . En el ejercicio 135 se pide dar los detalles de estas demostraciones.
134
4.5.
Proceso de Poisson mixto
En esta generalizaci
on del proceso de Poisson se considera que el parametro
no es constante sino una variable aleatoria.
Definici
on 4.6 Sea una variable aleatoria positiva con funci
on de distribuci
on F . Se dice que el proceso de conteo Xt : t 0 es un proceso
1, y
de Poisson mixto con variable mezclante si para cada entero n
cada sucesi
on de enteros no negativos k1 , . . . , kn , y cualesquiera tiempos
0 a 1 b1 a 2 b2
an bn se cumple la igualdad
P Xb1
Xa1
k1 , Xb2
Xa2
n
k2 , . . . , Xbn
bi
i 1
ai
ki !
ki
Xan
bi ai
kn
dF .
(4.4)
Cuando la variable aleatoria mezclante es constante e igual a , el proceso

de Poisson mixto se reduce al proceso de Poisson.
Proposici
on 4.12 El proceso de Poisson mixto cumple las siguientes propiedades.
1. Tiene incrementos estacionarios.
2. En general los incrementos no son independientes. Lo son en el caso
del proceso de Poisson.
3. E Xt
tE .
4. Var Xt
5. Cov Xt , Xt
t2 Var
s
Xt
tE .
st Var ,
s, t
0.
Estas propiedades se obtienen condicionando sobre el valor de la variable

aleatoria y sus demostraciones se dejan como ejercicio al lector.
Notas y referencias. El estudio del proceso de Poisson generalmente se
incluye en los cursos elementales de procesos estocasticos. La mayora de los
textos sobre procesos estocasticos que aparecen en la bibliografa cuentan
por lo menos con una seccion sobre este tema. Algunos textos especficos que
dedican un captulo entero para el proceso de Poisson y que el lector puede
135
4.6. Ejercicios
consultar para profundizar en el tema son: Basu [1], Jones y Smith [15], y
Taylor y Karlin [35]. El lector puede encontrar otros resultados generales
sobre el proceso de Poisson en el captulo sobre procesos de renovacion, en
el caso particular cuando los tiempos de interarribo son exponenciales.
4.6.
Ejercicios
Proceso de Poisson
103. Los clientes de una tienda entran al establecimiento de acuerdo a un

proceso de Poisson Xt : t 0 de parametro 4. Calcule:
a) P X2
1.
b) P X1
3, X2
c) P X1
0 X3
d) P X2
4 X1
6.
e) P X2
3.
4.
f) P X1
4 X1
2.
2.
104. Los pasajeros llegan a una parada de autob

us de acuerdo a un proceso
de Poisson Xt : t
0 de parametro
2. Sea el momento
en el que llega el primer autob
us. Suponga que es una variable
aleatoria con distribucion unif 0, 1 e independiente del proceso de
Poisson. Calcule:
a) E X
t.
b) E X .
c) E X2
t.
d) Var X .
105. Sea Xt : t 0 un proceso de Poisson de parametro

el instante en el que ocurre el n-esimo evento. Calcule:
a) E X5 .
b) E X5 X2
c) E W2 .
1.
d) E W7 X2
3.
e) E W7 W5
4.
2. Sea Wn
f) E W7 .
106. Simulaci
on de la distribuci
on exponencial. Demuestre que si X es
una variable aleatoria con distribucion unif 0, 1 , entonces la variable
136
aleatoria Y
1 ln 1 X tiene distribucion exp . Este resultado puede ser usado para generar valores de la distribucion exp a
partir de valores de la distribucion unif 0, 1 .
107. Simulaci
on de la distribuci
on Poisson. Sea T1 , T2 , . . . una sucesion de
variables aleatorias independientes con identica distribucion exp .
Defina la variable aleatoria N de la siguiente forma:
0
k
si T1
si T1
1,
1
Tk
T1
Tk
1.
Demuestre que N tiene distribucion Poisson . Este resultado puede

ser usado para obtener valores de la distribucion Poisson.
108. Sean T1 , . . . , Tn variables aleatorias independientes cada una con disT1
Tn tiene
tribuci
on exp . Demuestre que la suma Wn
distribuci
on gama n, y que la correspondiente funcion de distribuci
on puede escribirse de la siguiente forma: para cada t 0,
P Wn
k n
t k
.
k!
109. Sea Xt : t 0 un proceso de Poisson de parametro 1, e independiente de una variable aleatoria con distribucion exp con 1.
Defina el proceso Yt Xt . Demuestre los siguientes dos resultados y
concluya que las variables Yt y Yt s Yt no son independientes.
1
t n
a) P Yt n
, para n 0, 1, . . .
1 t 1 t
n m n m
1
n m 1
b) P Yt n, Yt s n m
t s
.
n
1 t s
0 un proceso de Poisson de parametro . Demuestre
110. Sea Xt : t
los siguientes resultados de manera sucesiva.
a) W1
b) P W1
t1 , W2
t1 , W2
c) fW1 ,W2 t1 , t2
t2
0, Xt2
Xt1
t2
2 e
t2 ,
t1
para 0
0 o 1 .
Xt1
t2
t1
t1 e
t2 .
t2 t1
137
4.6. Ejercicios
t1 .
d) fW1 t1
e) fW2 t2
2 t1 e
t1 .
f) Las variables T1
W1 y T2
W1 son independientes.
W2
111. Sea Xt : t 0 proceso de Poisson de parametro . Sean s y t dos

tiempos tales que 0 s t. Demuestre que:
a) P Xs
0, Xt
b) P Xs
Xt
1
e
t
t s
se
t .
112. Para un proceso de Poisson Xt : t

0 de parametro demuestre
que
mn s, t .
Cov Xt , Xs
113. Las funciones seno y coseno hiperbolico se definen de la siguiente forma:
senh x
ex
cosh x
Para un proceso de Poisson Xt : t

que:
a) P Xt sea impar
b) P Xt sea par
e
e
t senh
t cosh
2,
2.
0 de parametro demuestre
t .
t .
114. Sea Xt : t 0 un proceso de Poisson de parametro , y sea s 0

Xt s Xs : t
0
un tiempo fijo. Demuestre que el proceso Yt
tambien es un proceso de Poisson de parametro . En la Figura 4.3
en la p
agina 118 se ilustra graficamente la definicion de este nuevo
proceso.
115. Sea Xt : t
que:
138
a) fW1 ,W2 w1 , w2
b) fW1
W2
w1 w2
c) fW2
W1
w2 w1
2 e
w2
si 0
w1
otro caso.
1 w2
si w1
otro caso.
w2 ,
w2 w1
0, w2 ,
si w2
w1 ,
otro caso.
0 un proceso de Poisson de parametro . Sea T una

116. Sea Xt : t
variable aleatoria con distribucion exp e independiente del proceso
de Poisson. Encuentre la funcion de densidad de la variable XT .
0 un proceso de Poisson de parametro . Sean r y n
117. Sea Xt : t
dos enteros tales que 1 r n, y sea t 0. Suponga que el evento
Xt n ocurre. Encuentre la densidad condicional de Wr .
118. Sean X1 t : t
0 y X2 t : t
0 dos procesos de Poisson
independientes con parametros 1 y 2 respectivamente. Calcule la
probabilidad de que:
a) X1 t
1 antes que X2 t
1.
b) X1 t
2 antes que X2 t
2.
119. Suponga que un cierto aparato electrico sufre desperfectos a lo largo

del tiempo de acuerdo a un proceso de Poisson de parametro . Suponga que cada vez que el aparato se descompone es enviado a reparacion
y despues es puesto en funcionamiento nuevamente. Suponga ademas
que el aparato se reemplaza completamente por uno nuevo cuando el
tiempo que transcurre entre dos descomposturas sucesivas es menor o
igual a una cierta constante a 0, incluyendo el tiempo antes de la
primera reparaci
on. Encuentre la funcion de densidad del
a) Tiempo de vida u
til del equipo antes de ser reemplazado.
b) N
umero de reparaciones antes de realizar el reemplazo.
120. Suponga que un cierto circuito recibe impulsos electricos de acuerdo a
un proceso de Poisson de parametro . Suponga ademas que el circuito
139
4.6. Ejercicios
se descompone al recibir el k-esimo impulso. Encuentre la funcion de

densidad del tiempo de vida del circuito.
1
121. Sean Xt : t 0 , . . . , Xt : t 0 procesos de Poisson independientes, todos de parametro . Encuentre la distribucion de probabilidad del primer momento en el cual:
a) Ha ocurrido en cada uno de los procesos al menos un evento.
b) Ocurre el primer evento en cualquiera de los procesos.
1
122. Sean Xt : t
0 y Xt : t
0 dos procesos de Poisson independientes con par
ametros 1 y 2 , respectivamente. Sea n cualquier
n
umero natural, y defina el tiempo aleatorio
nf t
Demuestre que X
para k 0, 1, . . .
P X
0 : Xt
n .
tiene distribucion binomial negativa, es decir,

n
k
k
1
1
2
1
123. Sea Xt : t 0 un proceso de Poisson de parametro , y sea a 0

una constante. Demuestre que Xat : t 0 es un proceso de Poisson
de par
ametro a.
124. Sea Xt : t
que, condicionado a que el proceso tiene exactamente un salto en el
intervalo s, s t , el momento en el que ese salto ocurre se distribuye
de manera uniforme en dicho intervalo.
125. Suponga que los mensajes llegan a una cierta cuenta de correo electr
onico de acuerdo a un proceso de Poisson de parametro . Cada
mensaje recibido es de tipo basura con probabilidad y no basura con probabilidad 1 .
a) Dado que hasta el tiempo t ha llegado n mensajes, encuentre la
distribuci
on del n
umero de mensajes tipo basura que hasta ese
momento han llegado.
140
b) Suponiendo que se recibe un mensaje tipo basura en alg
un
momento, encuentre la distribucion del n
umero total de mensajes
recibidos hasta la llegada del siguiente mensaje tipo basura.
c) Encuentre la probabilidad de que al tiempo t hayan llegado mas
mensajes tipo basura que no basura.
126. Sean T1 , T2 , . . . los tiempos de interarribo de un proceso de Poisson de

par
ametro , y sea c una constante positiva. Defina N mn n 1 :
Tn c . Calcule E WN 1 c .
127. Suma de procesos de Poisson. Usando la Definicion 4.3, demuestre que
la suma de dos procesos de Poisson independientes es nuevamente un
proceso de Poisson.
los momen128. Procesos de Poisson marcados. Sean 0 W1 W2
tos en los que un proceso de Poisson Xt : t 0 tiene saltos, y sea
Y1 , Y2 , . . . una sucesion de v.a.i.i.d. e independientes del proceso de
Poisson. Al proceso W1 , Y1 , W2 , Y2 , . . . se le llama proceso de Poisson marcado. Considere el caso particular cuando las v.a.s Y tienen
distribuci
on com
un Ber p y defina los procesos:
Xt
X0 t
Yk
k 1
Xt
X1 t
Yk .
k 1
Demuestre que los procesos X0 t : t

0 y X1 t : t
0 son
procesos de Poisson y que para cada t 0, las variables X0 t y X1 t
son independientes. Nota: se define ba 0 cuando a b.
129. Sea Xt : t 0 un proceso de Poisson de parametro . Suponga que
cada evento registrado es de tipo 1 con probabilidad , o de tipo 2
1
con probabilidad 1 . Sea Xt el n
umero de eventos del tipo 1 al
2
tiempo t, y sea Xt lo correspondiente a eventos del tipo 2. Estos son
ejemplos de los as llamados procesos de Poisson marcados.
1
a) Demuestre que Xt : t
0 y Xt : t
0 son procesos de
Poisson de par
ametros y 1 respectivamente.
141
4.6. Ejercicios
b) Demuestre que para cada t
2
Xt son independientes.
0 las variables aleatorias Xt
Distribuciones asociadas al proceso de Poisson

130. Sea t0 un tiempo positivo fijo y suponga que hasta ese momento se ha
observado un solo evento de un proceso de Poisson, es decir, Xt0 1.
La pregunta es cu
ando ocurrio tal evento? Demuestre que, condicionado al evento Xt0 1 , la distribucion del momento en el que se
ha registrado el evento es uniforme en el intervalo 0, t0 .
131. Sea Xt : t
0 un proceso Poisson de tasa y sean dos tiempos
s
t. Defina la variable X s,t como el n
umero de eventos del
0
proceso de Poisson que ocurren en el intervalo s, t . Demuestre que,
condicionada a la ocurrencia del evento Xt
n , la variable X s,t
tiene distribuci
on binomial n, 1 s t .
132. Sea Xt : t 0 un proceso de Poisson de parametro . Suponga que
para un tiempo fijo t 0 se observa el evento Xt n , con n 1.
a) Demuestre que la funcion de densidad del momento en el que
ocurre el k-esimo evento 1
k
n , condicionada al evento
Xt n , es la siguiente: para s 0, t ,
fWk
Xt
s n
n k
k t
s
t
k 1
s
t
n k
b) Demuestre que la funcion de densidad condicional del cociente

Wk t, dado el evento Xt n , es la densidad beta k, n k 1 .
c) Encuentre nuevamente la funcion de densidad gama k, de la
variable Wk efectuando la siguiente suma
fWk
Xt
s n P Xt
n.
n k
133. Sea Xt : t 0 un proceso de Poisson de parametro , y sean s1 , s2

s2 t. Demuestre que, condicionada
y t tiempos tales que 0 s1
al evento Xt n , la variable Xs2 Xs1 tiene distribucion bin n, p
con p
s2 s1 t.
142
Proceso de Poisson no homog
eneo
134. Sea Xt : t
0 un proceso Poisson no homogeneo de intensidad
t , sean T1 , T2 , . . . los tiempos de interarribo, y sean W1 , W2 , . . . los
tiempos reales de ocurrencia. Demuestre que para cualquier t 0,
a) fT1 t
t.
b) fT2 T1 t s
t s
c) fT2 t
t s
s.
s s ds.
d) fWn t
e) FTk Wk
f) FTk t
e
1
t n 1
t.
n 1!
ts
1
e
0
t s
t s
s k 2
s ds, k
k 2!
2.
Proceso de Poisson compuesto

135. Demuestre las propiedades del proceso Poisson compuesto que aparecen en la Proposici
on 4.11.
136. Suponga que las variables Y1 , Y2 , . . . en un proceso de Poisson compuesto tienen distribucion com
un Ber p . Demuestre que el proceso se
reduce al proceso de Poisson de parametro p.
137. Suponga que los sumandos de un proceso de Poisson compuesto Xt :
t
0 de par
ametro tienen distribucion exp . Encuentre la distribuci
on de la variable Xt .
0 un proceso de Poisson compuesto de parametro .
138. Sea Xt : t
Suponga que cada uno de los sumandos de este proceso es constante
igual a k N. Encuentre la distribucion de Xt .
139. Suponga que los usuarios de cuentas de correo electronico solicitan
acceso al servidor de acuerdo a un proceso de Poisson homogeneo de
par
ametro . Suponga ademas que cada usuario se mantiene conectado
al servidor un tiempo aleatorio con funcion de distribuci
on F x , e
143
4.6. Ejercicios
independiente uno del otro. Sea Ct el n

umero de usuarios conectados
al servidor tiempo al t, y defina la funcion
t
F x dx.
Demuestre que para k

P Ct
0,
k
t
k!
Proceso de Poisson mixto

140. Demuestre las propiedades del proceso de poisson mixto que aparecen
en la Proposici
on 4.12.
141. Para un proceso de Poisson mixto Xt : t
, demuestre que para 0 s t,
Cov Xs , Xt
st E
0 con variable mezclante

t Var .
144
Captulo 5
Cadenas de Markov
a tiempo continuo
Vamos a estudiar ahora cadenas de Markov en donde el tiempo es continuo
y las variables toman valores enteros. Consideremos un proceso a tiempo
continuo Xt : t 0 que
inicia en un estado i1 al
tiempo cero. El proceso
Xt
permanece en ese estado
un tiempo aleatorio Ti1 , y
i4
despues salta a un nuei2
vo estado i2 distinto del
i1
anterior. El sistema peri3
manece ahora en el estat
do i2 un tiempo aleatorio
Ti2
Ti1
Ti3
Ti4
Ti2 al cabo del cual brinca a otro estado i3 distinto del inmediato anterior,
Figura 5.1
y as sucesivamente. Esta
sucesi
on de saltos se muestra gr
aficamente en la Figura 5.1. Los tiempos aleatorios T son los tiempos
en los que el proceso permanece constante en alguno de sus estados, y se
llaman tiempos de estancia (passage times). Los momentos en donde el proceso tiene saltos son los tiempos Wn Ti1
Tin , para n 1. El proceso
145
146
puede entonces escribirse en la forma siguiente:

i1 si 0 t W1 ,
i2 si W1 t W2 ,
i3 si W2 t W3 ,
..
.
Xt
A un proceso de estas caractersticas se llama proceso de saltos, y parece ser

una buena versi
on continua de las cadenas de Markov a tiempo discreto. Sin
embargo, puede comprobarse que el proceso as especificado puede no estar
definido para todo tiempo t 0, y tampoco hay garanta de que se cumpla la
propiedad de Markov. Explicaremos a continuacion algunas condiciones que
impondremos a los procesos de saltos particulares que estudiaremos en este
captulo. Puede suceder que los tiempos de estancia T sean cada vez mas
Wn
, es decir, existe la posibilidad
peque
nos de tal forma que lmn
de que el proceso efect
ue un n
umero infinito de saltos durante un intervalo
de tiempo acotado. En tal situacion el proceso no estara bien definido para
todo tiempo t 0, y se dice entonces que el proceso explota en un tiempo
finito. Para evitar tal comportamiento supondremos que
c.s.
lm Wn
y por lo tanto, para cada t 0, el valor de Xt es finito, c.s. Por otro lado, sin
perdida de generalidad supondremos que el espacio de estados es el conjunto
S
0, 1, . . .
y que el tiempo de estancia asociado el estado i es la variable aleatoria Ti ,

la cual supondremos positiva con funcion de distribucion Fi t . Como en el
caso de cadenas a tiempo discreto, se denotara por pij a la probabilidad de
que la cadena pase del estado i al estado j al efectuar un salto. Adicionalmente impondremos la condicion pii
0, y con ello se imposibilita que la
cadena salte al mismo estado de partida. Las probabilidades de saltos deben
entonces satisfacer las siguientes condiciones:
a) pij
0.
b) pii
0.
147
c)
pij
1.
En forma de matriz, las probabilidades de saltos constituyen una matriz

estoc
astica de la siguiente forma:
0 p01 p02
p10 0 p12
p20 p21 0
..
..
..
.
.
.
Supondremos adem
as que los tiempos de estancia Ti1 , Ti2 , . . . son independientes entre s, y tambien son independientes del mecanismo mediante el
cual se escoge el estado j al cual la cadena salta despues de estar en cualquier otro estado i. Mas a
un, supondremos que cada variable Ti es finita
con probabilidad uno, o bien, es infinita con probabilidad uno. En el primer
caso se dice que el estado i es no absorbente, y en el segundo caso que es
se interpreta en el sentido de que el
absorbente. El hecho de que Ti
proceso deja de saltar y permanece en el estado i el resto del tiempo, es
decir, el estado i es absorbente. Estamos entonces suponiendo que solo hay
dos tipos de estados: absorbentes o no absorbentes. En otras palabras, con
probabilidad uno el tiempo de estancia es finito o con probabilidad uno es
infinito. Por otra parte, un resultado no trivial establece que
Un proceso de las caractersticas arriba especificadas satisface la
propiedad de Markov si, y solo si, los tiempos de estancia en los
estados no absorbentes tienen distribucion exponencial.
Este es un resultado importante cuya demostracion omitiremos y que simplifica dr
asticamente el modelo general planteado. Como deseamos estudiar
procesos de saltos que cumplan la propiedad de Markov, pues tal propiedad
ayuda a calcular probabilidades con cierta facilidad, tendremos que suponer entonces que el tiempo de estancia en un estado no absorbente i tiene
distribuci
on exp i , con i 0, es decir,
Fi t
i t
para t
0.
Observe que puede considerarse que i

0 en el caso cuando Ti
.
Usando la misma notaci
on que en el caso de tiempos discretos, recordemos
148
que el termino p xt significa P Xt

xt . La propiedad de Markov que
consideraremos tiene la siguiente forma: para cualesquiera tiempos 0 t1
t2
tn ,
p xtn xtn 1 .
p xtn xt1 , . . . , xtn 1
Observe que no estamos suponiendo que se conoce la historia del proceso en
todo el pasado a tiempo continuo, sino u
nicamente en una coleccion arbitraria pero finita de tiempos pasados t1 , . . . , tn 1 . Supondremos nuevamente
que estas probabilidades de transicion son estacionarias en el tiempo, esto
significa que para cada s 0 y t 0, la probabilidad P Xt s j Xs i
es identica a P Xt j X0 i , es decir, no hay dependencia del valor de s.
Esta probabilidad se escribe de manera breve mediante la expresion pij t ,
para i y j enteros no negativos. Es decir,
pij t
P Xt
j Xs
P Xt
j X0
i.
En particular para t 0 se define nuevamente pij 0 como la funcion delta

de Kronecker, es decir,
pij 0
ij
1 si i
0 si i
j,
j.
Haciendo variar los ndices i y j en el espacio de estados se obtiene la matriz

de probabilidades de transicion al tiempo t, que denotaremos por Pt y en
ocasiones se escribe tambien como P t :
Pt
pij t
p00 t
p10 t
..
.
p01 t
p11 t
..
.
Puede demostrarse que cuando el espacio de estados es finito, esta matriz

es siempre estoc
astica, es decir, los elementos de cada renglon suman uno.
Sin embargo, existen ejemplos en el caso de espacios de estados infinito en
1. Esta
donde no se cumple tal propiedad, es decir, en general, j pij t
es una diferencia inesperada respecto del modelo a tiempo discreto.
Definici
on 5.1 A un proceso de saltos con las caractersticas y postulados
arriba se
nalados se le llama cadena de Markov a tiempo continuo.
149
Observe que en un proceso de Markov a tiempo continuo las probabilidades
de saltos pij y las probabilidades de transicion pij t representan aspectos
distintos del proceso. Las primeras son probabilidades de cambio al estado
j cuando el proceso se encuentra en el estado i y tiene un salto, mientras
que las segundas son probabilidades de encontrar al proceso en el estado j,
partiendo de i, al termino de un intervalo de tiempo de longitud t. Observe
adem
as que un proceso de Markov a tiempo continuo queda completamente
especificado por los siguientes tres elementos: una distribucion de probabilidad inicial en el espacio de estados, el conjunto de los parametros no
negativos i , y las probabilidades de saltos pij . En las siguientes secciones
estudiaremos algunas propiedades generales de los procesos arriba descritos
y revisaremos tambien algunos modelos particulares.
Ejemplo 5.1 (Proceso de Poisson) El proceso de Poisson es una cadena
de Markov a tiempo continuo que empieza en cero, es decir, la distribuci
on
de probabilidad inicial tiene el valor uno en el estado cero, los tiempos de
estancia son exponenciales de par
ametro y las probabilidades de saltos de
un estado a otro son
pij
1 si j
0 si j
i
i
1,
1.
Xt
1
t
exp
Figura 5.2
0 una
Ejemplo 5.2 (Cadena de primera ocurrencia) Sea Xt : t
cadena de Markov a tiempo continuo con espacio de estados 0, 1 . Suponga
que X0
0 y que el proceso cambia al estado 1 despues de un tiempo
aleatorio con distribuci
on exp , y permanece all el resto del tiempo. Una
150
posible trayectoria de este proceso se muestra en la Figura 5.2. Este proceso

modela la situaci
on de espera exponencial para la primera ocurrencia de un
evento de interes. Las probabilidades de transici
on son
P t
p00 t
p10 t
p01 t
p11 t
e
1
Xt
exp
exp
t
exp
exp
Figura 5.3
Ejemplo 5.3 (Cadena de dos estados) Considere el proceso Xt : t 0
con espacio de estados 0, 1 y definido por la siguiente din
amica: cuando
el proceso entra al estado 0 permanece en el un tiempo exp , y luego va al
estado 1, entonces permanece en el estado 1 un tiempo exp y despues regresa a 0, y as sucesivamente. Se postula adem
as que los tiempos de estancia
en cada estado son variables aleatorias independientes. Una trayectoria de
este proceso se muestra en la Figura 5.3. Para este proceso pueden encontrarse explcitamente las probabilidades de transici
on pij t . M
as adelante
demostraremos que para cualquier t 0,
p00 t
En consecuencia, por complemento o simetra,

p01 t
p11 t
p10 t
n
5.1. Probabilidades de transicio
151
En notaci
on matricial,
p00 t
p10 t
5.1.
p01 t
p11 t
on
Hemos mencionado antes que para una cadena de Markov a tiempo continuo
P Xt j X0 i .
las probabilidades de transicion son los n
umeros pij t
El problema que uno puede plantearse es encontrar una expresion para las
on pij t para cada par de estados i y j, y para cada
tiempo t 0. Este es un problema demasiado general y solo en algunos pocos
casos es posible encontrar explcitamente tales probabilidades. El siguiente
resultado, sin embargo, nos permitira obtener algunas conclusiones generales
acerca de estas funciones.
Proposici
on 5.1 Sean i y j dos estados. Para cualquier t
pij t
ij e
i t
i e
i t
ei s
pik pkj s
0,
(5.1)
ds.
k i
Demostraci
on. Si i es un estado absorbente, es decir, si i 0, entonces
ij , lo cual es evidente. Si,
la f
ormula de la proposici
on se reduce a pij t
en cambio, i no es un estado absorbente, entonces
pij t
P Xt
j X0
P Xt
j, Ti
ij e
ij e
i t
i t
i
t X0
P Xt
j, Ti
t X0
t
0
t
fXt ,Ti
0 k i
X0
j, u i du
fXt ,Xu ,Ti
X0
j, k, u i du,
en donde por la propiedad de Markov y la independencia,

fXt ,Xu ,Ti
X0
j, k, u i
f Xt
Xu ,Ti ,X0
f Xu
pkj t
Ti ,X0
j k, u, i
k u, i fTi
u pik i e
i u
X0
u i
152
Por lo tanto,
pij t
ij e
i t
i u
i e
pik pkj t
du.
k i
Haciendo el cambio de variable s u

resultado.
u en la integral se obtiene el
!
Las probabilidades de transicion satisfacen tambien una version continua de

la ecuaci
on de Chapman-Kolmogorov, que en este caso se conoce como la
propiedad de semigrupo.
Proposici
on 5.2 (Ecuaci
on de Chapman-Kolmogorov) Para cualquier
par de estados i y j, y para todo t 0 y s 0,
pij t
pik t pkj s .
s
k
En notaci
on matricial, Pt
Demostraci
on.
pij t
Pt Ps .
Por la propiedad de Markov,

P Xt
j X0
P Xt
j, Xt
k X0
P Xt
j Xt
k P Xt
k X0
pik t pkj s .
k
!
Por lo tanto, la colecci
on Pt : t 0 constituye un semigrupo de matrices,
esto quiere decir que cumple las siguientes propiedades:
a) P0
b) Pt
I, en donde I es la matriz identidad.

s
Pt Ps , para cualesquiera t, s
0.
Por otro lado, observemos que la ecuacion de Chapman-Kolmogorov es muy
153
5.2. El generador infinitesimal
interesante pues permite expresar a las probabilidades de transicion pij t ,

para cualquier tiempo t 0, en terminos de probabilidades infinitesimales,
es decir, probabilidades de transicion en intervalos de tiempo de longitud
muy peque
na. Por ejemplo, para cualquier n natural se puede escribir
pij t
pi,k1 t n pk1 ,k2 t n

k1 ,...,kn
pkn
1 ,j
t n.
Esto quiere decir que es suficiente conocer el comportamiento de pij t en

tiempos t peque
nos para conocer su comportamiento para cualquier t 0.
Especificaremos con detalle este resultado mas adelante.
5.2.
El generador infinitesimal
De la f
ormula general (5.1) es inmediato observar que las probabilidades de
transici
on pij t de una cadena de Markov a tiempo continuo son funciones
continuas en t, y en particular el integrando en (5.1) es una funcion continua.
Esto implica que la integral es diferenciable y por lo tanto la funcion t
pij t tambien es diferenciable, con derivada como se indica a continuacion.
Proposici
on 5.3 Para cualquier par de estados i y j, y para cualquier
t 0,
pij t
i pij t
pik pkj t .
(5.2)
k i
Demostraci
on. Derivando directamente la identidad (5.1) se obtiene la
expresi
on anunciada.
!
La ecuaci
on (5.2) constituye todo un sistema de ecuaciones diferenciales
para las probabilidades de transicion pij t , en donde, como se indica en la
f
ormula, la derivada pij t puede depender de todas las probabilidades de
transici
on de la forma pkj t para k i. Observe que la derivada pij t es
0, se
una funci
on continua del tiempo. Tomando ahora el lmite cuando t
154
tiene que
pij 0
i ij
i ij
i pij
pik kj
k i
i
si i
i pij si i
j,
j.
Definici
on 5.2 A las cantidades pij 0 se les denota por gij , y se les conoce
con el nombre de par
ametros infinitesimales del proceso. Es decir, estos
par
ametros son
i
si i j,
(5.3)
gij
i pij si i j.
Haciendo variar los ndices i y j, estos nuevos par
ametros conforman una
matriz G llamada el generador infinitesimal del proceso de Markov, es decir,
0
1 p10
2 p20
..
.
0 p01
1
2 p21
..
.
0 p02
1 p12
2
..
.
(5.4)
Esta matriz determina de manera u

nica el comportamiento de la cadena
de Markov a tiempo continuo, y es el concepto equivalente a la matriz de
on en un paso para cadenas a tiempo discreto. Se
trata de una matriz con las siguientes propiedades:
a) gij
0,
b) gii
0.
c)
gij
si i
j.
0.
La demostraci
on de estas afirmaciones se sigue de la ecuaci
on (5.3), en
particular la u
ltima propiedad se obtiene a partir del hecho de que pii 0
pues,
gij
i
i pij
i i 1 pii
0.
j
j i
Observe que la situaci

on cuando gii
i es absorbente, es decir, cuando i
0 corresponde al caso cuando el estado

0.
155
5.2. El generador infinitesimal
Ejemplo 5.4 El generador infinitesimal para el proceso de Poisson de par

ametro es
0
0
..
.
0
..
.
0 0
0

..
.
(5.5)
Ejemplo 5.5 El generador infinitesimal para la cadena de Markov de dos

estados del Ejemplo 5.3 es
(5.6)
Demostraremos a continuacion que el generador infinitesimal caracteriza de

manera u
nica a la cadena de Markov. As, a esta misma matriz se le llama
a veces cadena de Markov a tiempo continuo.
Proposici
on 5.4 El generador infinitesimal determina de manera u
nica a
la cadena de Markov a tiempo continuo.
Demostraci
on. Este resultado es consecuencia de la igualdad (5.3), pues
a partir del generador G
gij se obtienen los parametros iniciales que
definen a la cadena de Markov:
gii ,
0
si i
gij gii si i
i
y pij
j,
j.
(5.7)
!
Un proceso de Markov a tiempo continuo puede ser tambien definido a

partir del comportamiento de las probabilidades de transicion pij t cuando
t
0. Tales probabilidades se llaman a veces probabilidades infinitesimales,
y pueden expresarse en terminos de los parametros infinitesimales como
establece el siguiente resultado y del cual omitiremos su demostracion.
Proposici
on 5.5 Cuando t
1. pii t
gii t
ot.
0,
156
2. pij t
gij t
ot,
para i
j.
Observe que las dos f

ormulas de la proposicion anterior corresponden al
desarrollo de la serie de Taylor de la funcion pij t alrededor de cero hasta
el termino lineal.
5.3.
Ecuaciones de Kolmogorov
Ecuaciones retrospectivas
En terminos de los par
ametros infinitesimales, el sistema de ecuaciones diferenciales dado por la expresion (5.2) puede escribirse de la siguiente forma:
(5.8)
gik pkj t .
pij t
k
En terminos de matrices esta igualdad se escribe como sigue

P t
(5.9)
GP t .
Explcitamente,
p00 t
p10 t
..
.
p01 t
p11 t
..
.
0 0 p01
1 p10
1
..
..
.
.
p00 t
p10 t
..
.
p01 t
p11 t
..
.
A este sistema de ecuaciones diferenciales se le conoce como las ecuaciones

retrospectivas de Kolmogorov. Un poco mas adelante explicaremos el origen
de este nombre y daremos un mecanismo para recordar la escritura exacta
de este sistema de ecuaciones para una cadena de Markov particular: los
procesos de nacimiento y muerte.
Ejemplo 5.6 (Proceso de Poisson) El sistema de ecuaciones retrospectivas de Kolmogorov para el proceso de Poisson de par
ametro est
a dado
por
pii t
pii t
pij t
pij t
pi
1,j
para i
j.
157
5.3. Ecuaciones de Kolmogorov

Y sabemos que la soluci
on es
pij t
t j i
j i!
para i
j.
Ejemplo 5.7 (Cadena de dos estados) El sistema de ecuaciones retrospectivas de Kolmogorov para la cadena de Markov de dos estados definida
en el Ejemplo 5.3 est
a dado por
p00 t
p00 t
p10 t ,
p01 t
p01 t
p11 t ,
p10 t
p10 t
p00 t ,
p11 t
p11 t
p01 t .
Resolveremos este sistema de ecuaciones y encontraremos las probabilidades de transici

on para esta cadena. Observe que el primer par de ecuaciones
est
an acopladas, y lo mismo se presenta con el segundo par de ecuaciones.
Estos dos sistemas de ecuaciones son independientes uno del otro y tienen
la misma forma aunque con par
ametros posiblemente distintos. Es suficiente
entonces resolver uno de estos dos sistemas para tambien conocer la soluet p00 t , y q10 t
et p10 t , el primer
ci
on del otro. Definiendo q00 t
sistema de ecuaciones se reduce y toma la siguiente forma
q00 t
q10 t
e
e
q10 t ,
q00 t .
Derivando la primera ecuaci

on e incorporando la segunda se obtiene la
ecuaci
on diferencial
q00 t
q00 t
q00 t
0,
1, y q00 0
. La ecuaci
on caraccon condiciones iniciales q00 0
2
terstica asociada a esta ecuaci
on de segundo orden es r
r 0,
y r2
. La soluci
on general es entonces de la
cuyas races son r1
forma
c1 er1 t c2 er2 t .
q00 t
158
Usando las condiciones iniciales se encuentra que c1

. De esta forma se llega a la soluci
on
p00 t
y c2
Tomando complemento se encuentra una expresi

on para p01 t . Por simetra
pueden obtenerse tambien las probabilidades p10 t y p11 t como aparecen
enunciadas en el Ejemplo 5.3.
Ecuaciones prospectivas
Al sistema de ecuaciones diferenciales dado por la igualdad P t
P t G se
le llama sistema de ecuaciones prospectivas de Kolmogorov. La diferencia
entre este sistema y el sistema retrospectivo mencionado antes es que el
orden de los factores en el lado derecho es distinto. Mas explcitamente, el
sistema prospectivo es el siguiente
pij t
(5.10)
pik t gkj .
k
En algunos casos los dos sistemas de ecuaciones son equivalentes y su soluci

on produce las mismas probabilidades de transicion pij t . En general, el
sistema retrospectivo es el que siempre se satisface como lo hemos demostrado, y no as para el sistema prospectivo. En la siguiente seccion estudiaremos
una cadena de Markov a tiempo continuo que es un tanto general y que lleva
el nombre de proceso de nacimiento y muerte. Para esta cadena en particular
y para todas sus simplificaciones tambien se cumple el sistema prospectivo
de ecuaciones diferenciales de Kolmogorov con algunas hip
otesis adicionales.
A partir de esta cadena explicaremos el origen de los terminos prospectivo
y retrospectivo. Antes de ello mostramos el sistema prospectivo para dos
ejemplos de cadenas de Markov.
Ejemplo 5.8 (Proceso de Poisson) El sistema de ecuaciones prospectivas de Kolmogorov para el proceso de Poisson de par
ametro est
a dado
por
pii t
pii t
pij t
pij t
pi,j
para i
j.
159
5.4. Procesos de nacimiento y muerte

Y sabemos que la soluci
on es
pij t
t j i
j i!
para i
j.
Ejemplo 5.9 (Cadena de dos estados) El sistema de ecuaciones prospectivas de Kolmogorov para la cadena de Markov de dos estados definida en
el Ejemplo 5.3 est
a dado por
p00 t
p00 t
p01 t ,
p01 t
p01 t
p00 t ,
p10 t
p10 t
p11 t ,
p11 t
p11 t
p10 t .
Puede comprobarse que su soluci

on es la que se muestra en el Ejemplo 5.3.
5.4.
Procesos de nacimiento y muerte
Un proceso de nacimiento y muerte es una cadena de Markov a tiempo

continuo con espacio de estados 0, 1, . . . y con generador infinitesimal dado
por
G
0
1
0
..
.
0
1 1
2
..
.
0
1
2
0
0
2
..
.
en donde 0 , 1 , . . . y 1 , 2 , . . . son constantes positivas conocidas como las

tasas instant
aneas de nacimiento y muerte, respectivamente. De acuerdo a lo
desarrollado antes, a partir de esta matriz podemos concluir que el tiempo
de estancia en cualquier estado i
0 tiene distribucion exp i i , en
donde se define 0
0. Las probabilidades de saltos de un estado a otro
son
i
si j i 1,
i i
i
(5.11)
pij
si j i 1,
i i
0
otro caso.
De este modo, un proceso de nacimiento y muerte permanece en cada uno
160
de sus estados un tiempo exponencial, al cabo del cual salta

Xt
una unidad hacia arriba o una
3
unidad hacia abajo de acuerdo
a las probabilidades arriba indi2
cadas. Un salto hacia arriba se
1
interpreta como un nacimiento,
mientras que un salto hacia abat
jo representa una muerte. Una
posible trayectoria de este proFigura 5.4
ceso se muestra en la Figura 5.4
con X0
0. La variable Xt
puede interpretarse como el n
umero de individuos en una poblacion al tiempo t, en donde pueden presentarse nacimientos y muertes de individuos, uno
0 y 0
0, la poblacion puede crecer cuando se ena la vez. Como 0
cuentre en el estado cero, pero nunca decrecer por abajo de ese nivel.
Otra manera alternativa de definir a los procesos de nacimiento y muerte es
a traves de los siguientes postulados:
a) Los incrementos son independientes y estacionarios
b) Las probabilidades de transicion son estacionarias, es decir,
pij t
Cuando h
P Xt
j Xs
i.
0,
c) pi,i
i h
oh,
para i
0.
d) pi,i
i h
oh,
para i
1.
i h
oh,
e) pi,i h
para i
0.
Como antes, las constantes 0 , 1 , . . . son parametros no negativos con 0 estrictamente positivo, y corresponden a las tasas de nacimiento, y 0 , 1 , 2 , . . .
son las tasas de muerte, con 0 0. No es una consecuencia que se pueda
obtener de manera inmediata pero con ayuda de estos postulados se puede
demostrar que el tiempo de estancia en cada estado i tiene distribucion exponencial de par
ametro i i , y que las probabilidades de saltos est
an
dadas por la expresi
on (5.11).
161
Ejemplo 5.10 Un proceso de Poisson es una cadena de nacimiento y muerte en donde las tasas instant
aneas de muerte 0 , 1 , . . . son cero, y las tasas
instant
aneas de nacimiento 0 , 1 , . . . son todas ellas iguales a una cons0. La matriz de par
ametros infinitesimales es entonces de la
tante
forma (5.5).
Ejemplo 5.11 Las ecuaciones prospectivas de Kolmogorov del proceso de
Poisson de par
ametro para las probabilidades pn t : p0n t son
p0 t
pn t
p0 t .
pn
pn t ,
para n
1,
Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene dison inicial p0 0
1, la primera
tribuci
on Poisson t . Usando la condici
ecuaci
on tiene soluci
on p0 t
e t . Definiendo qn t
et pn t , la segunqn 1 t , con condiciones qn 0
0n
da ecuaci
on se transforma en qn t
y q0 t
1. Esta nueva ecuaci
on se resuelve iterativamente, primero para
t n n!
q1 t , despues para q2 t , y as sucesivamente. En general, qn t
t
n
e
t n!
para n 0. De aqu se obtiene pn t
Ejemplo 5.12 Esta es otra derivaci
on mas de la distribuci
on Poisson en
el proceso de Poisson, ahora usando las ecuaciones prospectivas de Kolmogorov y la funci
on generadora de probabilidad. La variable aleatoria Xt
puede tomar los valores 0, 1, . . . de modo que su funci
on generadora de probabilidad es
GXt u
E uX t
pn t un ,
n 0
1, y en donde pn t
P Xt
para valores reales de u tales que u
n . Consideraremos a esta funci
on tambien como funci
on del tiempo t y
por comodidad en los siguientes c
alculos la llamaremos G t, u . Derivando
respecto de t, para el mismo radio de convergencia u
1, y usando las
ecuaciones prospectivas de Kolmogorov para el proceso de Poisson se tiene
162
que
pn t un
G t, u
n 0
pn
pn t un
n 0
uG t, u
u
G t, u
1 G t, u ,
de donde se obtiene la ecuaci

on diferencial G G
1 se llega a
0 a t y usando la condici
on G 0, u
G 0, u e u
G t, u
1 t
t tu
n 0
1 . Integrando de
t n n
u .
n!
Esta es la funci
on generadora de probabilidad de la distribuci
on Poisson t .
Por la propiedad de unicidad se obtiene que la variable Xt tiene distribuci
on
Poisson t .
Derivaci
on intuitiva de los sistemas de ecuaciones diferenciales
prospectivo y retrospectivo de Kolmogorov
Explicaremos a continuacion los terminos prospectivo y retrospectivo de los
sistemas de ecuaciones diferenciales de Kolmogorov para las probabilidades de transici
on pij t en el caso particular de un proceso de nacimiento
y muerte. Veamos primero el caso restrospectivo. Para cualquier t
0 y
0 peque
no consideremos el intervalo 0, t h visto como la siguiente
h
descomposici
on:
0, t h
0, h
h, t h .
Supongamos que queremos calcular la probabilidad pij t h . El sistema
de ecuaciones que obtendremos se llama retrospectivo porque analiza lo que
ocurre en el intervalo inicial 0, h de longitud muy peque
na h. En este
intervalo, a partir del estado i, u
nicamente pueden ocurrir tres cosas: que
haya un nacimiento, que haya una muerte o que no nazca ni muera nadie. Por
lo tanto, por la propiedad de incrementos independientes y estacionarios,
cuando h
0,
pij t
i h p i
1,j
i h pi
1,j
i h
i h pij t
oh.
163

O bien,
1
pij t
h
pij t
i pi
1,j
i pi
1,j
oh
.
h
i pij t
Tomando el lmite cuando h

0 se obtiene el sistema de ecuaciones diferenciales que hemos llamado retrospectivo
p0j t
0 p1,j t
pij t
i pi
1,j
0 p0j t ,
t
i pi
1,j
i pij t ,
1.
As, esta ecuaci

on puede leerse, o bien pueden verificarse sus coeficientes y
subndices, a partir de lo que sucede en un intervalo infinitesimal al inicio del
intervalo: hay un nacimiento (factor i ) y entonces el proceso debe transitar
de i 1 a j, o hay una muerte (factor i ) y entonces el proceso debe pasar
de i 1 a j, o bien no hay nacimientos ni decesos (factor 1 i i
pero omitiendo el 1) y entonces la cadena debe pasar de i a j. De esta
manera pueden verificarse los sistemas retrospectivos que hemos mencionado
antes. Para el sistema prospectivo y considerando nuevamente un proceso
de nacimiento y muerte, se considera la descomposicion:
0, t
0, t
t, t
h.
Ahora el intervalo de longitud infinitesinal h se encuentra en la parte final del

intervalo de tiempo completo. Nuevamente por la propiedad de incrementos
independientes y estacionarios, cuando h
0,
pij t
pi,j
t j
1h
pi,j
t j
1h
pij t 1
j h
j h
oh.
Reescribiendo esta ecuaci

on para que en el lado izquierdo aparezca una
0 e imponiendo condiciones adiprederivada, tomando lmite cuando h
cionales para la convergencia de la prederivada se obtiene la ecuacion diferencial prospectiva
pi0 t
pij t
0 pi0 t
j
1 pi,j 1
1 pi1 t ,
t
1 pi,j 1
j pij t .
La lectura de los coeficientes y subndices es similar a la anterior: la cadena

pasa de i a j 1 y despues hay instantaneamente un nacimiento (factor
164
j 1 ), o la cadena transita de i a j 1 y despues hay instantaneamente una

muerte (factor j 1 ), o bien la cadena pasa de i a j y no hay nacimientos
ni muertes (factor 1 j j pero omitiendo el 1).
Proceso de nacimiento puro
Cuando en un proceso de nacimiento y muerte los parametros de decesos
0 , 1 , . . . son todos cero,
se obtiene un proceso de
0 0
0
0
nacimiento puro. La matriz
0
0
1
1
de par
ametros infinitesimaG
0
0
2
2
les tiene la forma que se
..
..
..
muestra en la Figura 5.5, en
.
.
.
donde, como antes, los par
ametros 0 , 1 , . . . se conoFigura 5.5
cen como las tasas instant
aneas de nacimiento.
En la Figura 5.6 se muestra una trayectoria de este
Xt
proceso cuando inicia en el
3
estado cero. Por construc2
ci
on, el tiempo de estancia
en el estado i tiene dis1
tribuci
on exponencial con
t
par
ametro i . Las probabilidades de saltos son eviexp 0 exp 1
exp 2
exp 3
dentemente pij
1 cuanFigura 5.6
i
1, y cero en
do j
cualquier otro caso. Puede
demostrarse que los incrementos de un proceso de nacimiento puro son
independientes pero no son necesariamente estacionarios. Un proceso de
nacimiento puro puede tambien definirse mediante las siguientes probabili0,
dades infinitesimales: cuando h
a) P Xt
Xt
1 Xt
k h
b) P Xt
Xt
0 Xt
oh.
k h
oh.
En general no es f
acil encontrar una formula para las probabilidades de
165
transici
on pij t , sin embargo cuando el estado inicial es cero se conoce la
siguiente f
ormula recursiva.
Proposici
on 5.6 Para cualquier t 0 y cualquier entero n 1, las probabilidades de transici
on en un proceso de nacimiento puro satisfacen la
relaci
on:
p0n t
1e
n t
en s p0,n
(5.12)
s ds.
Demostraci
on. El sistema de ecuaciones diferenciales prospectivas de
Kolmogorov para este proceso es
pij t
1 pi,j 1
j pij t .
En particular, partiendo de cero,

p00 t
p0n t
0 p00 t ,
n
1 p0,n 1
n p0n t ,
1,
con las condiciones de frontera p00 0

1 y p0n 0
0, para n
1. La
e 0 t , mientras que para el caso
primera ecuaci
on tiene solucion p00 t
n 1, multiplicando por el factor integrante en t y resolviendo se obtiene
la f
ormula enunciada.
!
Proceso de muerte puro

De manera an
aloga puede definirse un proceso de muerte puro como un
proceso de nacimiento y muerte en donde los parametros de nacimiento
0 , 1 , . . . son todos cero. El proceso puede iniciar con una poblacion de
tama
no k 1, y presentar fallecimientos sucesivos hasta una posible extinci
on completa de la poblacion.
El proceso de Yule
Este es un tipo particular de proceso de nacimiento puro, y para el cual
es posible encontrar explcitamente las probabilidades de transicion. Este
proceso puede definirse a traves de los siguientes postulados:
a) El estado inicial es X0
1.
166
b) Si Xt n, entonces cada uno de estos elementos puede dar nacimiento

a un nuevo elemento durante un periodo de longitud infinitesimal h
0 con probabilidad h o h , en donde 0, es decir,
P Xt
Xt
1 Xt
n
h o h
1
nh o h .
oh
n 1
Es decir, las tasas instantaneas de nacimiento son n n, que crecen de

manera lineal conforme la poblacion crece. El tiempo de estancia en el estado
n tiene distribuci
on exp n , en consecuencia el tiempo medio de estancia
en ese estado es n 1 , cada vez menor conforme n crece. El sistema de
ecuaciones prospectivas para pkn t , con n k, se reduce a
pkk t
k pkk t ,
pkn t
1 pk,n
La f
ormula recursiva (5.12) es, para n
pkn t
1 e
nt
n pkn t ,
k
t
1.
1,
ens pk,n
s ds.
(5.13)
Demostraremos a continuacion que el incremento Xt X0 tiene distribucion

binomial negativa de par
ametros r, p , con r k y p e t .
Proposici
on 5.7 Las probabilidades de transici
on para el proceso de Yule
son
n 1
pkn t
e kt 1 e t n k , para n k.
n k
k se tiene la
Demostraci
on. Usaremos induccion sobre n. Para n
ecuaci
on diferencial pkk t
k pkk t , con condicion inicial pkk 0
1.
kt
e
Esto produce la soluci
on pkk t
, que es de la forma enunciada. Para
167
5.5. Conceptos y propiedades varias

valores de n
pkn t
k
n
1 usaremos la formula recursiva (5.13),

1 e
nt
n
n
n
1
1
1
1
n
1
n
1
k
2
n
1
k
2
n
n
n
1
2
n 1
e
n k n 1 k
n 1
e kt 1 e
k 1
ens
e
e
e
e
nt
es
1
0
t
nt
s n 1 k
ds
n k
s n 1 k
ds
es
n 1 k
ds
es es
0
t
nt
et
t n k
0
t
nt
nt
ks
1
n
1
d s
e
k ds
n k
ds
n k
ds
n k
.
!
En la siguiente secci
on revisaremos muy brevemente algunos conceptos generales que se pueden definir para cadenas de Markov a tiempo continuo y
que corresponden a los conceptos analogos para el caso de tiempo discreto.
5.5.
Conceptos y propiedades varias
Comunicaci
on
Se dice que el estado j es accesible desde el estado i si pij t
0 para alg
un
j. Se dice que los estados i y j se comunican si i
j
t 0, y se escribe i
i, y en tal caso se escribe i
j. Nuevamente puede demostrarse que
yj
la comunicaci
on es una relacion de equivalencia, y eso lleva a una particion
del espacio de estados en clases de comunicacion. Se dice nuevamente que la
cadena es irreducible cuando todos los estados pertenecen a la misma clase
de comunicaci
on.
168
Tiempos de primera visita

Para cualesquiera estados i y j, se define
ij
nf t
0 : Xt
cuando X0
j ,
i.
El tiempo medio de primera visita es entonces ij

E ij . Cuando los
estados i y j coinciden se escribe i , y i E i respectivamente. A i se
le llama tiempo medio de recurrencia.
Se dice que el estado i es transitorio si, partiendo de i, con probabilidad
uno el conjunto de tiempos t
0 : Xt
i es acotado. En cambio, se
dice que es recurrente si, partiendo de i, con probabilidad uno el conjunto
t 0 : Xt i es no acotado. Cuando E i
se dice que el estado i es
se dice que es recurrente positivo.
recurrente nulo, y cuando E i
Sea P t la matriz de probabilidades de transicion de una cadena de Markov a tiempo continuo. Se dice que una distribucion de probabilidad
0 , 1 , . . . sobre el espacio de estados es estacionaria si para cualquier t 0,
P t
Explcitamente, si para cualquier t 0, i i pij t

j . Por lo tanto, si
X0 tiene como distribuci
on inicial una distribucion estacionaria , entonces
p
P Xt j
t
j , es decir, la variable Xt tiene la misma disi i ij
tribuci
on de probabilidad para cualquier valor de t. El siguiente resultado,
cuya demostraci
on omitiremos, plantea una forma alternativa de encontrar
una posible distribuci
on estacionaria para una cadena de Markov a tiempo
continuo.
Proposici
on 5.8 La distribuci
on es estacionaria para la cadena con generador infinitesimal G si y s
olo si G 0.
Ejemplo 5.13 Considere la cadena de Markov de dos estados cuyo generador infinitesimal est
a dado por la matriz
G
169
5.6. Ejercicios
Se busca una distribuci

on estacionaria
0 , 1 para esta cadena y para
ello se hace uso de la ecuaci
on G 0, junto con la condici
on 0 1 1.
Esto lleva a la soluci
on
0 , 1
Puede comprobarse adem

as que las probabilidades de transici
on mostradas
en el Ejemplo 5.3 convergen a esta distribuci
on estacionaria, es decir,
lm
p00 t
p10 t
p01 t
p11 t
0 1
0 1
Cadena a tiempo discreto asociada

Toda cadena de Markov a tiempo continuo Xt : t 0 tiene asociada una
cadena a tiempo discreto que denotaremos por el mismo smbolo Xn : n
0, 1, . . . , y que est
a dada por la primera pero observada en los tiempos en
donde se efect
uan los saltos. Algunas caractersticas de la cadena a tiempo
discreto se trasladan a su version continua. Inversamente, a partir de una
cadena a tiempo discreto puede construirse su version continua en el tiempo
tomando tiempos exponenciales independientes entre salto y salto.
Notas y referencias. La primera parte de la exposicion que hemos presentado est
a basada en el texto de Hoel, Port y Stone [14]. Una exposicion
m
as completa del tema de cadenas de Markov a tiempo continuo puede
encontrarse en Basu [1], Karlin y Taylor [17] o Stirzaker [34].
5.6.
Ejercicios
Cadenas de Markov a tiempo continuo
142. Para la cadena de Markov de dos estados, demuestre que para cualquier t 0,
p00 t
e t.

170
143. Para la cadena de Markov de dos estados, demuestre que el tiempo de

estancia promedio en el estado cero, a largo plazo, es
lm E
1
t
Xs ds
Observe que no es necesario establecer el estado inicial del proceso.

El tiempo de estancia promedio en el estado uno a largo plazo es la
fracci
on complementaria.
Ecuaciones de Kolmogorov
144. Escriba el sistema de ecuaciones diferenciales retrospectivas de Kolmogorov para un proceso de Poisson de parametro y compruebe que
la distribuci
on Poisson satisface este sistema de ecuaciones.
0 un proceso de Poisson de parametro y sean
145. Sea Nt : t
Y1 , Y2 , . . . v.a.i.i.d. con distribucion com
un Bernoulli p . Encuentre las
ecuaciones de Kolmogorov retrospectivas y prospectivas del proceso
Nt
Yj .
Xt
j 1
Resuelva cualquiera de estos sistemas de ecuaciones y demuestre que

para j i,
pt j i
pij t
e pt
.
j i!
Procesos de nacimiento y muerte
146. Para la cadena de Markov a tiempo continuo de dos estados en donde
la estancia en el estado 0 tiene distribucion exp , y la estancia en el
estado 1 es exp , demuestre que:
a) p00 t
b) p01 t
c) p10 t
171
5.6. Ejercicios
d) p11 t
147. Considere una cadena de Markov a tiempo continuo de dos estados

en donde el tiempo de estancia en cada uno de ellos tiene distribucion
umero de veces que la cadena
exp . Defina la variable Nt como el n
ha efectuado saltos hasta un tiempo t 0 cualquiera. Demuestre que
Nt : t 0 es un proceso de Poisson de parametro .
Procesos de nacimiento puros
148. Sea Xt : t
0 un proceso de Yule con estado inicial X0
Demuestre que:
a) E Xt
b) Var Xt
1.
k et .
k e2t 1
Procesos de muerte puros

0 un proceso de muerte puro tal que X0
N
1y
149. Sea Xt : t
con par
ametros 1 , 2 , . . . , N . Demuestre que el area promedio de la
trayectoria de este proceso hasta que alcanza el estado absorbente 0
es
N
k
.
k 1 k
172
Captulo 6
Procesos de renovaci
on
y confiabilidad
En este captulo se presenta otra generalizacion del proceso de Poisson. Se
considera ahora que los tiempos de interarribo no son necesariamente exponenciales. A tales procesos de saltos unitarios se les conoce como procesos de
renovaci
on, y en general dejan de cumplir la propiedad de Markov. Ademas
de estudiar algunas propiedades generales de los procesos de renovacion, estudiaremos tambien el concepto de confiabilidad para sistemas conformados
por varios componentes, los cuales son susceptibles de tener fallas en tiempos aleatorios. Este captulo es breve y se presentan solo algunos aspectos
elementales de los procesos de renovacion.
6.1.
on
Suponga que se pone en operacion

un cierto componente o artculo
T1
T2
T3
T4
cuya duraci
on de vida u
til se modela mediante una variable aleato0
ria T1 . Una vez que el componente
falla se reemplaza o renueva con
Figura 6.1
otro componente cuyo tiempo de
vida es T2 , y as sucesivamente. La
colecci
on de variables aleatorias T1 , T2 , . . . representa la sucesion de tiempos
173
n y confiabilidad
6. Procesos de renovacio
174
de vida de componentes puestos en operacion uno tras otro. Esto se ilustra en la Figura 6.1. En este contexto es natural suponer que las variables
que modelan los tiempos de vida son no negativas, independientes y con la
misma distribuci
on de probabilidad. Un proceso de estas caractersticas se
conoce con el nombre de proceso de renovacion. Observe que exactamente
en los tiempos en los que se efect
uan las renovaciones, el proceso reinicia
probabilsticamente. Empezaremos por dar un primera definicion formal de
un proceso de renovaci
on basada en lo recien mencionado.
Definici
on) Un proceso de renovaci
on es una
sucesi
on infinita de variables aleatorias T1 , T2 , . . . que son no negativas, independientes e identicamente distribuidas.
Otra forma equivalente de definir a este proceso es a traves del registro de
los tiempos reales en los que se observan las renovaciones, o bien, a traves
del conteo de renovaciones observadas hasta un tiempo cualquiera. Estos
puntos de vista alternativos se definen a continuacion.
Definici
on) Dado un proceso de renovaci
on
T1 , T2 , . . . , se definen los tiempos reales de renovaci
on como W0
0 y
Tn , para n 1. El proceso de conteo de renovaciones es
Wn T1
m
ax n
Nt
0 : Wn
para cada t
t ,
0.
La variable aleatoria Wn representa el tiempo real en el que se realiza la

n-esima renovaci
on, mientras que Nt indica el n
umero de renovaciones efectuadas hasta el tiempo t. En la literatura se le denomina proceso de renovaci
on a cualquiera de los procesos Tn : n 1, 2, . . . , Wn : n 0, 1, . . . ,
o Nt : t 0 , pues por construccion existe una correspondencia biunvoca
entre cualesquiera dos de estos procesos. Denotaremos por F t a la funcion
de distribuci
on de los tiempos de vida. Por lo tanto, la funcion de distribuci
on de Wn es la convoluci
on de F t consigo misma n veces, es decir,
FWn t
En particular, F
P T1
1
Tn
F t y cuando n
F
0
1
0 se define
si t
si t
0,
0.
F t.
n
6.1. Procesos de renovacio
175
Una de las primeras preguntas que uno puede hacerse acerca de un proceso
de renovaci
on es la de conocer la distribucion de la variable Nt . La respuesta
no es f
acil de encontrar, pues la distribucion de esta variable depende de la
distribuci
on de los tiempos de vida como indica la siguiente formula general.
Proposici
on 6.1 Para cualquier n
P Nt
0,
n
n 1
t.
Demostraci
on. Tomando en consideracion que las variables Wn y Tn
son independientes, tenemos que
P Nt
P Wn
t, Wn
P Wn
t, Wn
P t
Tn
FWn t
F
Tn
t
Tn
FWn
n
Wn
FWn t
Tn
1
1
u u dF u
u dF u
n 1
t.
!
En muy pocos casos es posible encontrar la distribucion explcita del n

umero
de renovaciones Nt . En el caso cuando los tiempo de vida son exponenciales
sabemos que la respuesta es la distribucion Poisson.
Ejemplo 6.1 Un proceso de Poisson homogeneo de tasa es un proceso de renovaci
on en donde los tiempos de vida tienen distribuci
on exp().
En consecuencia, los tiempos reales de renovaci
on Wn tienen distribuci
on
gama(n, ), cuya funci
on de distribuci
on es, para t 0,
t
FWn t
0
x n
n
dx
e
k n
t k
.
k!
n y confiabilidad
176
La segunda igualdad puede obtenerse despues de aplicar integraci

on por
partes varias veces. A partir de esta expresi
on puede recuperarse la distribuci
on Poisson pues por la Proposici
on 6.1,
P Nt
n 1
t n
.
n!
Del mismo modo que sucedio en el caso del proceso de Poisson, para un
proceso de renovaci
on tambien es valida la igualdad de eventos Nt n
Wn
t , para t
0 y para n
0 entero. Esta identidad nos sera de
utilidad m
as adelante.
6.2.
Funci
on y ecuaci
on de renovaci
on
Otra de las funciones que es natural desear conocer en un proceso de renovaci

on es el n
umero promedio de renovaciones efectuadas hasta un tiempo t
cualquiera. A tal funci
on se le llama funcion de renovaci
on, y se le denota
E Nt . En general tampoco es facil encontrar una
por t , es decir, t
forma explcita para esta funcion. Sin embargo, se cuenta con la siguiente
ecuaci
on integral general.
on
Proposici
on 6.2 La funci
on de renovaci
on t satisface la ecuaci
t
F t
(6.1)
s dF s .
Demostraci
on. Condicionando sobre el valor del primer tiempo de vida
T1 se obtiene t
s dF s , en donde
0 E Nt T1
E Nt T1
0
1
si s
si s
t,
t.
Por lo tanto
t
1
0
s dF s
F t
s dF s .
n y ecuacio
n de renovacio
n
6.2. Funcio
177
Observe que la ecuaci

on (6.1) puede escribirse como t
F t
F t.
Debido a que se condiciona sobre el valor del primer tiempo de renovacion,
a la tecnica de la demostracion de este resultado se le llama a veces analisis
del primer paso o se dice tambien que se ha utilizado un argumento de
renovaci
on, pues es muy frecuente su uso en el calculo de probabilidades
de ciertos eventos en los procesos de renovacion. Mas adelante tendremos
oportunidad de usar nuevamente esta tecnica.
Ejemplo 6.2 Para el proceso de Poisson, el promedio de renovaciones o
saltos al tiempo t es t
t. Puede comprobarse directamente que esta
1 e t , t 0.
funci
on satisface (6.1) con F t
A una ecuaci
on integral del tipo (6.1) se le llama ecuacion de renovacion,
pues algunas funciones de interes en la teora de la renovacion la cumplen.
La definici
on general se incluye a continuacion.
Definici
on 6.3 Sean F t , g t y h t funciones definidas para t
0.
Suponga que F t y h t son conocidas, y g t es desconocida. Se dice que
g t satisface una ecuaci
on de renovaci
on si cumple la ecuaci
on integral
t
g t
g t
ht
s dF s .
(6.2)
Puede demostrarse que si h t es una funcion acotada, entonces existe una

u
nica soluci
on g t a la ecuacion de renovacion (6.2) que cumple con la
condici
on de ser acotada sobre intervalos finitos y esta dada explcitamente
por
t
g t
ht
ht
s d s ,
(6.3)
en donde s es la funci
on de renovacion. La demostracion de este resultado
general puede ser encontrado en el texto de Karlin y Taylor [17]. Acerca de
la funci
on de renovaci
on tenemos la siguiente expresion general.
Proposici
on 6.3 Para cualquier t
0,
F
n 1
t.
(6.4)
n y confiabilidad
178
Demostraci
on.
t
n P Nt
n 0
P Nt
F
2 P Nt
F
2
2 F
t.
n 1
Ejemplo 6.3 Cuando los tiempos de interarribo tienen distribuci

on exp
se tiene que
F
t
0
x n
n
dx
k n
t k
.
k!
Usando esta expresi

on y la f
ormula recien demostrada puede corroborarse
t.
que en este caso t
Es posible demostrar que para un proceso de renovacion la variable Nt tiene
momentos finitos de cualquier orden, y en particular para la esperanza, la
suma que aparece en (6.4) siempre es convergente. Se puede tambien demostrar que existe una correspondencia biunvoca entre las funciones t
y F t , y que adem
as el proceso de renovacion Nt : t 0 queda completamente especificado por la funcion promedio t . La demostracion de estos
resultados puede consultarse en [1].
6.3.
Tiempos de vida
Junto a todo proceso de renovacion y para cada tiempo fijo, pueden considerarse tres variables aleatorias no negativas, t , t y t , cuyo significado
geometrico se muestra en la Figura 6.2, y que definiremos con mayor precisi
on a continuaci
on.
179
6.3. Tiempos de vida
Nt
Nt
Nt
WNt
WNt
Figura 6.2
Tiempo de vida restante

Este es el tiempo de vida u
til que le resta al elemento que se encuentra en
operaci
on al tiempo t, y esta dado por la variable
t
W Nt
t.
Esta longitud aleatoria se muestra en la Figura 6.2. Usando un argumento

de renovaci
on demostraremos que para cada x
0 la funcion t
g t
P t x satisface una ecuacion de renovacion.
Proposici
on 6.4 La funci
on t
de renovaci
on
g t
P t
x satisface la ecuaci
on
g t
F t
g t
s dF s .
(6.5)
Demostraci
on.
Se condiciona sobre el valor de T1 de la siguiente forma:

g t
P t
x T1
s dF s .
Se consideran entonces los tres posibles casos para los valores de T1 como
se muestran en la Figura 6.3.
n y confiabilidad
180
T1
T1
T1
t
Figura 6.3
Puesto que un proceso de renovacion puede considerarse que inicia nuevamente a partir del momento en que se observa una renovacion, se tiene
que
1
si s t x,
0
si t s t x,
P t x T1 s
P t s x
si 0 s t.
Por lo tanto,
g t
P t
x T1
s dF s
0
t
dF s
P t
t x
x dF s
0
t
F t
g t
s dF s .
!
Ejemplo 6.4 Cuando los tiempos de vida son exponenciales de par
ametro
, la u
nica soluci
on de la ecuaci
on (6.5) es la funci
on constante en t,
g t
P t
x
e x , que equivale a decir que la variable t tiene
distribuci
on exp . Esta es nuevamente la propiedad de perdida de memoria de la distribuci
on exponencial.
Tiempo de vida transcurrido
Este es el tiempo que ha estado en uso el elemento que se encuentra en
operaci
t
W Nt .
181
6.3. Tiempos de vida
Vease nuevamente la Figura 6.2. Es claro que esta variable esta acotada
superiormente por el valor t, pues el elemento en uso al tiempo t no puede
tener hasta ese momento un tiempo de uso mayor a t. Sea nuevamente x 0
g t
P t x . Por las consideraciones anteriores,
y defina la funci
on t
tenemos que g t
0 para t
0, x . Usando un argumento de renovacion
demostraremos que la funcion g t satisface una ecuacion de renovacion.
Proposici
on 6.5 Para t
ecuaci
on de renovaci
on
, la funci
on g t
x,
P t
x satisface la
t x
g t
g t
F t
s dF s .
Demostraci
on. Nuevamente se condiciona sobre el valor de T1 . Los tres
posibles casos se muestran en la Figura 6.4.
T1
T1
t
T1
Figura 6.4
Por lo tanto,
P t
x T1
1
0
P t
si s
si 0
si 0
t,
t x s
s t x.
Entonces,
g t
P t
x T1
s dF s
0
t x
dF s
P t
x dF s
0
t x
g t
F t
0
s dF s .
t,
n y confiabilidad
182
En resumen,
0
g t
si 0
si t
x.
x,
t x
g t
F t
s dF s
Ejemplo 6.5 Considerando otra vez el caso de tiempos de vida exponencial

de par
ametro , puede comprobarse que el tiempo de vida transcurrido tiene
funci
on de distribuci
on
1
P t
si 0
1
0
t,
si x t,
otro caso.
Tiempo de vida total

Este es el tiempo completo de vida u
til que tiene el elemento que se encuentra en operaci
t
W Nt
W Nt
TNt
1.
Nuevamente, para x 0 se define la funcion t

g t
P t x . Demostraremos que esta funci
on satisface una ecuacion de renovacion, en la cual
aparecer
a el termino x y, que significa max x, y .
Proposici
on 6.6 La funci
on g t
renovaci
on
g t
F t
P t
x satisface la ecuaci
on de
g t
s dF s ,
Demostraci
on.
la variable T1 .
Nuevamente condicionaremos sobre un posible valor de

P t
g t
x T1
s dF s .
Los posibles casos para T1 se muestran en la Figura 6.5.
n
6.4. Teoremas de renovacio
183
T1
T1
T1
t
Figura 6.5
El caso s t, t x se debe subdividir en dos casos: s
modo se obtienen los siguientes resultados
P t
x T1
0
1
1
P t
si
si
si
si
t
t
s
0
s
s
t
s
x o s
t x, y s
t x, y s
x,
t.
x. De este
x,
x,
El segundo y tercer rengl

on se conjuntan en las condiciones t x s t x
. Por lo tanto,
o s t x, lo cual se reduce a la condicion t x s
g t
P t
x T1
s dF s
0
t
dF s
P t
t x
x dF s
0
t
F t
g t
s dF s .
!
Ejemplo 6.6 En el caso de tiempos de interarribo exponenciales de par
ametro , puede demostrarse que el tiempo de vida total tiene funci
on de
distribuci
on
P t
6.4.
x e
si x
0,
otro caso.
Teoremas de renovaci
on
En esta secci
on se estudian algunos resultados sobre el comportamiento
lmite de los procesos de renovacion. Primeramente se demuestra que todo
n y confiabilidad
184
proceso de renovaci
on crece a infinito con probabilidad uno cuando el tiempo
crece a infinito.
Proposici
on 6.7 Para todo proceso de renovaci
on, lm Nt
t
Demostraci
on. Recordemos la igualdad de eventos Nt
Entonces para cualquier n natural,
1
c.s.
Wn
t.
lm FWn t
lm P Wn
lm P Nt
P lm Nt
n.
t
t
Nt es
Para la u
ltima igualdad se ha utilizado el hecho de que la funcion t
mon
otona no decreciente. Como el resultado demostrado vale para cualquier
valor de n natural, se tiene que P lm Nt
1.
!
t
Por lo tanto, cuando t tiende a infinito el n

umero de renovaciones Nt tambien
crece a infinito. Por otro lado, el tiempo que le toma al proceso llegar al valor
Nt es WNt y tambien crece a infinito. El siguiente resultado establece que
a largo plazo habr
a una renovacion cada E T unidades de tiempo, en
donde, dada la identica distribucion, la variable T representara cualquiera
de los tiempos de interarribo en un proceso de renovacion.
Proposici
on 6.8 Para un proceso de renovaci
on Nt : t
E T
, con 0
, se cumple
lm
W Nt
Nt
0 en donde
c.s.
Demostraci
on. Para valores enteros de n, por la ley fuerte de los grandes
n
umeros, Wn n
casi seguramente cuando n
. Ahora observe la
contenci
on de eventos
Wn
n
Nt
W Nt
Nt
n
185
Los dos eventos del lado izquierdo tienen probabilidad uno, por lo tanto
la intersecci
on tambien, y ello implica que el lado derecho tambien tiene
probabilidad uno.
!
El siguiente resultado establece la forma en la que la variable Nt crece a
infinito. Observe que el cociente Nt t es una variable aleatoria que cuenta
el n
umero de renovaciones por unidad de tiempo efectuadas hasta el tiempo t. Demostraremos a continuacion que cuando t
la aleatoriedad
desaparece y el cociente se vuelve constante.
Teorema 6.1 (Teorema elemental de renovaci
on) [J. L. Doob, 1948]
, con 0
, se tiene
Para un proceso de renovaci
on en donde E T
que
Nt
1
lm
c.s.
t
t
Demostraci
on.
lo tanto,
Para cualquier t
0 se cumple WNt
W Nt
1.
Por
t
WNt 1 Nt 1
W Nt
.
Nt
Nt
Nt 1 Nt
Cuando t tiende a infinito ambos extremos de estas desigualdades convergen
!
a casi seguramente. Por lo tanto el termino de en medio tambien.
Otra forma de interpretar el resultado anterior es diciendo que Nt crece a
a la misma velocidad que la funcion lineal t . Ahora
infinito cuando t
veremos que la esperanza de Nt tiene el mismo comportamiento.
Teorema 6.2 (Teorema elemental de renovaci
on) [W. Feller, 1941]
Considere un proceso de renovaci
on en donde E T
, con 0
.
Entonces
t
1
.
lm
t
t
Demostraci
on.
Por la identidad de Wald,
E W Nt
E Nt
1 E T
1 .
Obteniendo de esta identidad el termino t y dividiendo entre t se obtiene

t
t
1
E W Nt
t
1
.
t
n y confiabilidad
186
Como WNt
t, se tiene que E WNt

lm inf
t
0. Por lo tanto
t
t
1
.
Ahora estimaremos el lmite superior del mismo cociente. Como WNt 1 t

WNt 1 WNt TNt 1 , se tiene que E WNt 1 t
E TNt 1 y por lo tanto
t
t
1
E TNt
t
Consideremos primero el caso particular cuando las variables T son uniformemente acotadas, es decir, supongamos que existe un entero k 0 tal
1, P Tn
k
1. Entonces, condicionando sobre el
que para cada n
valor de Nt , puede comprobarse que E TNt 1
k y por lo tanto
lm sup
t
t
t
1
.
Esto concluye la demostracion en el caso particular mencionado. Ahora

consideremos que las variables T no son necesariamente acotadas c.s. En
este caso se definen los tiempos recortados
Tn
k
Tnk
si Tn
si Tn
k,
k.
Tn cuando k
. A partir de estos tiempos se considera
Observe que Tnk
k
un nuevo proceso de renovacion Nt con funcion de renovacion kt . Se cumple
que t
kt y por lo tanto
lm sup
t
t
t
1
.
E Tk
Ahora se hace k tender a infinito. Por el teorema de convergencia monotona,

E Tk
E T , y ello prueba la desigualdad faltante.
!
El cociente t t es el n
umero de renovaciones promedio por unidad de
tiempo. El resultado recien demostrado establece que a largo plazo habra en
promedio 1 E T renovaciones por unidad de tiempo. Por ejemplo, para el
proceso Poisson, E T
1 y t
t. Por lo tanto t t
. Los
siguientes dos resultados importantes se enuncian sin demostracion y los
terminos tecnicos a los que se hace referencia aparecen explicados en el
apendice.
n
187
Teorema 6.3 (Teorema de renovaci

on) [D. Blackwell, 1948] Si F t
es no aritmetica, entonces para cualquier h 0,
lm t
h
.
Si F t es aritmetica con base d, entonces para cualquier natural n,

lm t
nd
.
nd
Ejemplo 6.7 Para el proceso de Poisson se tiene que la funci

on incremento
a la que hace referencia el teorema de renovaci
on de Blackwell en realidad
es una constante pues,
t
h
1
h
.
Teorema 6.4 (Teorema clave de renovaci

on) [W. L. Smith, 1953]
on a la ecuaci
on de renovaci
on
Sea A t la soluci
t
At
At
H t
s dF s ,
es una funci
on directamente Riemann integrable.
en donde H : 0,
Si F t es no aritmetica,
lm A t
H t dt.
0
Si F t es aritmetica con base d, entonces

lm A t
nd
d
k
H t
kd .
Puede demostrarse que los teoremas de Smith y Blackwell son equivalentes,

y que cualquiera de ellos implica el teorema elemental de Feller.
n y confiabilidad
188
6.5.
Confiabilidad
Suponga que T 0 es una variable aleatoria continua que registra el tiempo

de falla de un cierto componente que se encuentra en operaci
on al tiempo
cero. Nuevamente denotaremos por F t y f t a la funcion de distribucion
y de densidad de esta variable aleatoria. En la teora de la confiabilidad
interesa conocer la probabilidad de que el componente funcione correctamente por lo menos hasta un tiempo t cualquiera o la probabilidad de que
deje de funcionar en el siguiente instante de tiempo, dado que ha funcionado
bien hasta un cierto momento. Es por ello que se definen las siguientes dos
funciones.
Definici
on 6.4 La funci
on de confiabilidad se define como
Rt
P T
t,
mientras que la funci

on de tasa de falla es
f t
.
1 F t
r t
A la funci
on de confiabilidad se le llama tambien funcion de supervivencia,
y a la funci
on de tasa de falla se le conoce tambien como funcion hazard. A
esta u
ltima se le llama as pues dado que un componente ha sobrevivido al
tiempo t, fallar
a en el intervalo t, t t con probabilidad r t t o t ,
en efecto,
P t
t T
T t t
P t t
f t
t o t
1 F t
r t t o t .
P t
Despues de algunos c
alculos sencillos es inmediato comprobar que estas dos
funciones est
an relacionadas de la siguiente forma:
r t
f t
Rt
Rt
exp
d
ln R t ,
dt
t
r s ds .
0
189
6.5. Confiabilidad
Observe que la funci

on de confiabilidad R t es siempre decreciente, mientras
que la funci
on de tasa de falla r t puede no presentar un comportamiento
mon
otono global. Por otro aldo, debido a que T es una variable aleatoria
no negativa, el tiempo promedio de falla E T puede escribirse en terminos
de la funci
on de confiabilidad como sigue
E T
R t dt.
0
Ejemplo 6.8 Suponga que el tiempo de falla T de un componente tiene

una distribuci
on exponencial de par
ametro . La funci
on de confiabilidad es
t
e , y la funci
. El hecho de
Rt
on de tasa de falla es constante r t
que la funci
on de tasa de falla sea constante significa que la probabilidad de
falla en un intervalo de tiempo peque
no t, dado que el componente se encuentra operando al tiempo t, es aproximadamente t, independiente del
valor de t. Esta es otra manifestaci
on de la propiedad de perdida de memoria de la distribuci
on exponencial, y es la u
nica distribuci
on absolutamente
continua con tasa de falla constante. Por otro lado, el tiempo medio de falla
1 .
es E T
Confiabilidad para sistemas en serie
Considere un sistema de n componentes puestos en serie, como se muestra en
la Figura 6.6. Supondremos que cada uno de estos componentes funciona de
manera independiente uno del otro. Es intuitivamente claro que tal sistema
en su conjunto funciona si todos y cada uno de los componentes se encuentra
en buen estado. Nos interesa encontrar las funciones de confiabilidad y de
tasa de falla de este tipo de sistemas. Observe que el tiempo de
falla T de un sistema de este tipo
C1
C2
Cn
es el tiempo de falla m
as peque
no
de cada uno de los componentes, es
mn T1 , . . . , Tn . Esquedecir, T
Figura 6.6
mas fsicos de este tipo ayudan a
justificar el plantearse la pregunta
de encontrar la distribucion de probabilidad del mnimo de n variables
aleatorias independientes. No es difcil comprobar que si los tiempos de
falla T1 , . . . , Tn de los componentes del sistema en serie de la Figura 6.6 son
n y confiabilidad
190
identicamente distribuidos con funcion de distribucion F t , y funcion de

densidad f t , entonces el tiempo de falla T del sistema tiene funcion de
distribuci
on y funci
on de densidad dadas por las siguientes expresiones:
1
FT t
y
n1
fT t
F t
F t
n 1
f t.
Calcularemos a continuaci
on las funciones de confiabilidad y de tasa de falla
para sistemas en serie. Denotaremos por R1 t , . . . , Rn t las funciones de
confiabilidad de cada componente en el sistema, y las funciones de tasa de
falla ser
an r1 t , . . . , rn t .
Proposici
on 6.9 Las funciones de confiabilidad y de tasa de falla del sistema en serie de la Figura 6.6 son
a) R t
R1 t
b) r t
r1 t
Demostraci
on.
a) R t
b) r t
Rn t .
rn t .
Por la independencia de los componentes,
P T1
t, . . . , Tn
P T1
P Tn
d
ln R t
dt
d
dt
Rn t .
R1 t
rk t .
ln Rk t
k 1
k 1
!
Observe que para sistemas de n componentes conectados en serie la funcion
de confiabilidad R t
R1 t
Rn t es una funcion decreciente de n, y en
consecuencia el tiempo medio de falla tambien es una funci
on decreciente
de n.
Ejemplo 6.9 La funci
on de confiabilidad y la funci
on de tasa de falla de
un sistema de n componentes puestos en serie en donde cada uno de ellos
tiene un tiempo de falla exponencial de par
ametro son, respectivamente,
nt
Rt
r t
nt.
191
6.5. Confiabilidad
La distribuci
on del tiempo de falla T es exponencial de par
ametro n. El
tiempo medio de falla es E T
1 n , naturalmente decreciente conforme
mayor es el n
umero de componentes en el sistema, es decir, mientras mas
componentes haya en el sistema en serie, menor es el tiempo de vida operacional del sistema en su conjunto, pues una falla de cualesquiera de los
componentes provoca que el sistema completo deje de funcionar.
Confiabilidad para sistemas en paralelo

Considere ahora sistemas de n componentes
C1
puestos en paralelo, como se muestra en la Figura 6.7, en donde cada uno de estos componentes
C2
funciona de manera independiente uno del otro.
Tales tipos de sistemas funcionan en su conjunto si por lo menos uno de los componentes se
Cn
encuentra en buen estado. Sistemas de este tipo
se utilizan cuando se desea mantener un nivel
alto de confiabilidad de funcionamiento, como
Figura 6.7
por ejemplo los sistemas de vuelo de los aviones
o los sistemas de manejo de reactores nucleares.
El tiempo de falla T de un sistema de este tipo es el tiempo de falla mas
grande de los componentes, es decir, T max T1 , . . . , Tn , y observe que el
evento T
t es equivalente a que todos los componentes fallen antes del
tiempo t. A continuaci
on calcularemos la funcion de confiabilidad para sistemas en paralelo. Usaremos la misma notacion e hipotesis que en la seccion
anterior.
Proposici
on 6.10 La funci
on de confiabilidad de un sistema de n componentes conectados en paralelo como en de la Figura 6.7 es
Rt
Demostraci
on.
R1 t
Rn t .
Primeramente se tiene que, por independencia,

F t
P T
P T1
t, . . . , Tn
F1 t
Fn t .
n y confiabilidad
192
Por lo tanto,
Rt
F t
F1 t
Fn t
1
R1 t
Rn t .
!
Observemos que la funci

on de confiabilidad R t para sistemas en paralelo
recien encontrada es una funcion creciente de n. Es decir, mientras mas
componentes haya en el sistema mas seguro es este. En consecuencia, el
tiempo medio de falla es una funcion creciente de n. Por otro lado, no es
difcil demostrar que las funciones de distribucion y de densidad del tiempo
de falla T del sistema en paralelo de la Figura 6.7 son:
y
FT t
Fn t ,
fT t
nFn
t f t.
Puede calcularse la funci

on de tasa de falla del sistema r t en terminos
de las funciones r1 t , . . . , rn t para sistemas en paralelo, pero la expresion
que resulta no es simple ni compacta como las que hemos presentado y por
lo tanto la omitiremos.
Ejemplo 6.10 Para un sistema de n componentes puestos en paralelo en
donde cada uno de ellos tiene un tiempo de falla exponencial de par
ametro
se tiene que
Rt
y
r t
1
1 e t n ,
n 1 e t n 1 e
1
1 e t n
Confiabilidad para sistemas combinados serie/paralelo

Pueden tambien considerarse sistemas que son una combinacion de sistemas
en serie y en paralelo como el que se muestra en la parte izquierda de
la Figura 6.8. Sistemas de este tipo pueden ser representados de manera
equivalente, como se muestra en la parte derecha de la misma figura. Para
este caso, la funci
on de confiabilidad del sistema es
Rt
R1 t 1
R2 t
R3 t
193
6.6. Ejercicios
C2
C1
C2
C3
C1
C3
C1
Figura 6.8
Notas y referencias. En los textos de Karlin y Taylor [17], Basu [1], y
Lawler [21] se pueden encontrar algunos otros resultados y aplicaciones de
los procesos de renovaci
on.
6.6.
Ejercicios
on
0 un proceso de renovacion. Indique si cada una de

150. Sea Nt : t
las siguientes igualdades de eventos es falsa o verdadera. Explique en
cada caso.
a) Nt
Wn
b) Nt
Wn
c) Nt
Wn
d) Nt
Wn
e) Nt
Wn
151. Sea F t la funci

on de distribucion de una variable aleatoria no negativa. Demuestre que
a) F
F n t , para n
b) F
t , para n
1.
m.
152. Respecto de la definicion de proceso de renovacion, demuestre que los

procesos Tn : n 1, 2, . . . , Wn : n 0, 1, . . . y Nt : t 0 pueden
escribirse cada uno en terminos de cualquier otro.
n y confiabilidad
194
153. Es la suma de dos procesos de renovacion independientes nuevamente

un proceso de renovacion? Los siguientes ejercicios dan respuesta a
esta pregunta.
a) Demuestre que si la suma de dos procesos de renovacion independientes resulta ser un proceso de Poisson, entonces ambos
sumandos son procesos de Poisson.
b) Demuestre que si la suma de dos procesos de renovacion independientes y con la misma funcion de distribucion de interarribo
es un proceso de renovacion, entonces la suma y cada uno de los
sumandos es un proceso de Poisson.
c) Mediante un contraejemplo demuestre que, en general, la suma
de dos procesos de renovacion independientes y con la misma
funci
on de distribucion de interarribo no es necesariamente un
proceso de renovacion.
154. Sea Nt : t
k 1,
0 un proceso de renovacion. Demuestre que para cada

E Ntk
nk F
n 1
t.
n 0
155. Sea Nt : t
0 un proceso de renovacion. Demuestre directamente
que para cada n fijo,
lm P Nt
0.
Funci
on y ecuaci
on de renovaci
on
156. Sea Nt : t 0 un proceso de renovacion con funcion de renovacion
E Nt . Demuestre que para cualquier t 0,
t
0
157. Sea Nt : t
Defina t
1
.
F t
0 el proceso de conteo de un proceso de renovacion.

E Nt , y 2 t
E Nt2 . Demuestre que:
195
6.6. Ejercicios
a) 2 t
2n
1F
t.
n 1
t
b) 2 t
s d s .
Encuentre adem
as 2 t cuando Nt : t
0 es un proceso de Poisson.
158. Sea Nt : t 0 un proceso de renovacion. Demuestre que la funcion

At
E WNt 1 satisface la ecuacion de renovacion
t
At
At
E T
s dF s .
Tiempos de vida
159. Demuestre que el tiempo de vida restante t y el tiempo de vida
transcurrido t , para un proceso de renovacion, tienen distribucion
conjunta dada por la siguiente expresion: para 0 y t,
t
P t
x, t
F t
u d u .
t y
Use ahora este resultado para demostrar que en el caso cuando el

proceso de renovaci
on es el proceso de Poisson, las variables t y t
son independientes.
160. Considere el proceso de Poisson visto como un proceso de renovacion,
es decir, los tiempos de vida tienen distribucion exponencial con parat satisface
metro . Demuestre que la funcion de renovacion t
la ecuaci
on de renovacion
t
s e
ds.
161. Considere un proceso de Poisson Nt : t 0 de parametro 0 visto

como un proceso de renovacion. Para el tiempo de vida transcurrido
t demuestre que:
n y confiabilidad
196
a) La funci
on de distribucion de t es
1
P t
si 0
1
0
t,
si x t,
otro caso.
b) La funci
on de densidad de t es
e
f x
c) E t
1
1
si 0
t,
otro caso.
Tome el lmite cuando t

y compruebe que las expresiones anteriores corresponden a las de la distribucion exp .
0 de parametro
0
162. Considere un proceso de Poisson Nt : t
visto como un proceso de renovacion. Para el tiempo de vida total t
demuestre que:
a) La funci
on de distribucion de t es
P t
x e
si x
0,
otro caso.
b) La funci
on de densidad de t es
2 xe
1
f x
0
c) E t
1
2
t e
si 0
si x
t,
t,
otro caso.
0 y compruebe que las expresiones anteTome el lmite cuando t

riores corresponden a las de la distribucion exp .
163. Sea t
WNt 1 t el tiempo de vida restante al tiempo t en un
proceso de renovaci
on.
197
6.6. Ejercicios
a) Dibuje una posible trayectoria del proceso t : t
0 .
b) Demuestre que
lm
1
t
s ds
0
E T2
2E T
c.s.,
para ello observe la trayectoria dibujada en el inciso anterior,

aproxime la integral por la suma de las areas de los triangulos
y use el teorema elemental de renovacion y la ley fuerte de los
grandes n
umeros.
Confiabilidad
164. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes
puestos en serie como en la Figura 6.6. Suponga que las correspondientes funciones de distribucion y de densidad son F1 t , . . . , Fn t ,
y f1 t , . . . , fn t , respectivamente. Demuestre que las funciones de
distribuci
on y de densidad del tiempo de falla del sistema dado por
T mn T1 , . . . , Tn son:
a) F t
F1 t
Fn t .
b) f t
fk t 1
F1 t 1 k
Fn t 1 k
k 1
165. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes

puestos en paralelo como en la Figura 6.7. Suponga que las correspondientes funciones de distribucion y de densidad son F1 t , . . . , Fn t ,
y f1 t , . . . , fn t , respectivamente. Demuestre que las funciones de
distribuci
on y de densidad del tiempo de falla del sistema dado por
ax T1 , . . . , Tn son:
T m
a) F t
F1 t
Fn t .
fk t 1
b) f t
k 1
F1 t 1 k
Fn t 1 k
n y confiabilidad
198
Confiabilidad para sistemas en serie

166. Suponga que los tiempos de falla T1 , . . . , Tn de los componentes del
sistema en serie de la Figura 6.6 son identicamente distribuidos con
funci
on de distribucion F t , y funcion de densidad f t . Demuestre
que el tiempo de falla T del sistema tiene funcion de distribucion y
densidad dada por las siguientes expresiones:
a) FT t
b) fT t
n1
F t
F t
n.
n 1f
t.
Confiabilidad para sistemas en paralelo

167. Demuestre que las funciones de distribucion y de densidad del tiempo
de falla T del sistema en paralelo de la Figura 6.7 son:
a) FT t
Fn t .
b) fT t
nFn
t f t.
Confiabilidad para sistemas combinados serie/paralelo

168. Encuentre la funci
on de confiabilidad para cada uno de los sistemas
de componentes que aparecen en la Figura 6.9.
C1
C2
C3
Figura 6.9
C1
C3
C2
C4
Captulo 7
Martingalas
Existen varias acepciones para el termino martingala. Una de ellas hace referencia a un tipo
de proceso estoc
astico que basicamente cumple la identidad
E Xn
X0
x0 , . . . , Xn
xn
xn .
Hemos mencionado en la parte introductoria

de este texto que este tipo de modelo corresponde a un proceso que representa la evoluJoseph Doob
ci
on del capital de un jugador que realiza una
(E.U.A., 19102004)
sucesi
on de apuestas justas. Parte de la motivaci
on para el estudio de este tipo de procesos
fue buscar demostrar la inexistencia de estrategias ventajosas en este juego
de apuestas. El concepto de martingala fue incorporado a la teora de la
probabilidad por Paul Lèvy, y buena parte de su desarrollo inicial fue realizado por Joseph Doob. En este captulo se presenta una introduccion a la
teora de martingalas a tiempo discreto y se mencionan algunas definiciones
generales que incluyen el caso de tiempo continuo. Sin embargo, los resultados se presentan u
nicamente en el caso discreto. En la u
ltima parte del
captulo haremos uso de algunas herramientas de la teora de la medida.
199
200
7.1.
7. Martingalas
Filtraciones
Sea , F , P un espacio de probabilidad para modelar un cierto experimento aleatorio. La -

algebra F es la estructura que agrupa a los eventos
del experimento aleatorio a los cuales se les puede calcular su probabilidad. Suponga ahora que se consideran dos sub -algebras F1 y F2 tales
F2 . Entonces F2 contiene mas informacion que F1 en el senque F1
tido de que, en general, un mayor n
umero de conjuntos son considerados
como eventos. M
as generalmente, puede considerarse una sucesion no deEste tipo de estructuras surgen
creciente de sub -
algebras F1 F2
de manera natural, por ejemplo, para un proceso estocastico a tiempo discreto Xn : n 1 , pues puede construirse la sucesion Fn n 1 de la siguiente
forma:
Fn X1 , . . . , Xn ,
F2
En este caso la
en donde efectivamente se cumple que F1
-
algebra Fn contiene los eventos para los cuales puede determinarse su
ocurrencia o no ocurrencia, solo con la informacion o historia del proceso
hasta el tiempo n.
1 representan los resultados de
Ejemplo 7.1 Si las variables Xn : n
lanzar sucesivamente un dado, y si se define el evento A como La suma de
los dos primeros resultados es mayor a 3, entonces es claro que A F1 , sin
embargo A F2 . Por supuesto, si sucede por ejemplo que X1 4, entonces
sabemos que el evento A ocurre, pero sin esta informaci
on adicional la ocurrencia o no ocurrencia del evento A no puede determinarse sino hasta el
segundo lanzamiento del dado.
Estas consideraciones sobre sucesiones no decrecientes de -algebras llevan
a la definici
on de filtraci
on.
Definici
on 7.1 Una filtraci
on es una colecci
on de -
algebras Fn n 1 tal
on natural o can
onica
que Fn Fm , cuando n m. En particular, la filtraci
de un proceso Xn : n 1 es aquella sucesi
on de -
algebras definidas por
Fn
X1 , . . . , Xn ,
1.
A tiempo continuo las definiciones de estos conceptos son an

alogas: una
filtraci
on es una colecci
on no numerable de sub -algebras Ft t 0 tal que
201
7.1. Filtraciones
Fs Ft , cuando 0 s t. La filtracion natural o canonica de un proceso

a tiempo continuo Xt : t 0 es la coleccion de -algebras Ft t 0 dadas
Xs : 0 s t , esto es, Ft es la mnima -algebra que hace
por Ft
que cada una de las variables Xs , para valores de s en el intervalo 0, t ,
sean medibles. A la -
algebra Ft se le denomina la historia del proceso al
tiempo t. Regresemos al caso de tiempo discreto.
Definici
on 7.2 Se dice que un proceso estoc
astico Xn : n 1 es adaptado
a una filtraci
on Fn n 1 si la variable Xn es Fn -medible, para cada n 1.
Inicialmente sabemos que cada variable aleatoria Xn del proceso es F medible. La condici
on de adaptabilidad requiere que Xn sea tambien una
variable aleatoria respecto de la sub -algebra Fn . Esta condicion tecnica
de adaptabilidad facilita el calculo de probabilidades de los eventos de un
proceso en ciertas situaciones. Naturalmente todo proceso es adaptado a
su filtraci
on natural, y puede demostrarse que la filtracion natural es la filtraci
on m
as peque
na respecto de la cual el proceso es adaptado. El siguiente
caso particular es necesario de considerar.
Definici
on 7.3 Se dice que el proceso Xn : n 1 es predecible respecto
de la filtraci
on Fn n 0 si para cada n 1, la variable Xn es Fn 1 -medible.
Observe que en este caso la filtracion debe comenzar con el subndice cero.
Evidentemente todo proceso predecible es adaptado. La definicion de adaptabilidad es la misma en el caso de procesos a tiempo continuo, y se pueden
definir adem
as las siguientes dos -algebras:
F
Ft ,
t 0
Ft
Fs .
s t
Ft .
Se dice entonces que una filtracion es continua por la derecha si Ft
Si Ft es una filtraci
on continua por la derecha y la -algebra inicial F0
contiene a todos los subconjuntos insignificantes de F , entonces la filtracion
se llama est
andar, o bien que satisface las condiciones usuales. Algunos
c
alculos requieren suponer estas hipotesis.
202
7.2.
7. Martingalas
Tiempos de paro
Sea Xn : n 1 un proceso adaptado a una filtracion Fn n 1 . Un tiempo

de paro es una variable aleatoria con valores en el espacio parametral de
este proceso, que registra el tiempo en el que ocurre un cierto evento del
proceso de tal forma que puede determinarse si ha ocurrido o no ha ocurrido
tal evento al tiempo n con la informacion de la -algebra Fn . Esta variable
aleatoria puede tomar el valor infinito cuando el evento de interes nunca
ocurre.
Definici
on 7.4 Una variable aleatoria con valores en 1, 2, . . .
un tiempo de paro respecto de una filtraci
on Fn n 1 si para cada n
cumple que n Fn .
es
1 se
Bajo la interpretaci
on de que es un tiempo aleatorio en el cual ocurre
un cierto evento de interes, la condicion
n
Fn puede interpretarse
del siguiente modo: la pregunta de si el evento de interes ha ocurrido al
tiempo n o antes, debe poder ser respondida con la informacion dada por la
filtraci
on al tiempo n. No es difcil comprobar que la condicion que aparece
en la definici
on es equivalente a la condicion n Fn , para cada n 1.
Ejemplo 7.2 (Tiempo de primer arribo) Sea X1 , X2 , . . . una sucesi
on
de variables aleatorias adaptada a la filtraci
on Fn n 1 . Sea A un conjunto
de Borel de R, y defina
mn n
1 : Xn
A ,
. Es decir, es el primer momento

en donde conviene definir mn
en el que la sucesi
on toma un valor dentro del conjunto A, si acaso ello
sucede. La variable aleatoria es un tiempo de paro, pues para cualquier
valor entero de n,
X1
Xn
Xn
Fn .
En particular, y recordando el problema de la ruina del jugador, tomando

A como el conjunto 0, N , el primer momento en el que la variable Xn
1
n toma uno de los dos valores del conjunto A es un tiempo de
paro, y es el tiempo aleatorio en el cual el juego finaliza, ya sea porque el
jugador se arruina o porque gana todo el capital.
203
7.3. Martingalas
Ejemplo 7.3 (Tiempo de segundo arribo) Sea nuevamente X1 , X2 , . . .

una sucesi
on de variables aleatorias adaptada a la filtraci
on Fn n 1 , y sea
A un conjunto de Borel de R. Dado un tiempo de paro finito 1 , defina ahora
un segundo tiempo de paro de la siguiente forma:
mn n
1 : Xn
A .
Es decir 2 es el primer momento, despues de 1 , en el que el proceso toma

un valor dentro del conjunto A. Naturalmente se cumple 1 2 . Esta nueva
variable resulta tambien ser un tiempo de paro, pues el siguiente conjunto
es un elemento de Fn .
n 1
Xk
Xn
Xn
A.
k 1
En el caso de tiempos continuos, la definicion de tiempo de paro es la siguiente.

Definici
on 7.5 Una variable aleatoria :
0,
es un tiempo
de paro respecto de una filtraci
on Ft t 0 si se cumple que para cada t 0,
7.3.
Ft .
Martingalas
Definici
on 7.6 Se dice que un proceso a tiempo discreto Xn : n 1 es
una martingala respecto de una filtraci
on Fn n 1 si cumple las siguiente
tres condiciones:
a) Es integrable.
b) Es adaptado a la filtraci
on.
c) Para cualesquiera n
m,
E Xm Fn
Xn , c.s.
(7.1)
Xn , enCuando en lugar de (7.1) se cumple la desigualdad E Xm Fn

tonces el proceso es una submartingala, y si E Xm Fn
Xn , entonces es
una supermartingala.
204
7. Martingalas
Las martingalas tienen una interpretacion sencilla en terminos de juegos

justos que ya hemos mencionado antes: si Xn denota el capital de un jugador
al tiempo n, entonces la igualdad (7.1) establece que la fortuna promedio al
tiempo futuro m, dado que se conoce la historia del juego hasta el tiempo
n, es su capital al tiempo n, es decir, el juego es justo pues en promedio el
jugador no pierde ni gana. En este sentido, la desigualdad E Xm Fn
Xn , correspondiente a la definicion de submartingala, equivale a un juego
favorable al jugador. La desigualdad contraria, el caso de submartingala,
corresponde a un juego desfavorable al jugador. Puede comprobarse que la
condici
on (7.1) es equivalente a la igualdad aparentemente mas debil
E Xn
Fn
Xn .
Esta u
ltima condici
on es la que a menudo usaremos para verificar la propiedad de martingala de un proceso a tiempo discreto. Ademas, cuando la
filtraci
on es la natural, es decir, cuando Fn X1 , . . . , Xn , la condicion
de martingala puede escribirse en la forma
E Xn
X1 , . . . , Xn
Xn .
Observe que toda martingala es al mismo tiempo una submartingala y una

1 es una submartingala, entonces
supermartingala, y que si Xn : n
Xn : n 1 es una supermartingala. Por lo tanto, toda propiedad para
submartingalas puede ser escrita tambien para supermartingalas bajo este
1 se
cambio de signo. Por otro lado, tomando esperanza en (7.1) con n
obtiene la igualdad
E Xm
E X1 ,
para cada m
1,
esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. Analogamente, tomando esperanza ahora
en la condici
on de submartingala se obtiene que para cualesquiera tiempos
1 n m,
E Xn ,
(7.2)
E Xm
esto puede interpretarse en el sentido de que las submartingalas son procesos
cuyas trayectorias, en promedio, tienden a crecer. Mas adelante demostraremos que cuando la submartingala es acotada superiormente, es convergente.
Este interesante resultado es el analogo estocastico al hecho de que toda
205
7.4. Ejemplos
sucesi
on de n
umeros reales creciente y acotada es convergente. Para procesos
a tiempo continuo, la condicion de martingala se escribe E Xt Fs
Xs ,
s
t, sin olvidar la condipara cualesquiera tiempos s y t tales que 0
ciones de adaptabilidad e integrabilidad para poder llamar a tal proceso una
martingala.
7.4.
Ejemplos
on algunos ejemplos de martingalas.
Martingala del juego de apuestas
on de variables aleatorias independientes identicamente distribuidas y con esperanza finita. Defina Xn
1
n , y
1 , . . . , n . La variable aleatoria Xn puede
considere la filtraci
on Fn
interpretarse como la fortuna de un jugador despues de n apuestas sucesivas
en donde la ganancia o perdida en la k-esima apuesta es k . Claramente el
proceso Xn : n 1 es integrable y es adaptado. Ademas, para cada n 1,
E Xn
Fn
Fn
Xn
E n
Fn
Xn
E n
E Xn
Cuando el resultado promedio de cualquiera de las apuestas es cero, el segundo sumando se anula y se tiene un ejemplo de martingala, es decir, un
juego justo. En particular, una caminata aleatoria simetrica es una martingala. Si el resultado promedio de las apuestas es mayor o igual a cero,
Xn , y por lo tanto el proceso es una submartingala,
entonces E Xn 1 Fn
un juego favorable al jugador. Finalmente, cuando el resultado promedio de
cualquier apuesta es menor o igual a cero, el proceso es una supermartinXn , correspondiente a un juego desfavorable al
gala pues E Xn 1 Fn
jugador.
Martingala del proceso de Poisson centrado
Sea Xt : t 0 un proceso de Poisson de parametro . Entonces el proceso
centrado Xt t : t 0 es una martingala. En efecto, este nuevo proceso
206
7. Martingalas
es integrable y adaptado. Ademas, para cada 0

E Xt
t Fs
t,
E Xt Fs
E Xt
Xs
Xs Fs
E Xt
Xs Fs
E Xt
Xs
Xs
Xs
s.
Xs
Xs
t
t
Este ejemplo es un caso particular del siguiente resultado que el lector puede
f
acilmente verificar siguiendo el calculo anterior: si un proceso integrable
Xt : t 0 tiene incrementos independientes, entonces el proceso centrado
Xt E Xt : t 0 es una martingala.
Martingala de la esperanza condicional
Sea X una variable aleatoria integrable, y sean F1 y F2 dos sub -algebras
tales que F1
F2 . No es difcil comprobar la siguiente propiedad de la
esperanza condicional:
E E X F2
F1
E X F1 .
Sea Fn n 1 una filtraci

on dada. Usando la identidad anterior demostraremos que la sucesi
on de variables aleatorias dada por Xn E X Fn es
una martingala. Es claro que cada una de estas variables es integrable y por
definici
on de esperanza condicional el proceso es adaptado a la filtracion.
Adem
as
E Xn
Fn
E E X Fn
Fn
E X Fn
Martingala de la urna de Polya

Suponga que una urna contiene inicialmente una bola blanca y una bola negra. Un experimento consiste
en escoger una bola al azar y regresarla a la urna
junto con otra bola del mismo color. Este experimento se repite varias veces. Sea Xn el n
umero de
bolas blancas en la urna despues del n-esimo ensayo.
Xn .
Figura 7.1
207
7.5. Procesos detenidos
Es claro que X0 1, y que despues del n-esimo ensayo hay n 2 bolas en la

urna. Adem
as 1 Xn n 1, y por lo tanto E Xn
. Las probabilidades
de transici
on son las siguientes
1 Xn
P Xn
P Xn
k Xn
2
k
n
2
n
n
,
.
Xn Yn 1 , en donde Yn 1 es una
Observe que se puede escribir Xn 1
variable aleatoria que toma el valor 1 cuando se escoge una bola blanca
en la extracci
on n 1, y el valor 0 cuando la bola escogida es negra, por lo
tanto,
E Xn
Xn
Xn
2 Xn
n 2
Xn
n 2
n
n
3
Xn .
2
Este c
alculo demuestra que el proceso Xn : n 0 no es una martingala.
Sin embargo, si se define Mn Xn n 2 , lo cual representa la fraccion de
bolas blancas en la urna despues de la n-esima extraccion, entonces se tiene
que
Xn 1
Xn
E Mn 1 Fn
E
Fn
Mn .
n 3
n 2
Es decir, hemos comprobado que el proceso Mn : n 0 es una martingala.
Se modifica el resultado si la configuracion inicial de la urna es distinta a
la considerada? Se modifica el resultado si en lugar de agregar una bola
adicional se agregan r bolas del mismo color?
7.5.
Procesos detenidos
Sea Xn n 0 un proceso estocastico adaptado a una filtracion Fn n 0 ,

y sea un tiempo de paro respecto de la misma filtracion. En ocasiones
es necesario considerar un proceso de la forma X n , en donde n
mn , n . A este tipo de procesos se les llama procesos detenidos, por ejemplo, suponga que k, entonces,
X
Xn si n
Xk si n
k,
k.
208
7. Martingalas
Es decir, como funci

on del parametro n el proceso se vuelve constante a
partir del tiempo aleatorio .
Medibilidad y adaptabilidad de X n
Las variables del proceso detenido son efectivamente variables aleatorias y
el proceso mismo es adaptado a la misma filtracion, pues para cualquier
n
umero real x, y para cada n
umero natural n,
n
Xk
Xn
x .
k 1
La expresi
on del lado derecho es claramente un elemento de Fn . Si el proceso
original es integrable, entonces el proceso detenido es tambien integrable,
pues
E X
E X 1
E Xn 1
E Xk 1
E Xn 1
k 1
n
E Xk
E Xn
k 1
1 es la martingala del juego de

Por ejemplo, considere que Xn : n
apuestas. Suponga que el jugador decide dejar de jugar cuando pierda todo
su capital o cuando consigue ganar el doble de su capital inicial. El momento
aleatorio en el que ocurre alguno de estos dos eventos es un tiempo de paro .
El capital del jugador en cualquier tiempo n puede expresarse como X n . Se
puede demostrar que si Xn : n 0 es un proceso adaptado a la filtracion
Fn n 0 , y es un tiempo de paro con valores en 0, 1, . . . que ademas
1, entonces X es una variable aleatoria.
es finito, es decir, P
Teniendo como v
alido este resultado, demostraremos a continuacion que
una martingala detenida sigue siendo martingala.
0 es una martingala, submartingala o
Proposici
on 7.1 Si Xn : n
supermartingala, y es un tiempo de paro respecto de la misma filtraci
on,
:
n
entonces el proceso detenido X n
0 tambien lo es.
Demostraci
on.
Hemos demostrado antes que el proceso detenido es
adaptado e integrable. Resta demostrar la propiedad de martingala. El caso
n: estrategias de juego
7.6. Una aplicacio
209
submartingala o supermartingala se obtiene modificando adecuadamente la

pen
ultima igualdad en el siguiente analisis.
n
E X
n 1
E Xk 1
Fn
Fn
E Xn
11 n
Fn
k 1
n
Xk 1
E Xn
Xk 1
Xn 1
Fn 1
k 1
n
n
k 1
7.6.
Una aplicaci
on: estrategias de juego
Considere nuevamente la sucesion de variables aleatorias independientes

identicamente distribuidas n tal que P
1
1 2 yP
1
1 2, y con filtraci
on natural Fn n 1 . Considere las sumas
Xn
n .
1 es una martingala que representa el total de

Sabemos que Xn : n
ganancias en una serie de n apuestas justas de una unidad monetaria. Suponga ahora que el monto de cada apuesta no es uno, sino una cantidad an para
la n-esima apuesta. Supondremos que an es una variable aleatoria que el jugador determina a partir de la informacion de las n 1 apuestas previas,
y por lo tanto es una variable Fn 1 -medible, es decir, se trata de un pro1 con
ceso predecible. A la coleccion de variables aleatorias an : n
esta caracterstica se le llama una estrategia de juego. Bajo una de estas
estrategias, el capital del jugador despues de la n-esima apuesta es ahora la
variable aleatoria
an n ,
An a1 1
la cual es Fn -medible. Bajo la hipotesis de que la estrategia de juego consta
de variables aleatorias acotadas, se cumple que el proceso An : n 1 es
210
7. Martingalas
integrable y cumple adem

as la propiedad de martingala, pues
E An
Fn
E An
an
1 n 1
Fn
Fn
An
an
1E
An
an
1E
Xn
An
an
1
1
E Xn
Xn Fn
Fn
Xn
An .
Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganan1 es una martingala siempre y cuando el proceso original
cias An : n
Xn : n 1 lo sea. Es importante que los apostadores conozcan este resultado pues quiere decir que no existe una estrategia de juego que convierta
un juego justo en un juego favorable o desfavorable al jugador. El mismo
an
alisis demuestra que si el proceso original Xn : n 1 es una submartingala o supermartingala y la estrategia de juego consta de variables aleatorias
no negativas y acotadas, entonces el proceso An : n 1 sigue siendo una
submartingala o supermartingala.
Uno de los varios significados del temino martingala, y que parece ser el original, establece que una martingala es una estrategia de juego en la cual un
jugador apuesta sucesivamente en cada lanzamiento de una moneda honesta
del siguiente modo: inicialmente apuesta una unidad monetaria. En caso de
perder, dobla el monto de la apuesta para el siguiente lanzamiento. En caso
de ganar, vuelve a apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se muestra una tabla con algunos resultados siguiendo
esta estrategia de juego.
Monto de la apuesta
Resultado del lanzamiento
Ganancia
1
x
-1
2
x
-3
4
x
-7
8
"
1
1
"
2
1
x
1
2
"
3
1
x
2
Figura 7.2
Bajo esta estrategia de juego resulta que cada vez que el jugador acierta se
recupera de las perdidas anteriores e incluso incrementa su fortuna en una
unidad monetaria. En efecto, si el jugador pierde las primeras n apuestas y
n: estrategias de juego
7.6. Una aplicacio
gana la apuesta n
211
1, entonces su capital al tiempo n
1 es
n 1
21
22
2n
n apuestas perdidas
2n
apuesta n
2k
2n
k 0
1 ganada
1 2n
1 2
1 2n
2n
2n
1.
De esta manera si el jugador pudiera mantener esta estrategia de juego
tendra una unidad ganada por cada acierto que haya conseguido. Parece
ser una estrategia segura de ganar, sin embargo, veamos cuanto, en promedio, podra ser su deficit justo antes de recuperarse, es decir, calcularemos
E X 1 , en donde es el tiempo de paro en el que el jugador acierta por
primera vez. Puede comprobarse que este tiempo de paro es finito casi seguramente, es decir, P
1. De hecho, con probabilidad uno, el jugador
tendra eventualmente un exito aun cuando sus probabilidades de acertar
fueran peque
nas. Como hemos visto, despues de n apuestas consecutivas
perdidas el capital empe
nado es
1
21
22
2n
2n ,
y la probabilidad de perder n apuestas sucesivas y ganar la apuesta n

es 1 2n 1 . Por lo tanto,
E X
E X
E Xn
n P
n 1
n 1
1
n 1
2n
1
2n
.
Es decir, se requerira de un capital promedio infinito y poder apostar una
infinidad de veces para llevar a cabo con exito esta estrategia, algo no muy
factible en terminos de dinero y tiempo.
212
7.7.
7. Martingalas
Teorema de paro opcional y aplicaciones
Hemos observado antes que para una martingala Xn : n

1 se cumple
que E Xn
E X1 , para cualquier valor de n. Si ademas se tiene un
E X1 , e
tiempo de paro finito , no necesariamente es cierto que E X
incluso expresiones como E X podran no ser finitas como en la estrategia
de juego llamada martingala analizada en la seccion anterior. El siguiente
resultado establece condiciones bajo las cuales la variable X tiene la misma
esperanza que la martingala.
1 una marTeorema 7.1 (Teorema de paro opcional) Sea Xn n
tingala y sea un tiempo de paro finito, ambos respecto de una filtraci
on
Fn n 1 , tales que:
a) X es integrable.
b) lm E Xn 1
n
Entonces
0.
E Xn , para cualquier n
E X
Demostraci
on.
1.
La observacion importante es que para cualquier n

Xn 1
Tomando esperanza y usando el hecho de que X
es una martingala,
E X
E X
E X1
Xn 1
E X
E X 1
1,
E Xn 1
Como el proceso original es una martingala, el primer sumando es E Xn .

Haciendo n
, el tercer sumando se anula por hipotesis. Usando la
hip
otesis de integrabilidad de X y el teorema de convergencia dominada,
el segundo sumando converge tambien a cero pues es la cola de la serie
convergente
E X
Xk 1
E
k 1
E Xk 1
k 1
213
Como una aplicaci

on del teorema de paro opcional calcularemos algunos
tiempos medios de arribo en caminatas aleatorias.
Caso caminata sim
etrica, barrera sim
etrica
Sea Xn : n 0 una caminata aleatoria simetrica simple sobre Z que inicia
en cero, y sea b
1 un entero
cualquiera. Defina el tiempo de paro
Xn
mn n
1 : Xn
b ,
n
es decir, es el primer momento en el
que la caminata alcanza, en valor absoluto, el nivel b, vease la Figura 7.3.

b
Nos interesa encontrar E , esto es, el
n
umero promedio de pasos que le toma
Figura 7.3
a la caminata llegar al nivel b. Sabemos que tanto el proceso Xn : n 0
como Xn2 n : n
0 son martingalas. Suponiendo de manera preliminar que las condiciones del teorema de
paro opcional se cumplen, se tiene que E X2
E X12 1
0. Por lo
2
2
E X
b . La u
ltima igualdad se obtiene al observar que
tanto, E
X
b. En palabras, este resultado dice que la caminata aleatoria simetrica simple que inicia en cero necesita, en promedio, b2 pasos para alcanzar,
en valor absoluto, el nivel b.
Caso caminata sim

etrica, barrera asim
etrica
Generalizaremos ahora el calculo del parrafo anterior para el caso en el que
se tiene una barrera inferior a y una barrera superior b, con a, b N, no
necesariamente identicos. La idea es aplicar nuevamente el teorema de paro
opcional aunque los c
alculos no son tan inmediatos. Supongamos entonces
que Xn : n 0 es una caminata aleatoria simetrica simple que inicia en
cero y defina el tiempo de paro
mn n
0 : Xn
b o Xn
a ,
en donde a, b N. Nuevamente el proceso centrado Xn2 n : n 0 es una

E X12 1
0, de donde se obtiene
martingala y por lo tanto E X2
214
7. Martingalas
E
E X2 . Ahora no es tan sencillo calcular esta esperanza pues X2
puede tomar dos valores, b2 o a2 . Entonces,
E X2
b2 P X
a2 P X
a.
Defina uk P X b X0 k . Usando analisis del primer paso, es decir,

condicionando sobre el valor que toma la caminata aleatoria en el primer
paso, puede comprobarse que la probabilidad uk cumple la ecuacion en
diferencias
2uk uk 1 uk 1 ,
con condiciones de frontera ub
1yu
a
a
uk
k
.
b
An
alogamente, definiendo vk P X
cumple la ecuaci
on en diferencias
2vk
con condiciones de frontera vb
vk
a X0
vk
0yv
vk
0, y cuya solucion es
1,
b
a
k , se encuentra que vk
k
.
b
Por lo tanto,
E
E X2
b2 P X
2
a2 P X
b u0 a v0
a
b
b2
a2
a b
a b
ab.
Cuando a
ca.
b se recupera el resultado del caso cuando la barrera es simetri-
Caso caminata asim

etrica, barrera asim
etrica
En este caso el proceso Xn : n 0 no es una martingala pero debido a la
propiedad de incrementos independientes, el proceso centrado
Xn
np
q :n
215
lo es. Suponiendo nuevamente que las condiciones del teorema de paro opcional se cumplen, se tiene que E X p q
E X1
p q
0.
E X p q . El problema es nuevamente
De donde se obtiene E
encontrar E X . Tenemos que
E X
b P X
a P X
a.
Defina nuevamente uk
P X
b X0
k . Usando analisis del primer
paso puede comprobarse que uk cumple la ecuacion en diferencias
p uk
uk
con condiciones de frontera ub
1yu
p q b
1
uk
q uk
p q
p q
An
alogamente, definiendo vk P X
cumple la ecuaci
on en diferencias
vk
p vk
con condiciones de frontera vb
q pa
1
vk
a b
a b
k , se encuentra que vk
a X0
q vk
0yv
1,
q p
q p
1,
a b
a b
Por lo tanto,
E X
b u0 a v0
p q b
p q a b
q p
b
a
a
b
1
p q
1
b
1
p q
.
b
a b
1
p q a b
q p
q pa
a b
b
Entonces,
E
b
p
a
p
b 1
q 1
p q b
.
p q a b
Verificaremos a continuaci
on la validez de las tres condiciones del teorema
de paro opcional para esta aplicacion cuando la caminata y las barreras son
simetricas.
216
7. Martingalas
a) Demostraremos que
c.s. La estrategia consiste en considerar
bloques sucesivos de 2b pasos en la caminata aleatoria. Observe que
el evento
es el lmite de la sucesion decreciente de eventos
2bk , para k 1, 2, . . ., y que el evento 2bk esta contenido
en el evento Ninguno de los primeros k bloques contiene u
nicamente
valores 1. La utilidad de este evento mayor radica en que es facil
calcular su probabilidad, como veremos a continuacion. Tenemos que
lm P
2bk
lm P Ninguno de los primeros k bloques
contiene u
nicamente valores
lm 1
2b k
1 2
0.
b) Demostraremos ahora que E X2
que
E X2
b2
. Como X2
b2 , se tiene
b2
kP
k 0
2b
b2
2bk
2bk
j P
k 0 j 1
2b
b2
2b k
1 P
2bk
k 0 j 1
b2
2b
1 1
1 2
2b k
k 0
.
c) Finalmente verificaremos que E Xn2
E Xn2
n1
n 1
E Xn2 1
2
N P
0, cuando
E n1
E 1
n
n
217
7.8. Algunas desigualdades
La sucesi
on de eventos n es monotona decreciente y por lo tanto
convergente, su lmite es el evento
que tiene probabilidad cero.
El primer sumando por lo tanto se hace peque
no cuando n crece. Como
, la sucesi
on de variables 1 n es tambien decreciente y
E
consta de variables aleatorias integrables cuyo lmite es cero c.s. El
segundo sumando por tanto tambien converge a cero.
7.8.
Algunas desigualdades
En esta secci
on se demostraran algunas desigualdades asociadas a submartingalas. No haremos mayor uso de ellas en lo sucesivo pero en sus
demostraciones se pondr
an en practica algunos resultados estudiados antes.
Proposici
on 7.2 (Desigualdad maximal de Doob) Sea Xn : n 1
una submartingala no negativa y defina Xn
max X1 , . . . , Xn . Entonces
para cualquier 0,
P Xn
Demostraci
on.
E Xn 1 Xn
Para cada n natural defina el tiempo de paro
mn 1
n : Xk
Es decir, es el primer momento hasta n en el que el proceso alcanza o rebasa

n. Como Xn : n 1
el valor . Si tal evento nunca ocurre, entonces
es una submartingala y 1
n, se tiene que E Xn
E X . Observe
, entonces X
, y si ocurre Xn
,
que si ocurre el evento Xn
entonces n. Por lo tanto,
E Xn
E X
E X 1 Xn
P Xn
E X 1 Xn
E Xn 1 Xn
Es decir,
P Xn
E Xn
E Xn 1 Xn
E Xn 1 Xn
.
!
218
7. Martingalas
Proposici
on 7.3 (Desigualdad maximal de Doob en L2 ) Sea Xn :
n
1 una submartingala no negativa y cuadrado integrable. Para Xn
m
ax X1 , . . . , Xn se tiene que
E Xn
4 E Xn2 .
Demostraci
on. El segundo momento de una variable aleatoria no negativa X puede expresarse, cuando existe, de la siguiente forma:
E X2
xP X
x dx.
Usando esta expresi

on, la desigualdad maximal de la Proposicion 7.2, el
teorema de Fubini y despues la desigualdad de Cauchy-Schwarz se tiene que
E Xn
2
0
2
0
x P Xn
x dx
E Xn 1 Xn
dx.
Xn dP dx
0
Xn
Xn
Xn
dx dP
0
Xn Xn dP
2E Xn Xn
2
E Xn
E Xn 2 .
Por lo tanto,
E Xn 2
2 E Xn 2 .
E Xn 2
Elevando al cuadrado se obtiene el resultado.
7.9.
Convergencia de martingalas
En esta secci
on revisaremos algunos elementos que nos llevaran a enunciar y
demostrar el teorema de convergencia de submartingalas de Doob. Usaremos
algunas herramientas de la teora de la medida.
219
7.9. Convergencia de martingalas
Proposici
on 7.4 Sea Xn : n 0 una submartingala y sean 1 y 2 dos
tiempos de paro acotados tales que 0
1
2
N , con N
N fijo.
Entonces
E X2 .
E X1
Demostraci
on.
E Xn
Sea k fijo tal que k
1 1 1 k
1 2
N . Entonces
E E Xn
E E Xn
E Xn 1 1
1 1
1 2
Fn 1 1
k
1 2
Fn
n
k
1 2
Por lo tanto,
E X2
n 1 1 k
E X2 1 1
E X2 1 1
E X2
1 2
1 2
n 1
Esto quiere decir que la funcion n

ciente. Evaluando esta funcion en n
desigualdad
E Xk 1 1 k
1 1
E Xn 1 1
E Xn
1 1 1
1 2
k
1 2
E X2 n 1 1 k es monotona crek y despues en n N se obtiene la

E X2 1 1
E X1 1 1
Entonces,
N
E X1
k 0
N
E Xk 1 1
k 0
N
E X2 1 1
k 0
E X2 .
!
N
umero de cruces
Sea Xk : k 0 un proceso adaptado a una filtracion Fk k 0 , y sean a b
dos n
umeros reales. Consideraremos que n es un n
umero natural cualquiera.
220
7. Martingalas
Defina la sucesi
on creciente de tiempos de paro
1
mn k
1 : Xk
mn k
1 : Xk
a ,
mn k
2 : Xk
b ,
mn k
3 : Xk
a ,
b ,
..
.
Si alguno de los conjuntos se
nalados es vaco o bien cuando k
n, para
n. De esta forma se tiene la sucesion creciente de
alguna k, se define k
tiempos de paro
1 2
n.
(7.3)
Una de tales sucesiones se muestra en la Figura 7.4, en donde se presenta una trayectoria del proceso con sus valores unidos por una lnea
continua para una mejor
visualizaci
on. Nos interesa contar el n
umeXk
ro de cruces de arriba hacia abajo, que
b
las trayectorias del proceso realizan sobre el
a
intervalo a, b . En la
gr
afica se muestran tres
k
cruces de este tipo,
1
2 3 4
5
6
los cuales se encuentran remarcados en la
Figura 7.4
trayectoria. Observe que
antes del valor n y para
valores impares en el subndice de , el proceso se encuentra arriba de b en
ese momento, mientras que para valores pares del subndice, el proceso se
encuentra por abajo del nivel a, es decir, entre los tiempos 2k 1 y 2k el
proceso realiza un cruce de arriba hacia abajo.
El n
umero de cruces completos, de arriba hacia abajo, que el proceso realiza
sobre el intervalo a, b antes del tiempo n es el maximo entero k tal que
2k n, y se denota por Dn a, b , es decir,
Dn a, b
max k
1 : 2k
n .
221
Si el conjunto de cruces es vaco, se define Dn a, b

0. La letra D usada
para denotar este n
umero proviene del termino en ingles Downcrossing.
Observe que para cada n, la funcion Dn a, b :
0, 1, . . . es una variable
k
2k
aleatoria, pues para cada entero k, el conjunto Dn a, b
n es medible. De esta manera se tiene la sucesion monotona de variables
D2 a, b
que es convergente al n
umero total de
aleatorias D1 a, b
cruces
D a, b
sup k 1 : 2k
.
En la demostraci
on que se presenta a continuacion sobre la convergencia
de submartingalas se hace uso de este n
umero de cruces. Empezaremos
estimando la esperanza de Dn a, b .
Proposici
on 7.5 Sea Xn : n
E Dn a, b
1
b
0 una submartingala. Entonces
E Xn
sup E Xn
b .
Demostraci
on. Defina la sucesion de eventos Ak
k
n para k
1, 2, . . . Por la monotona de los tiempos de paro (7.3) se tiene que A1
A2
Eventualmente los elementos de esta sucesion son el conjunto
vaco, pues no pueden efectuarse demasiados cruces en un tiempo limitado
n. Observe ademas que cuando ocurre el evento A2k 1 el proceso al tiempo
2k 1 se encuentra por arriba de b, mientras que cuando ocurre A2k , el
proceso al tiempo 2k se encuentra por abajo de a. A continuacion usaremos
la propiedad de submartingala aplicada a los tiempos de paro acotados
E X2k , es decir,
2k 1 2k n. Tenemos entonces que E X2k 1
X2k
dP
X2k dP.
Separando ambas regiones de integracion como

que
A2k
X2k
1
dP
Ac2k
X2k
1
X2k dP
dP
A2k
A2k
Ac2k
Ac2k
1,
se tiene
X2k dP.
1
Ahora observe que sobre el conjunto Ac2k 1 , se cumple que 2k 1 2k n.

Por lo tanto, la segunda y cuarta integral coinciden y podemos omitirlas de
222
7. Martingalas
esta desigualdad. A
nadiendo la constante b, se llega al siguiente resultado:
0
X2k
A2k
A2k
b dP
X2k
b dP.
Entonces,
0
A2k
A2k
X2k
b dP
X2k
b dP
A2k
b P A2k
A2k
Xn
A2k
X2k
b dP
b dP.
A2k
Por lo tanto,
1
P A2k
A2k
A2k
A2k
A2k
1
b
Como P A2k
P 2k
P Dn a, b
Xn
b dP
Xn
dP.
k ,
E Dn a, b
P Dn a, b
k 1
n
P A2k
k 1
n
1
b
ak
1
Xn
1 A2k
E Xn
dP
A2k
Para la u
ltima desigualdad se hace uso del hecho de que las diferencias
A2k 1 A2k son conjuntos ajenos. Esto concluye la demostracion de la primera
223
desigualdad. La segunda desigualdad del enunciado se sigue de las siguientes

estimaciones:
Xn b
Xn b
Xn
b.
!
Ahora estamos en condiciones de probar que toda submartingala acotada
en media es convergente.
Teorema 7.2 (Teorema de convergencia de submartingalas de Doob)
Sea Xn : n
0 una submartingala tal que supn E Xn
. Entonces
existe una variable aleatoria integrable X tal que
lm Xn
c.s.
Demostraci
on. Verificaremos primero que la convergencia de tal sucesi
on de variables aleatorias es equivalente a la condicion: D a, b
casi
seguramente, para cualesquiera n
umeros a b. Sea en y considere la
umero de cruces es D a, b .
sucesi
on numerica X1 , X2 , . . . cuyo n
Demostraremos que la sucesion Xn : n 1 es convergente si, y solo si,
, para cualesquiera a b.
D a, b
Suponga que la sucesion es convergente pero que D a, b
alg
un par de n
umeros a y b tales que a b. Entonces,
lm inf Xn
n
para
lm sup Xn .
n
Esto contradice la hipotesis de que la sucesion es convergente.

Suponga ahora que D a, b
para cualesquiera a b. Suponga
que la sucesi
on no es convergente. Entonces existen a1 b1 tales que
lm inf Xn
n
a1
b1
lm sup Xn .
n
Entonces, en particular, para este par de n

umeros reales se tiene que
D a1 , b1
, lo cual contradice la hipotesis inicial.
224
7. Martingalas
Por lo tanto es suficiente demostrar que con probabilidad uno, D a, b

.
Para llegar a esta conclusion demostraremos que E D a, b
, pero ello
es consecuencia del teorema de convergencia monotona y la Proposicion 7.5
pues,
E D a, b
lm E Dn a, b
1
b
sup E Xn
La integrabilidad del lmite X se sigue del lema de Fatou pues,

EX
E lm inf Xn
n
lm inf E Xn
n
sup E Xn
!
Como toda martingala es una submartingala, y toda supermartingala se
convierte en una submartingala a traves de un cambio de signo, se tiene
que el teorema anterior es valido en cualquiera de los tres casos. Es decir,
toda martingala, submartingala o supermartingala acotada en la forma en
la que indica el enunciado del teorema es convergente casi seguramente, y
su lmite es una variable aleatoria integrable.
La demostraci
on que se ha presentado aqu sobre la convergencia de submartingalas es la prueba original de Doob de 1940. En [12] pueden encontrarse algunos otros metodos alternativos de demostraci
on. Como hemos
mencionado, las submartingalas son procesos que tienen trayectorias que en
promedio tienden a crecer, vease la ecuacion (7.2), de modo que en este caso
hemos encontrado una cota superior para el n
umero promedio de cruces hacia abajo. En algunos textos, por ejemplo [3], se enuncia y prueba el mismo
resultado para supermartingalas, procesos cuyas trayectorias en promedio
tienden a decrecer.
7.10.
Representaci
on de martingalas
En esta secci
on demostraremos que toda martingala que cumple la condicion
de ser uniformemente integrable puede escribirse en terminos de una esperanza condicional. Antes de enunciar el resultado explicaremos la condicion
de integrabilidad uniforme para un proceso.
n de martingalas
7.10. Representacio
225
Integrabilidad uniforme
Puede comprobarse que una variable aleatoria X es integrable si, y solo si,
para cada 0 puede encontrarse un n
umero M 0 tal que
X dP
X
Considere ahora una sucesion infinita de variables aleatorias integrables

0 puede encontrarse entonces una sucesion de
X1 , X2 , . . . Para cada
n
umeros reales Mn 0 tales que
Xn dP
Xn
Mn
Cuando la sucesi
on Mn no depende de n, es decir, cuando sea una sucesion
constante, se dice que la sucesion de variables aleatorias es uniformemente
integrable. Es evidente que la integrabilidad uniforme es mas fuerte que la
simple integrabilidad de las variables de un proceso. Tenemos entonces la
siguiente definici
on, la cual ilustraremos despues con un par de ejemplos.
Definici
on 7.7 Se dice que una sucesi
on de variables aleatorias integrables
umero
X1 , X2 , . . . es uniformemente integrable si para cada 0 existe un n
M 0 tal que para toda n 1,
Xn dP
Xn
Ejemplo 7.4 Considere el espacio muestral

0, 1 con la -
algebra los
subconjuntos de Borel de 0, 1 , y como medida de probabilidad la medida de
Lebesgue sobre dicho intervalo. La sucesi
on de variables aleatorias dada por
Xn n 1 0,1 n no es uniformemente integrable pues para cualquier M 0,
Xn dP
Xn
1 si n
0 si n
M,
M.
Ejemplo 7.5 Sea X una variable aleatoria integrable y sea Fn una filE X Fn es uniformetraci
on. Demostraremos que la martingala Xn
mente integrable. Como X es integrable, tenemos que para cada
0
0 tal que si P A
, entonces A X dP
. Adem
as, como
existe
226
Xn
que
7. Martingalas
E X Fn , tomando esperanzas y para cualquier M
EX
0 se tiene
E Xn
Xn dP
Xn
M P Xn
M .
E X , con
De modo que si se toma M
P Xn
M
E X M . Por lo tanto,
E X Fn dP
Xn dP
Xn
0 arbitrario, entonces
Xn
Xn
X dP
.
La siguiente proposici
on establece que la convergencia en media es una
condici
on suficiente para que se cumpla la propiedad de integrabilidad uniforme en un proceso.
Proposici
on 7.6 Toda sucesi
on X1 , X2 , . . . de variables aleatorias integrables que es convergente en media es uniformemente integrable.
Demostraci
on. Suponga que X1 , X2 , . . . es una sucesion de variables
aleatorias integrables convergente en media a la variable aleatoria integrable
0. Esto es, para cada
0 existe un natural
X, es decir, E Xn X
2. Dado que el lmite X
N tal que para cualquier n N , E Xn X
es integrable, para cada
0 existe
0 tal que si P A
, entonces
2. Tomando un valor de 0 mas peque
no si es necesario se
A X dP
tiene adem
as que A Xn dP , para cada n 1, . . . , N , cuando P A
.
Por otro lado, para cualquier n 1,
E Xn
Xn dP
Xn
M P Xn
M .
1
1
M
si se toma M
Xn .
Es decir, P Xn
M E Xn
supn E
Tal valor de M es finito pues como la sucesion converge en media, es acotada en media. En particular y con el valor de M mencionado, lo anterior
n de martingalas
7.10. Representacio
227
demuestra la integrabilidad uniforme de las variables Xn para valores de n

menores o iguales a N . Para el caso n N se tiene que
Xn dP
Xn
X dP
Xn
Xn
X dP
Xn
Xn
E Xn
X dP
.
!
El siguiente resultado es un recproco de la proposicion anterior, solo que

hay que a
nadir la condicion de que el proceso sea una submartingala, en
particular, una martingala.
Proposici
on 7.7 Toda submartingala uniformemente integrable es convergente en media.
Demostraci
on. Sea Xn : n 1 una submartingala uniformemente integrable. Hemos demostrado antes que en tales condiciones la submartingala
es necesariamente acotada en L1 , y por lo tanto satisface las condiciones
del teorema de convergencia de martingalas de Doob. Existe entonces una
variable aleatoria integrable X tal que Xn
X c.s. Demostraremos que
X en media, es decir, que E Xn X
0. Sea
0 arbitrario.
Xn
Debido a la hip
otesis de integrabilidad uniforme, existe M 0 tal que para
toda n 1,
Xn X dP
.
3
Xn X M
Por otro lado, como la convergencia casi segura implica la convergencia en
3
0, cuando n
, es decir,
probabilidad se tiene que P Xn X
existe un entero N tal que para n N ,
P Xn
,
3M
228
7. Martingalas
en donde M
E Xn
0 es la constante de la estimacion anterior. Entonces

X
Xn
Xn X
X dP
Xn
3
Xn X
Xn
Xn X
3
.
M P Xn
X dP
X dP
P Xn
3
!
Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional.
Teorema 7.3 (Teorema de representaci
on de martingalas)
on
Sea Xn : n 0 una martingala uniformemente integrable, con filtraci
natural Fn n 0 , y teniendo a la variable X como su lmite en media. Entonces,
Xn E X Fn c.s.
Demostraci
on. Para cualquier m
n, E Xm Fn
decir que para cualquier evento A en Fn ,
Xm dP
A
Xn dP.
A
Entonces,
Xn
A
X dP
Xm
X dP
Xm
X dP
Xm
X dP.
Xn . Esto quiere
229
7.11. J. L. Doob
Por lo demostrado antes, el u
ltimo termino converge a cero cuando m
Es decir, para cualquier A en Fn ,
Xn dP
A
Esto significa que Xn
E X Fn c.s.
X dP.
A
La variable Xn
E X Fn puede interpretarse como una aproximacion
de la variable desconocida X cuando se cuenta con la informacion dada por
la -
algebra Fn . Conforme n crece, la informacion acerca de X aumenta a
traves de la filtraci
on, y en el lmite se obtiene o reconstruye X.
Notas y referencias. Se pueden encontrar otras exposiciones introductorias al tema de martingalas a tiempo discreto en Karlin y Taylor [17],
y Lawler [21]. Para lecturas mas avanzadas pueden consultarse Revuz y
Yor [28] y Tudor [36].
7.11.
J. L. Doob
Joseph L. Doob (E.U.A., 19102004) empezo a

tener interes por la ciencia desde peque
no,
cuando cursaba la escuela secundaria. Estuvo muy interesado en el funcionamiento de la
radio e incluso construy
o el mismo su propio equipo. Este interes por la electronica,
y las comunicaciones se incremento durante
la preparatoria, obteniendo incluso una licencia para llevar a cabo transmisiones por radio. Dado este interes en la electronica, Doob
J. L. Doob
pens
o que la fsica era el
area que deba estudiar al ingresar a la universidad. As lo hizo cuando ingreso a la Universidad
de Harvard en 1926. Sin embargo, despues de un a
no de estudios se convenci
o de que el curso que verdaderamente disfruto fue el de calculo y sus
aplicaciones. Para el segundo a
no se registro en cursos de matematicas. En
1930 obtuvo el grado de licenciatura de la Universidad de Harvard, y en 1931
el de maestra bajo la supervision de J. L. Walsh en la misma universidad.
230
7. Martingalas
En junio de ese mismo a

no se caso con Elsie Field, con quien tuvo tres hijos.
Al a
no siguiente, en 1932, obtuvo el doctorado con un trabajo de tesis sobre
las funciones analticas y sus valores de frontera. Tiempo despues recibio una
beca para trabajar en la teora de la probabilidad con H. Hotelling en la Universidad de Columbia de 1934 a 1935. Al final de ese periodo fue contratado
como profesor asociado en la Universidad de Illinois en 1935, all fue donde
desarroll
o su carrera como profesor hasta 1978, cuando se jubilo. Entre sus
estudiantes de doctorado figuran, entre otros, Paul Halmos (1938), David
Blackwell (1941), J. Laurie Snell (1951) y John Walsh (1966). El trabajo
de Doob se centra principalmente en la teora de la medida, la teora de la
probabilidad y las relaciones de esta u
ltima con la teora del potencial. En
particular, y profundizando parte del trabajo de Paul Lèvy, durante los a
nos
cuarenta y cincuenta Doob desarrollo la teora basica de las martingalas y
algunas de sus aplicaciones. En 1953 publico su libro clasico Stochastic Processes, el cual fue reeditado en 1990. En 1984 public
o Classical Potential
Theory and its Probabilistic Counterparts, reimpreso en 2001. En 1994, a la
edad de 84 a
nos, public
o su u
ltimo texto titulado Measure Theory. Doob
fue miembro de las Academias de Ciencias de Estados Unidos y de Francia,
presidi
o el Instituto de Estadstica Matematica (IMS) en 1950, y la Sociedad
Matem
atica Estadounidense (AMS) de 1963 a 1964. Recibio varios premios
prestigiosos de su pas por la trascendencia y profundidad de sus trabajos.
Durante muchos a
nos de su vida Doob mantuvo la costumbre y el gusto por
organizar y realizar las famosas caminatas de los sabados por la tarde junto
a profesores universitarios, colegas y amigos de la Universidad de Illinois.
A petici
on propia, las cenizas de sus restos mortales fueron esparcidas por
sus compa
neros en uno de sus sitios favoritos donde acostumbraba caminar
junto con sus amigos. Para una informacion mas amplia sobre la vida y el
trabajo de Doob veanse las siguientes referencias.
a) Bingham N. H., Doob: a half century on, Journal of Applied Probability, Vol. 42, 257266, 2005.
b) Burkholder D. y Protter P., Joseph Leo Doob, 1910-2004, Stochastic
Processes and their Applications, Vol. 115, 1061-1072, 2005.
c) Snell J. L., A Conversation with Joe Doob, Statistical Science, Vol. 12,
N
um. 4, 301311, 1997.
7.12. Ejercicios
231
d) Snell J. L., Obituary: Joseph Leonard Doob, Journal of Applied Probability, Vol. 42, 247256, 2005.
7.12.
Ejercicios
Filtraciones
169. Sea Xt : t
0 un proceso adaptado a la filtracion Ft t 0 , y sea
on natural del proceso. Demuestre que para cada
Gt t 0 la filtraci
t 0 se cumple Gt Ft . Esto significa que la filtracion natural es la
filtraci
on m
as peque
na respecto de la cual un proceso es adaptado.
Tiempos de paro
170. Sea Xn : n 1 la sucesion de resultados que se obtienen al lanzar
sucesivamente un dado equilibrado. Sea Fn n 1 la filtracion natural
de este proceso y defina la variable como el primer tiempo n tal que
Xn 10. Determine si es un tiempo de paro respecto de
X1
la filtraci
on dada.
171. Demuestre que la condicion en la definicion de tiempo de paro a tiempo
discreto n Fn es equivalente a la condicion n Fn .
172. Sea n un entero positivo. Demuestre que la variable aleatoria constante
es tambien
n es un tiempo de paro. Compruebe ademas que
un tiempo de paro.
173. Sea un tiempo de paro con valores en 1, 2, . . .
, y sea n un
entero positivo. Demuestre que las siguientes variables tambien son
tiempos de paro.
a)
n.
b)
n.
c)
n.
232
7. Martingalas
174. Sean 1 y 2 dos tiempos de paro respecto de la misma filtracion.

Demuestre que las siguientes variables aleatorias tambien son tiempos
de paro.
a) 1
2 .
b) 1
2 .
c) 1
2 .
175. Sea Xn : n
1 un proceso a tiempo discreto, y sea x un n
umero
real cualquiera dentro del espacio de estados del proceso. Defina las
variables aleatorias: 1 como el primer momento en el que el proceso
toma el valor x, 2 como el segundo momento en el que el proceso
toma el valor x, etc. Demuestre que 1
2
son tiempos de
paro.
176. Sea un tiempo de paro con valores en 0,
tante. Demuestre que c es tiempo de paro.
y sea c
1 una cons-
177. Sea 1 , 2 , . . . una sucesion infinita de tiempos de paro respecto de la

misma filtraci
on. Demuestre que las siguientes funciones tambien son
tiempos de paro.
a)
sup 1 , 2 , . . . .
b)
nf 1 , 2 , . . . .
c)
k , es decir, es la k-esima estadstica de orden.
178. Sea Xn : n 0 un proceso adaptado a la filtracion Fn n 0 , y sea

un tiempo de paro discreto con valores en 0, 1, . . . y que ademas
1. Demuestre que X es una variable
es finito, es decir, P
aleatoria.
Martingalas
179. Definiciones equivalentes. Sea Xn : n 0 una martingala a tiempo
discreto. Demuestre que la propiedad de martingala
a) E Xm Fn
Xn , para cualquier m
233
7.12. Ejercicios
es equivalente a la condicion
b) E Xn
Fn
Xn , para cada n
1.
Enuncie y demuestre la equivalencia analoga al caso submartingala

E X G cuando
y supermartingala. Sugerencia: E E X F G
G
F.
180. Demuestre que
a) Toda martingala es una submartingala y una supermartingala.
b) Todo proceso que es al mismo tiempo una submartingala y una
supermartingala es una martingala.
181. Demuestre que para cualquier t
0,
a) E Xt
E Xs
cuando Xt : t
0 es una martingala.
b) E Xt
E Xs
cuando Xt : t
0 es una submartingala.
c) E Xt
E Xs
cuando Xt : t
0 es una supermartingala.
182. Martingala de la esperanza condicional. Sea X una variable aleatoria

integrable, y sea Ft t 0 una filtracion a tiempo continuo. Demuestre
que el proceso Xt : t 0 definido a continuacion es una martingala.
Xt
E X Ft .
183. Para la martingala del juego de apuestas justas Xn

1
n ,
demuestre que el proceso Xn2 n : n 0 es una martingala si, y solo
1.
si, Var
184. Sea Xn : n
1 un proceso adaptado a la filtracion Fn n 1 .
Demuestre que si A es un evento F1 -medible, entonces el proceso
Xn 1A : n 1 es una martingala, submartingala o supermartingala
cuando Xn : n 1 lo es.
185. Sea M una constante. Demuestre que:
a) Si Xn : n 0 es una submartingala, entonces Xn M : n
es una submartingala.
234
7. Martingalas
b) Si Xn : n 0 es una supermartingala, entonces Xn
0 es una supermartingala.
M :n
0 and Yt : t
0 dos martingalas, submartingalas
186. Sean Xt : t
o supermartingalas respecto de la misma filtracion. Demuestre que
el proceso aXt bYt c : t
0 es tambien una martingala, submartingala o supermartingala, respectivamente, en donde a, b y c son
constantes. Para el caso de submartingala y supermartingala se necesita suponer adem
as que a y b son no negativos. En particular esto
demuestra que la suma de dos martingalas es una martingala, y que
el conjunto de martingalas respecto de la misma filtracion y definidas
en un mismo espacio de probabilidad es un espacio vectorial.
187. Sea Xn : n
dado por Xn
1 un proceso integrable. Demuestre que el proceso

m
ax X1 , . . . , Xn es una submartingala.
188. Sean Xt : t
0 y Yt : t
0 dos martingalas o submartingalas
respecto de la misma filtracion. Demuestre que el proceso Xt Yt :
t 0 es una submartingala.
189. Sean Xt : t 0 y Yt : t 0 dos martingalas o supermartingalas
respecto de la misma filtracion. Demuestre que el proceso Xt Yt :
t 0 es una supermartingala.
190. Martingala de de Moivre. Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes cada una de ellas con la misma distribucion dada
por P
1
pyP
1
q 1 p. Sea Xn 1
n .
X
n
q p
Demuestre que Yn
es una martingala respecto de la filtraci
on generada por el proceso Xn : n 1 .
191. Sea Xt : t
0 una martingala respecto de una filtracion Ft t 0 .
Demuestre que el proceso tambien es una martingala respecto de su
filtraci
on natural. En general el recproco es falso.
192. Martingala producto. Sean 1 , 2 , . . . variables aleatorias independientes con esperanza unitaria. Demuestre que el proceso Xn
1
n
es una martingala respecto de su filtracion natural.
0 una submartingala. Demuestre que los siguientes
193. Sea Xn : n
procesos tambien son submartingalas.
235
7.12. Ejercicios
a) Xn
b) Xn
m
ax Xn , 0 .
mn Xn , 0 .
c) Xn . Suponga, en este caso, que Xn : n
194. Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes e identicamente distribuidas. Defina
Xn 1
n . Demuestre que:
a) Si E
, entonces el proceso Xn
martingala.
nE : n
1 es una
, entonces el proceso Xn2

b) Si E 2
martingala.
nE 2 : n
1 es una
195. Sea Xt : t 0 una martingala cuadrado integrable. Demuestre que

Xt2 : t
0 es una submartingala respecto de la misma filtracion.
Vease el siguiente ejercicio para una generalizacion de este resultado.
196. Sea Xt : t 0 una martingala tal que E Xt p
para cada t 0,
con p 1. Demuestre que Xt p : t 0 es tambien una submartingala. Sugerencia: use la desigualdad de Jensen. En el siguiente ejercicio
se generaliza este resultado.
197. Sea Xt : t
0 un proceso integrable, y sea g una funcion con0. Demuestre que
vexa tal que g Xt es integrable para cada t
bajo cualquiera de las siguientes condiciones se cumple que el proceso
g Xt : t 0 es una submartingala.
a) Cuando Xt : t
b) Cuando Xt : t
decreciente.
0 es una submartingala y g es una funcion no
198. Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes tales

que E k
k , Var k
k2
, para k 1, y con filtracion natural Fn n 1 . Demuestre que el siguiente proceso es una martingala
respecto de esta filtracion.
n
Xn2
k
k 1
k2 .
k 1
236
7. Martingalas
199. Sea n : n
0 un proceso integrable y adaptado a la filtracion
Fn n 0 . Demuestre que el siguiente proceso es una martingala.
n
E k Fk
Xn
k 1
200. Sea Xt : t 0 un proceso de Poisson de parametro

que los siguientes procesos son martingalas.
a) Yt
Xt
b) Yt
exp
Xt
0. Demuestre
t.
t 1
, en donde
R.
201. Sea Xt : t 0 un proceso integrable con incrementos independientes. Demuestre que el proceso centrado Xt E Xt : t 0 es una
martingala.
202. Considere la martingala de la urna de Polya con una configuracion
inicial de una bola blanca y una negra. Suponga ahora que cuando
se extrae una bola de un color se regresa a la urna junto con k bolas
Xn 2 nk . Es Mn : n
0 una
del mismo color. Defina Mn
martingala?
203. Demuestre que el proceso Xn : n
1 de la estrategia de juego
llamada martingala, cuando las apuestas son justas, es una martingala.
204. Sea Xn : n
n3 ,
0 una martingala. Demuestre que para 0

E Xn3
Xn2 Xn1
n1
n2
0.
205. Sea 1 , 2 , . . . una sucesion de variables aleatorias tal que el proceso

Xn 1
n es una martingala. Demuestre que E i j
0 para
i j.
206. Sea Xn : n
0, 1, . . . . Suponga que las probabilidades de transicion son p00 1 y
pij e i ij j! en los otros casos. Demuestre que Xn : n 0 es una
martingala.
237
7.12. Ejercicios
Teorema de paro opcional
n una caminata aleatoria simple sobre Z y que

207. Sea Xn 1
inicia en el origen. Suponga P
1
pyP
1
q 1 p.
Sean a y b dos enteros positivos fijos. Defina el tiempo de paro
mn n 1 : Xn
a o Xn b .
a) Use el teorema de paro opcional y el hecho de que
1 es una martingala para demostrar que
P X
y
1
1
1
1
P X
q p
Xn
:n
q pa
,
q pa b
p q b
,
p q a b
b) Demuestre que
ab
b
E
p
a
p
b 1
q 1
p q b
p q a b
si p
q,
si p
q.
Integrabilidad uniforme
208. Demuestre que una variable aleatoria X es integrable si, y solo si, para
cada 0 existe M 0 tal que
X dP
X
238
7. Martingalas
Captulo 8
Movimiento Browniano
El fen
omeno natural que ahora se conoce como
movimiento Browniano tiene una interesante
historia. El primer registro, aunque no as la
primera observaci
on, data de 1828, cuando el
bot
anico Robert Brown reporto en una revista
cientfica que granos de polen suspendidos en
una cierta substancia y vistos a traves de un
microscopio realizaban un movimiento irregular e inexplicable [2]. Este extra
no movimiento fue objeto de mucha discusion y muy diversas controversias se suscitaron a partir de su diR. Brown
vulgaci
on en la comunidad cientfica de aquella
epoca. Con la intenci
on de dar una explicacion
satisfactoria del extra
no fenomeno observado, se llevaron a cabo diversos
experimentos y se formularon muy diversas hipotesis [23]. Hoy en da este
movimiento es entendido y explicado a traves de las m
ultiples colisiones
aleatorias de las moleculas del lquido con los granos de polen. Llegar a
tal aseveraci
on tom
o muchos a
nos, pues debio aceptarse la teora cinetico
molecular de la materia, y el seminal trabajo de Einstein de 1905 sobre este
fen
omeno contribuy
o decididamente a tal tarea. Aparentemente sin tener
informaci
on precisa de las observaciones de Brown, Einstein pudo predecir que el movimiento irregular de partculas suspendidas en lquidos deba
poder observarse a traves de un microscopio. En [8] se puede encontrar la
239
240
reimpresi
on de los primeros trabajos de Einstein sobre el movimiento Browniano. En este captulo se presenta una introduccion al modelo matematico
para el movimiento Browniano. Se trata del ejemplo mas importante de un
proceso de Markov a tiempo continuo y con espacio de estados continuo.
8.1.
Definici
on
Las observaciones reales del movimiento

de granos de polen a traves del microscopio sugieren que las trayectorias son continuas y que los desplazamientos son independientes en intervalos de tiempo disjuntos. Adem
as, debido al gran n
umero de colisiones del grano de polen con las moleculas circundantes en longitudes de tiempo
no peque
nos, y teniendo en cuenta el teoFigura 8.1:
rema central del lmite, los incrementos
Movimiento Browniano
pueden modelarse como variables aleatorias Gausianas. La estructura matematica
de un proceso estoc
astico a tiempo continuo, denotado en este caso por
Bt : t 0 , ha resultado adecuada para modelar este tipo de fenomenos.
En tal modelo, la variable Bt puede representar la posicion de la partcula al tiempo t. La definici
on matematica, en el caso unidimensional, es la
siguiente.
Definici
on) Un movimiento Browniano unidimensional de par
ametro 2 es un proceso estoc
astico Bt : t
0 con
valores en R que cumple las siguientes propiedades.
1. B0
0 c.s.
2. Las trayectorias son continuas.

3. El proceso tiene incrementos independientes.
4. Para cualesquiera tiempos 0 s t, la variable incremento Bt
tiene distribuci
on N 0, 2 t s ,
Bs
n
8.1. Definicio
241
Las condiciones que aparecen en esta definicion son consecuencia directa de

las observaciones del fen
omeno fsico, pero eso no garantiza que tal objeto
matem
atico exista. En 1923 el matematico estadunidense Norbert Wiener
demostr
o la existencia y unicidad de un proceso con tales condiciones. Es
por esta raz
on que a menudo a este proceso tambien se le llama proceso
0 . En sentido estricto,
de Wiener, y se le denota tambien por Wt : t
el movimiento Browniano es el fenomeno fsico, mientras que su modelo
matem
atico es el proceso de Wiener, aunque es com
un llamar a ambas
cosas por el mismo nombre: movimiento Browniano. Observe que la cuarta
propiedad que aparece en la definicion anterior establece implcitamente que
los incrementos son estacionarios. Demostraremos a continuacion que las
condiciones 3 y 4 de la definicion anterior son equivalentes a solicitar que
las distribuciones finito dimensionales del proceso sean las que se especifican
a continuaci
on.
Definici
on) Un movimiento Browniano uni0 con
dimensional de par
ametro 2 es un proceso estoc
astico Bt : t
valores en R que cumple las siguientes propiedades.
1. B0
0 c.s.
2. Las trayectorias t
Bt son continuas.
3. Para cualesquiera tiempos 0

t1
tn , y para cualesquiera
conjuntos de Borel A1 , . . . , An de R, se cumple que la probabilidad
P Bt1
A1 , . . . , Btn
An
es igual a
p t1 , 0, x1 p t2 t1 , x1 , x2 p tn tn
A1
1 , xn 1 , xn
dxn
dx1 ,
An
en donde
p t, x, y
1
2 2 t
y x
22 t
(8.1)
Observe que la tercera propiedad de la u

ltima definicion establece que la funci
on de densidad del vector Bt1 , . . . , Btn evaluada en el punto x1 , . . . , xn
es
p t n t n 1 , xn 1 , xn .
p t1 , 0, x1 p t2 t1 , x1 , x2
242
En particular, la variable Bt tiene distribucion N 0, 2 t . Demostraremos a

continuaci
on que las dos definiciones anteriores son equivalentes.
Proposici
on 8.1 Las Definiciones 8.1 y 8.2 del movimiento Browniano
son equivalentes.
Demostraci
on.
I
II . Se hace uso de la independencia de los incrementos y de la
hip
otesis de que estos tienen distribucion normal.
fBt1 ,Bt2 ,...,Btn x1 , x2 , . . . , xn
fBt1 ,Bt2
Bt1 ,...,Btn Btn
fBt1 x1 fBt2
x2
Bt1
x1 , x2
x1
p t1 , 0, x1 p t2
t1 , 0, x2
p t1 , 0, x1 p t2
t 1 , x1 , x2
x1 , . . . , xn
fBtn
x1
Btn
xn
p tn
p tn
tn
tn
xn
xn
1 , 0, xn
1 , xn 1 , xn
xn
II
I . De acuerdo al tercer postulado, para 0
s
t, la funcion
p s, 0, x p t s, x, y .
de densidad del vector Bs , Bt es fBs ,Bt x, y
Aplicando la f
ormula general para la funcion de densidad de la diferencia
de dos variables aleatorias, fY X u
fX,Y x, u x dx, se obtiene
fBt
Bs
p s, 0, x p t
1
2 2 s
1
2 2 t s
p t s, 0, u ,
es decir, Bt
s, x, u
x dx
1
x2 2s
2 2
Bt1 ,...,Btn Btn
. . . p tn
x1 , . . . , xn
t 1 , x1 , x2
tn
t1 , 0, x2
fBt1 x1 fBt2
x2
xn
x1
x1
1 , x1
p t1 , 0, x1 p t2
Bt1
s . Entonces
x1 , x2 , . . . , xn
fBt1 ,Bt2 ,...,Btn x1 , x2

p t1 , 0, x1 p t2
u2 22 t s
u2 22 t s
Bs tiene distribucion N 0, 2 t
fBt1 ,Bt2
xn
p tn
fBtn
Btn
1 , x1
tn
1
1 , 0, xn
xn .
xn
dx
n
8.1. Definicio
243
Esto demuestra que las variables Bt1 , Bt2 Bt1 , . . . , Btn Btn 1 son independientes, cada una de ellas con distribucion normal con los parametros
!
mencionados.
Se dice que un movimiento Browniano es estandar cuando 2 1. A traves
2 t un movimiento Browniano no estandar
del cambio de variable
puede convertirse en uno estandar. Entonces, a menos que se especifique
lo contrario y sin perdida de generalidad, a partir de ahora supondremos
que el movimiento Browniano es estandar, es decir, el incremento Bt Bs
tiene distribuci
on N 0, t s . Puede demostrarse que los siguientes procesos
tambien son movimientos Brownianos.
a) Wt
Bt : t
0 .
b) Wt
1
c Bc 2 t
:t
0 ,
con c
c) Wt
t B1 t : t
0 ,
con W0
d) Wt
Bt0
Bt0 : t
0 ,
0 constante.
0.
con t0
0 fijo.
Funci
on de probabilidad de transici
on
A la funcion p t, x, y definida por (8.1) se le llama funcion de probabilidad
de transici
on del movimiento Browniano de parametro 2 . En particular, la
probabilidad de que un movimiento Browniano que inicia en x se encuentre
en un conjunto A R (apropiadamente medible) despues de t unidades de
tiempo es
p t, x, A
p t, x, y dy.
A
Hemos hecho enfasis en la tercera propiedad que aparece en la segunda

definici
on del movimiento Browniano, pues esta tiene la ventaja de que
proporciona una expresi
on explcita para la probabilidad del conjunto de
trayectorias Brownianas que cumplen las condiciones de encontrarse en el
conjunto A1 al tiempo t1 , estar en el conjunto A2 al tiempo posterior t2 ,
etcetera. La condici
on de que el movimiento Browniano inicie en el origen
no es absolutamente necesaria. Pueden considerarse trayectorias Brownianas
que inicien en un punto x cualquiera a traves del proceso x Bt : t 0 ,
0 para recordar la posicion de
el cual se denota a veces por Btx : t
244
origen. Integrando directamente puede comprobarse que la probabilidad de

transici
on p t, x, y cumple la ecuacion de Chapman-Kolmogorov,
pt
s, x, y
p t, x, u p s, u, y du,
y tambien cumple la ecuacion de difusion o ecuacion de calor,

p
t
1 2p
.
2 x2
En uno de sus trabajos de 1905 y a traves de consideraciones teoricas fsicas,

Einstein encontr
o que la probabilidad de transicion p t, x, y satisface la
ecuaci
on de difusi
on y a partir de all dedujo la expresi
on Gausiana para
esta probabilidad.
8.2.
Propiedades b
asicas
Tenemos entonces que para el movimiento Browniano estandar cada va0 y

riable aleatoria Bt tiene distribucion N 0, t y por lo tanto E Bt
Var Bt
E Bt2
t. En particular E Bt Bs 2 t s, para 0 s t.
El movimiento Browniano fsico real se presenta en tres dimensiones y es
completamente err
atico. En la Figura 8.2 se puede apreciar una posible
trayectoria Browniana cuando esta
se proyecta sobre una de sus coordeBt
nadas. Esta gr
afica fue generada en
computadora y es s
olo una aproximaci
on del modelo matematico. En
la gr
afica pueden apreciarse algunas
t
peque
nas partes en donde aparentemente el comportamiento es lineal
y suave, ello no sucede en el moFigura 8.2
delo te
orico. Usando esta probabilidad de transici
on demostraremos a
continuaci
on que el movimiento Browniano cumple la propiedad de Markov
en el sentido debil.
Proposici
on 8.2 El movimiento Browniano es un proceso de Markov.
sicas
8.2. Propiedades ba
245
Demostraci
on. Para cualesquiera tiempos 0
y para cualquier evento A en R,
t1
t2
tn
tn
1,
P Btn 1 A Bt1 x1 , . . . , Btn xn

p t1 , 0, x1 p t2 t1 , x1 , x2
p t n t n 1 , xn 1 , xn p t n 1 t n , xn , A
p t1 , 0, x1 p t2 t1 , x1 , x2
p t n t n 1 , xn 1 , xn
p t n 1 t n , xn , A
p tn , 0, xn
p t n 1 t n , xn , A
p tn , 0, xn
P Btn 1 A Btn xn .
!
Puede demostrarse que cumple ademas la propiedad fuerte de Markov: si
es un tiempo de paro respecto de la filtracion del movimiento Browniano, entonces el proceso B t B : t
0 es tambien un movimiento
Browniano y es independiente de la -algebra
F
F :A
Ft para cada t
0 .
En particular, cuando es constante t0 , el proceso Bt0 t Bt0 : t 0 es un

movimiento Browniano. Como una consecuencia del hecho de que los incrementos de este proceso son independientes, demostraremos a continuacion
la propiedad de martingala.
Proposici
on 8.3 El movimiento Browniano es una martingala continua.
Demostraci
on. Claramente el proceso es adaptado a su filtracion natural y cada variable aleatoria del proceso es integrable. Por otro lado, para
cualesquiera tiempos s y t tales que 0 s t,
E Bt Fs
Bs Fs
E Bt
Bs
E Bt
Bs Fs
E Bt
Bs
E Bs Fs
Bs
Bs .
!
246
El siguiente resultado no trivial se debe a Paul Lèvy y establece condiciones

que caracterizan de manera u
nica al movimiento Browniano en terminos de
la propiedad de martingala.
Teorema 8.1 (Teorema de caracterizaci
on de Paul L`
evy) Un proceso
Xt : t
0 es un movimiento Browniano si, y s
olo si, tiene trayectorias
continuas, empieza en cero, y tanto Xt : t 0 como Xt2 t : t 0 son
martingalas.
El movimiento Browniano Bt : t 0 cumple claramente cada una de las
condiciones mencionadas, aunque posiblemente no sea tan evidente que el
proceso Bt2 t : t 0 sea tambien una martingala, ello no es difcil de verificar y se deja como ejercicio. La parte fuerte de esta caracterizacion radica
en que estas condiciones determinan un movimiento Browniano. Usando la
caracterizaci
on de Paul Lèvy puede demostrarse que los procesos definidos
en los incisos (a), (b), (c) y (d) de la pagina 243 son movimientos Brownianos.
El movimiento Browniano
como lmite de una caminata aleatoria
Considere una caminata aleatoria simetrica simple sobre Z que inicia en
1
n , en donde 1 , 2 , . . . son variael origen, es decir, sea Xn
bles aleatorias independientes e identicamente distribuidas tales que P
1
P
1
1 2. Sabemos que E
0 y Var
E 2
1.
Suponga que la unidad en la variable tiempo es ahora de longitud t 1 N ,
con N entero. El objetivo es hacer t cada vez mas peque
no. Para lograr
una versi
on discreta del movimiento Browniano es necesario hacer tambien
un cambio en la escala en el tama
no de los saltos, ahora no seran unitarios sino de longitud t, mas adelante explicaremos las razones de esta
elecci
on. Defina ahora la caminata aleatoria
Wnt
t 1
t n ,
1.
una de cuyas trayectorias aparece en la Figura 8.3. Dada la simetra de la

0. La razon por la que se
caminata, sigue cumpliendose que E Wnt
ha tomado esa nueva escala en el tama
no de los saltos es que con ello se
logra similitud con el movimiento Browniano estandar al cumplirse tambien
nt Var
nt. Puede deque para cualquier valor de n, Var Wnt
mostrarse que cuando t
0 esta caminata tiende (en alg
un sentido) a un
sicas
8.2. Propiedades ba
247
proceso a tiempo continuo con trayectorias continuas. El proceso lmite

3 t
resultante es el movimien2 t
to Browniano est
andar. Est
ta aproximaci
on del movimiento Browniano como
t 2t 3t 4t 5t 6t 7t 8t
lmite de una caminata
t
aleatoria sugiere un meca2 t
nismo para simular trayecFigura 8.3
torias Brownianas por computadora: se escoge t
peque
no y N el n
umero de
puntos que se deseen graficar. Se generan entonces N valores independientes
de la variable con distribucion uniforme en el conjunto 1, 1 , y se grafica la sucesi
on de puntos kt, Wkt , para k 0, 1, . . . , N . En la practica
suelen generarse valores continuos para con distribucion normal estandar.
Este es el mecanismo seguido para generar la grafica de la Figura 8.2 y las
otras trayectorias Brownianas que aparecen en este captulo.
Difusi
on
Suponga que se coloca una partcula al azar en la recta real de acuerdo a una
densidad de probabilidad f y . Suponga ahora que esta partcula se mueve
siguiendo un movimiento Browniano estandar unidimensional. Entonces la
densidad de probabilidad de la posicion de la partcula despues de t unidades
de tiempo es la funci
on f t, x dada por
f t, x
f y p t, y, x dx
f y p t, x, y dx,
en donde para la segunda igualdad se ha hecho uso de la identidad p t, y, x

p t, x, y , pero ahora esta u
ltima expresion adquiere una interpretacion interesante, pues corresponde a la esperanza de la variable f Bt para un
movimiento Browniano que inicia en x, es decir, f t, x
E f Btx . A esta funci
on tambien se le denota por E x f Bt , y puede demostrarse que
satisface la ecuaci
on
1 2
f t, x
f t, x .
t
2 x2
248
8.3.
Propiedades de las trayectorias
Antes de establecer las siguientes propiedades, recordemos la definicion de

variaci
on de una funci
on. Sea a
t0
t1
tn
b una particion
max ti 1 ti : i
0, . . . , n 1 . La
del intervalo a, b , y defina t
variaci
on de una funci
on g : a, b
R es el n
umero
n 1
lm sup
t
g ti
g ti .
i 0
Cuando este n
umero es finito se dice que la funcion tiene variacion finita en
dicho intervalo. An
alogamente, la variacion cuadratica es
n 1
lm sup
t
g ti
g ti
i 0
Demostraremos a continuacion que sobre un intervalo de tiempo acotado

a, b , casi todas las trayectorias del movimiento Browniano tienen variacion
no acotada, esto es,
n 1
lm sup
t
Bti
Bti
c.s.
i 1
Esta propiedad es particularmente importante pues tiene como consecuencia el hecho de que no se pueden usar las trayectorias Brownianas como
funciones integradoras en el sentido de Riemann-Stieltjes. El hecho de que
se desee definir alg
un tipo de integral respecto del movimiento Browniano
ser
a claro en el siguiente captulo cuando se estudian ecuaciones diferenciales estoc
asticas. Por otro lado, demostraremos tambien que la variacion
cuadr
atica del movimiento Browniano sobre a, b es finita, de hecho, es la
longitud del intervalo en cuestion.
Proposici
on 8.4 La variaci
on cuadr
atica de una trayectoria del movimiento Browniano sobre el intervalo a, b es la longitud del intervalo, es decir,
n 1
lm sup
t
Bti
i 1
Bti
a,
en el sentido L2 P .
249
8.3. Propiedades de las trayectorias
Demostraci
on. Sea Pn : n
1 una sucesion de particiones finitas
del intervalo a, b . Denote por ti el incremento ti 1 ti , y sea Bi la
diferencia Bti 1 Bti . Entonces
Bi
Bi
Bj
2b
Bi
aE
i,j
E Bi
E Bi 2 E Bj
2b
ti
i j
3 ti
ti tj
i j
2 ti
2 ti
ti
2b
a m
ax ti
0.
0 i n
!
Recordemos ahora el resultado que establece que toda toda sucesion convergente en el sentido L2 P tiene una subsucesion convergente casi seguramente. Por lo tanto existe una subsucesion de particiones Pnk : k 1
del intervalo a, b tal que
n 1
lm sup
t
Bti
Bti
a,
c.s.
i 1
Proposici
on 8.5 (Variaci
on del movimiento Browniano) La variaci
on
de una trayectoria del movimiento Browniano sobre el intervalo a, b es infinita, casi seguramente, es decir,
n 1
lm sup
t
Bti
Bti
c.s.
i 1
Demostraci
on. Para cada n natural sea Pn la particion uniforme del
intervalo a, b en n subintervalos, es decir cada incremento ti ti 1 ti
250
tiene longitud b
a n. Entonces se tiene la estimacion

n 1
n 1
2
Bi
max Bi
Sea Pnk : k
Bi .
0 i n
i 0
(8.2)
i 0
1 una subsucesion de particiones uniformes tal que

nk 1
lm
Bi
a,
c.s.
i 0
Por otro lado, como las trayectorias del movimiento Browniano son continuas casi seguramente, se tiene que
lm
max
0 i nk
Bi
0,
c.s.
Substituyendo los u
ltimos dos resultados en (8.2) se obtiene que, respecto
de la subsucesi
on de particiones,
nk 1
Bi
lm
c.s.
i 0
De donde se sigue que el lmite superior es infinito casi seguramente.
No diferenciabilidad
Demostraremos a continuacion que para cualquier tiempo t0
0 fijo, con
Bt no es diferenciable en t0 . Mas adeprobabilidad uno la trayectoria t
lante se enuncia sin demostracion un resultado mas fuerte acerca de esta no
diferenciabilidad.
Proposici
on 8.6 Sea t0
0 fijo. Con probabilidad uno, el movimiento
Browniano Bt : t 0 no es diferenciable en t0 .
Demostraci
on.
Debido a que Bt0 t Bt0 : t
0 es tambien un
movimiento Browniano, es suficiente demostrar la no diferenciabilidad de
Bt en t 0. Demostraremos que con probabilidad uno, para cada n
umero
1
2
n. Esta propiedad
natural n existe t en el intervalo 0, 1 n tal que t Bt
251
8.3. Propiedades de las trayectorias

implica que Bt no es diferenciable en t
defina el evento
1
Bt
t
An
y observe que A1
P An
0. Para cada n
umero natural n
para alg
un t
n,
0, 1 n2
Entonces,
A2
P
1
B
1 n4 1
B1
n2 B 1
n4 1
B1
1
n
n4
1
n3
n4
1
n
1 cuando n
Hemos usado el hecho de que 1c Bc2 t es tambien un movimiento Browniano

para cualquier c 0 constante. Por lo tanto P A1
P A2
1. Es
1 para cualquier n 1.
!
decir, P An
As, para cada t0 0, el conjunto de trayectorias t
Bt que no son diferenciables en t0 tiene probabilidad uno. Este conjunto de trayectorias puede
cambiar para cada valor de t0 , aunque cada una de ellas tenga probabilidad
uno. El siguiente resultado, mas fuerte y que se enuncia sin demostracion,
asegura que con probabilidad uno no hay diferenciabilidad en ning
un punto.
Observe que el conjunto de tiempos t0 0 no es numerable y por lo tanto
la afirmaci
on no se sigue de manera obvia del resultado anterior.
Proposici
on 8.7 Con probabilidad uno, el movimiento Browniano Bt :
t 0 no es diferenciable en ning
un t 0.
Las trayectorias Brownianas son entonces ejemplos de funciones, otrora consideradas extra
nas, que son continuas pero no diferenciables en ning
un punto. La gr
afica de la Figura 8.2 muestra una de tales trayectorias, el zigzagueo
incesante del movimiento de la partcula no permite la diferenciabilidad de
su trayectoria en ning
un punto. Este tipo de resultados son los que dan
la pauta para buscar desarrollar una teora de la diferenciabilidad de funciones un poco m
as amplia que la proporcionada por el calculo diferencial
tradicional.
252
8.4.
Movimiento Browniano multidimensional
El movimiento Browniano que hemos estudiado con valores en R puede

extenderse a un proceso con valores en Rn de la siguiente forma.
Definici
on 8.3 Sean B1 t , . . . , Bn t movimientos Brownianos independientes unidimensionales. El movimiento Browniano en Rn es el proceso
B t
B1 t , . . . , Bn t .
En la Figura 8.4 puede apreciarse la simulaci

on de una trayectoria Browniana en
B2 t
R2 . En completa analoga con el caso unidimensional, este proceso puede definirse
de manera alternativa mediante los siguientes postulados. Primeramente se piB1 t
0, . . . , 0 casi seguramente.
de que B 0
Se presupone adem
as que las trayectorias
t
B t son continuas, y que el proceso tiene incrementos independientes. FinalFigura 8.4
mente, para cualesquiera tiempos 0 s
t, el vector B t
B s tiene una distribuci
on normal multivariada con media el vector de ceros 0, . . . , 0 , y matriz
de covarianzas la matriz diagonal
t
Var B t
s 12
0
..
B s
0
Es decir, la funci
on de densidad del vector B t
f x1 , . . . , xn
1
e
2 t s 12
.
s n2
B s es
x21 2 t s 12
1
e
2 t s n2
2
x2n 2 t s n
Cuando los valores de los parametros son todos uno, se dice nuevamente
que el movimiento Browniano es estandar, y la funcion de densidad de B t
253
8.4. Movimiento Browniano multidimensional

B s adquiere la expresi
on compacta
1
f x1 , . . . , xn
2 t
n 2
2 t s
en donde x
x21
x2n . Como en el caso unidimensional, puede
considerarse un movimiento Browniano que inicie en x Rn , y entonces
para cualquier t 0 la probabilidad de transicion o densidad de B t es
p t, x, y
1
2t n
y x
2t
que nuevamente cumple al ecuacion de Chapman-Kolmogorov

pt
p t, x, u p s, u, y du.
s, x, y
Rn
El proceso de Bessel
Sea B t : t 0 un movimiento Browniano en Rn . El proceso de Bessel
es el proceso dado por
Rt
B t
B12 t
Bn2 t
1 2
Es decir, R t es la distancia Euclideana que guarda un movimiento Browniano n-dimensional respecto al origen al tiempo t, y por eso se le llama a
veces movimiento Browniano radial. Se trata pues de un proceso con valores
que evidentemente tiene trayectorias continuas. Puede demostrarse
en 0,
(vease [1]) que este proceso cumple la propiedad de Markov y que la funcion
de probabilidades de transicion p t, x, y puede expresarse en terminos de las
funciones de Bessel, y de all es de donde adquiere este nombre alternativo.
Ecuaci
on de calor en dominios acotados
Vamos a enunciar sin demostracion un resultado que nos llevara a una aplicaci
on del movimiento Browniano. Considere una region abierta y acotada
D de Rn con frontera D, y suponga que la funcion u t, x representa la
temperatura en el punto x D al tiempo t 0. La evolucion en el tiempo
de esta funci
on est
a dada por la ecuacion de calor
t
u t, x
d
u t, x ,
2
254
en donde es el operador Laplaciano, y d es una constante positiva. Suponga adem

as que se tiene una temperatura inicial u 0, x
f x para x D,
g x para x
D. Sea x un punto
y la condici
on de frontera u t, x
nf t
0 : Btx
D , en donde
cualquiera en D y defina el tiempo
x
2
Bt es un movimiento Browniano de parametro
d, y que inicia en
x. La soluci
on a esta ecuacion de calor con las condiciones mencionadas se
puede expresar en terminos del movimiento Browniano de la siguiente forma
u t, x
E f Btx 1
g Bx 1
(8.3)
la estructura de la ecuacion de calor hace que la solucion

Conforme t
u t, x se aproxime a una funcion u x , la solucion estacionaria de la ecuacion
de calor, que satisface
u x
0,
(8.4)
para x D, y conservando la condicion de frontera u x
es decir,
E g Bx
si x
lm u t, x
ux
t
g x
si x
g x para x
D,
D,
D.
Ejemplo 8.1 (El problema de la ruina del jugador con trayectorias

Brownianas) Suponga que un movimiento Browniano unidimensional ini. Cu
al es la
cia en el punto x dentro del intervalo a, b , con 0 a b
probabilidad de que el proceso tome el valor a antes que b? Una trayectoria
Browniana que cumple tal condici
on se muestra en la Figura 8.5(a). Este es
el problema de la ruina del jugador estudiado antes s
olo que ahora el capital del jugador cambia continuamente siguiendo un movimiento Browniano.
Llegar primero al valor a se interpreta como ruina, y el juego es justo pues
los incrementos del movimiento Browniano tienen esperanza nula. Defina
nf t
0 : Btx
a
o Btx
b . Nos
nuevamente el tiempo de paro
interesa encontrar
ux
P Bx
E 1
Bx .
0, para
Por la igualdad (8.4), esta funci
on cumple la ecuaci
on u x
1yub
0. La soluci
on es
a x b, con condiciones de frontera u a
ux
b x b a , cuya gr
afica se muestra en la Figura 8.5(b).
n
8.5. El principio de reflexio
255
ux
Bt
1
b
x
a
t
Figura 8.5
8.5.
El principio de reflexi
on
El resultado que estudiaremos a continuacion es llamado principio de reflexi

on y tiene una interpretacion geometrica facil de entender. Considere
un movimiento Browniano que inicia en a, y sea b otro n
umero tal que b a.
En la Figura 8.6 se ilustra esta situaci
on. El conjunto de trayectorias que
Bta
tocan la lnea horizontal
b en alg
un tiempo
y
0, t , se descompone
en dos conjuntos ajenos que

b
son simetricos uno del otro
a
y tienen identica probabilidad: aquel conjunto de
trayectorias que finalizan en
t
alg
un punto arriba de b, y
el conjunto de trayectorias
Figura 8.6
que terminan por abajo de
b. Una vez que una trayectoria toca el punto b es igualmente probable que finalice al tiempo t arriba de
b o abajo de b. Este resultado adquiere su nombre debido a esta propiedad de
reflexi
on y facilita el c
alculo de algunas probabilidades, en particular, lo us-
256
aremos para demostrar la propiedad de recurrencia puntual del movimiento

Browniano unidimensional.
Proposici
on 8.8 (Principio de reflexi
on) Sea Bta : t
0 un movimiento Browniano que empieza en a, y sea b a. Para cualquier t 0,
P Bsa
b para alg
un s
2 P Bta
0, t
(8.5)
b.
Demostraci
on. Sea el primer momento en el que el movimiento Browniano es igual a b, es decir, sea
nf t
0 : Bta
b . Esta variable
aleatoria puede tomar el valor infinito si el evento mencionado nunca ocurre.
Entonces
P Bsa
b para alg
un s
0, t
t.
t
P Bta
La u
ltima igualdad se debe a que P
una variable aleatoria continua. Por otro lado,
P Bta
P Bta
Bta
b
b
t P
0
0, por ser Bta
b
t
t P
t,
(8.6)
en donde, por la propiedad de Markov, y condicionada a la ocurrencia del

evento t , la variable Bta b Bta Ba tiene distribucion N 0, t 2 .
1 2. Substituyendo en (8.6) se obtiene
Por lo tanto P Bta b 0 t
P
2 P Bta
b.
!
8.6.
En esta secci
on encontraremos la probabilidad de que el movimiento Browniano eventualmente regrese a su posicion de origen. Veremos que la respuesta depende de la dimension del proceso. Empezaremos estudiando una
propiedad general en el caso unidimensional.
257
Proposici
on 8.9 Sea Bt : t
0 un movimiento Browniano unidimensional que inicia en cero y considere dos tiempos t1 y t2 tales que 0 t1 t2 .
Entonces,
0 para alg
un t
P Bt
2
arctan
t1 , t2
t1
t2
t1
Demostraci
on. Para cualquier u 0, mediante argumentos de traslacion
y por el principio de reflexion se tiene que
0 para alg
un t
P Bt
t1 , t2
Bt1
u para alg
un t
P Bt
P Bt
u para alg
un t
2 P Bt2
t1
0, t2
0, t2
t1
u.
Por simetra se tiene la misma probabilidad para el caso u

0 para alg
un t
P Bt
0. Entonces,
t1 , t2
0 para alg
un t
P Bt
t1
t1 , t2
2 P Bt2
t1
u p t1 , 0, u du
P Bt2
t1
u p t1 , 0, u du
Bt1
u p t1 , 0, u du
p t2
0
t1 , 0, v dv p t1 , 0, u du
4
0
1
2 t2
t1
Haciendo el cambio de variable x, y

expresi
on equivalente
4
0
x t1
t2 t1
1
e
2t1
v2 2 t2 t1
1
e
2
t1 , v
x2 y 2 2
t2
u2 2t1
dv du.
t1 se obtiene la
dy dx.
Ahora se resuelve esta integral usando coordenadas polares. La region de

integraci
on x, y : x 0 y y x t1 t2 t1 que se muestra en la Figura 8.7 corresponde a la region polar r, : r 0 y arctan t t1t , 2 .
2
258
Por lo tanto la probabilidad buscada es

2
4
arctan
t1
t2
t1
1
e
2
arctan
2
arctan
r2 2
r dr d
t1
1
t2 t1 2
t1
.
t2 t1
r2 2
r dr
t1
x
t2 t1
arctan
t1
t2 t1
Figura 8.7
Con ayuda de este resultado demostramos ahora la recurrencia puntual del
movimiento Browniano unidimensional.
Proposici
on 8.10 (Recurrencia puntual del movimiento Browniano unidimensional) Con probabilidad uno el movimiento Browniano unidimensional es recurrente puntual, es decir, regresa a su posici
on de origen
una infinidad de veces casi seguramente.
Demostraci
on. Haciendo t2 tender a infinito en la formula recien demostrada e intercambiando el lmite con la probabilidad, lo cual es valido,
pues la sucesi
on de eventos es creciente, se obtiene que para cualquier valor
positivo de t1 ,
P Bt
0 para alg
un t
t1 ,
lm 1
t2
2
arctan
t1
t2
t1
1.
259
Esto es, la probabilidad de que el movimiento Browniano unidimensional

regrese al cero para alg
un tiempo t dentro del intervalo t1 ,
es uno,
sin importar la magnitud de t1 . Ahora, una vez que regresa a cero, por
la propiedad fuerte de Markov, inicia en ese momento otro movimiento
Browniano que eventualmente regresara nuevamente a cero con probabilidad
uno. De esta manera regresara a cero una infinidad de veces con probabilidad
!
uno.
Esta propiedad de recurrencia significa que una trayectoria como la que se
muestra en la Figura 8.2 cruzara una infinidad de veces el eje horizontal, casi
seguramente. Puede uno tambien considerar que el movimiento inicia en un
punto cualquiera x obteniendose la misma propiedad de recurrencia al punto
x. La siguiente conclusi
on es tambien muy interesante: hemos mencionado
tB1 t : t
0 , con W0
0, es tambien un
antes que el proceso Wt
movimiento Browniano. Ahora, dado que Bt es cero para una infinidad de
valores de t en cualquier intervalo de la forma t1 , , se tiene entonces que
Wt es cero una infinidad de veces dentro del intervalo 0, 1 t1 . Es decir,
en cualquier vecindad de t 0, las trayectorias del movimiento Browniano
cruzan el eje horizontal una infinidad de veces, casi seguramente. Esta misma
conclusi
on puede obtenerse directamente de la formula recien demostrada
0, es decir,
tomando t2 0 fijo y haciendo t1
P Bt
0 para alg
un t
0, t2
lm 1
t1
2
arctan
t1
t2
t1
1.
En el caso de dimensiones mayores la situacion es distinta.

Proposici
on 8.11 (Recurrencia y transitoriedad del movimiento
Browniano) Sea B t : t 0 un movimiento Browniano n-dimensional
que inicia en el origen, y sea el disco D
x Rn : x
r , para alg
un
r 0.
1. Cuando n 2, con probabilidad uno el movimiento Browniano visita
la vecindad D en una infinidad de tiempos no acotados. Esto es, el
proceso es recurrente por vecindades. Sin embargo no es recurrente
puntual, pues la probabilidad de que regrese exactamente al punto de
partida es cero.
260
2. Cuando n 3, el proceso es transitorio por vecindades, es decir, existe

una probabilidad positiva de que el proceso nunca regrese a la vecindad
del punto de partida.
Demostraci
on. Sean r1 y r2 dos radios tales que 0 r1 r2 , y defina la
regi
on A
x Rn : r 1
x
r2 como se muestra en la Figura 8.8. La
n
x R : x
r1 o x
r2 , y x
x21 x22 .
frontera de A es A
x
r1
r2
Figura 8.8
Suponga que el movimiento Browniano inicia en el origen y que en alg
un
tiempo posterior se encuentra en un punto x dentro de la region A. Defina
la funci
on f x como la probabilidad de que el movimiento Browniano que
r2 antes que
parte de x llegue a la circunferencia exterior x Rn : x
a la circunferencia interior x Rn : x
r1 . Es decir, si se define el
tiempo de paro
D ,
nf t 0 : B t
entonces f x
P
escribirse como
en donde g x : A
r2 B 0
f x
E g B
x . Esta funcion puede tambien

B 0
x ,
R es la funcion indicadora
g y
1 si x
r2 ,
0 si x
r1 .
261

La funci
on f x satisface la ecuacion diferencial
f x
0,
(8.7)
con condiciones de frontera

f y
g y
1 si y
r2 ,
0 si y
r1 .
Dada la simetra del movimiento Browniano, la funcion f x depende de x

s
olo a traves de la magnitud x . Sea entonces f x
x para alguna
x . En este caso particular, conviene escribir al
funci
on r con r
operador de Laplace en coordenadas esfericas adquiriendo la expresion
1 d n 1d
r
r n 1 dr
dr
d2
n 1 d
.
dr 2
r dr
Por lo tanto, la ecuaci

on (8.7) se escribe
r
n
r
0,
para r
y las nuevas condiciones de frontera son r2

general de esta ecuaci
on es
r
c1 ln r
c1 r 2
c2
c2
r1 , r2 ,
1 y r1
si n
2,
si n
3,
0. La solucion
con c1 y c2 constantes. Usando ahora las condiciones de frontera se obtiene

x
x
ln x
ln r1
ln r2 ln r1
r12 n
x 2 n
r12 n r22 n
si n
si n
2,
3.
(8.8)
(8.9)
Estos resultados nos permitiran encontrar las probabilidades buscadas tomando algunos lmites sobre los radios r1 y r2 . Para el caso n 2, la probabilidad
262
de que el movimiento Browniano que inicia en x nunca visite la bola de radio

r1 alrededor del cero es, por (8.8),
lm P
r2 antes que B
r2
lm
r2
ln x
ln r2
r1 B 0
ln r1
ln r1
0.
Es decir, la probabilidad de que el movimiento Browniano en R2 visite el
disco de radio r1 alrededor del origen es uno. Y regresara a dicho disco en
una infinidad de tiempos no acotados. Este comportamiento se conoce con
el nombre de recurrencia por vecindades. Sin embargo, no se presenta la recurrencia puntual, es decir, la probabilidad de que el movimiento Browniano
en R2 regrese exactamente al punto de origen es cero. Esto es consecuencia
0. Es decir, la probabinuevamente de (8.8) al tomar el lmite cuando r1
lidad de que el proceso tome el valor 0, 0 antes de que toque el crculo de
radio r2 es
lm P
r1
lm 1
r1
r1 antes que B
ln x
ln r2
r2 B 0
ln r1
ln r1
0.
Ahora consideremos el caso n
3. La probabilidad de que el proceso que
inicia en x nunca visite el disco de radio r1 alrededor del cero es, por (8.9),
lm P
r2
lm
r2
r2 antes que B
r1 B 0
r12 n
x 2 n
r12 n r22 n
r1 n 2
x
0.
Es decir, existe una probabilidad estrictamente positiva de que el proceso
nunca visite el disco de radio r1 alrededor del origen, cuando inicia en x.
263
8.7. N. Wiener
Este es el comportamiento transitorio del movimiento Browniano para dimensiones n

3. Explcitamente, la probabilidad de un retorno exacto al
origen es cero, pues por (8.9) esta probabilidad es
lm P
r1
lm 1
r1
r1 antes que B
r12 n
r12 n
r2 B 0
x 2 n
r22 n
0.
!
Notas y referencias. El lector puede encontrar una muy interesante y motivadora exposici
on hist
orica sobre el descubrimiento del movimiento Browniano en el excelente libro de Edward Nelson [23]. Este libro se encuentra
disponible en formato electronico en la pagina web del autor. Para otras
primeras lecturas y mas resultados sobre el movimiento Browniano pueden
consultarse, por ejemplo, los textos de Karlin y Taylor [17], Lawler [21],
Nelson [23], y Tudor [36].
8.7.
N. Wiener
Norbert Wiener (E.U.A., 18941964) fue un ni

no
prodigio. En 1903, a la edad de nueve a
nos ingres
o a la preparatoria Ayer en Massachusetts, la
cual concluy
o en 1906 para ingresar despues al colegio Tufts, en donde estudio matematicas con el
apoyo y asesora de su padre. En 1909, a la edad
14 a
nos, se gradu
o del colegio Tufts e ingreso a la
Universidad de Harvard para realizar estudios de
posgrado en Zoologa. Con ayuda de una beca ingres
o despues a la Universidad de Cornell en 1910,
en donde tom
o cursos de posgrado en matematicas
N. Wiener
y filosofa, pero su desempe
no all no fue del todo
satisfactorio y su padre lo regreso a Harvard para continuar sus estudios de
filosofa. Se gradu
o en Harvard a la edad de 18 a
nos con una tesis sobre logica
matem
atica bajo la direccion de Karl Schmidt. Despues de Harvard viajo a
264
Cambridge, Inglaterra, para estudiar junto a Bertrand Russell y en donde

asisti
o a algunos cursos dictados por G. H. Hardy. En 1914 viajo a Gottingen para estudiar ecuaciones diferenciales con David Hilbert. Regreso a
Estados Unidos dos das antes del inicio de la primera Guerra Mundial.
Muri
o en Estocolmo a la edad de 69 a
nos despues de sufrir un segundo
ataque al coraz
on. En su honor, una universidad en Per
u lleva su nombre.
En las siguientes referencias el lector puede encontrar mayor informacion
sobre la vida, el trabajo y el pensamiento de Norbert Wiener.
a) Mandrekar V., Mathematical work of Norbert Wiener, Notices of the
AMS, Vol. 42, N
um. 6, pp. 664669, Junio 1995.
b) Norbert Wiener 18941964, Bulletin of the AMS, Vol. 72, N
um. 1,
parte II, 1966.
c) Wiener N., I am a mathematician: the later life of a prodigy, The MIT
Press, Agosto 1964.
d) Wiener N., Ex-prodigy: my childhood and youth, The MIT Press, Agosto 1964.
8.8.
P. P. L`
evy
Paul Pierre Lèvy (Francia, 18861971) naci

o dentro de una familia con tradicion
matem
atica. Su abuelo fue profesor de
matem
aticas y su padre estudio geometra
y trabaj
o en la Ecole
Polytechnique. De
peque
no, Lèvy asisti
o al Lycee Saint Louis en
Pars, en donde mostr
o ser un excelente estudiante, sobresaliendo y ganando premios no
s
olo en matem
aticas sino tambien en griego,
fsica y qumica. Ingres

o despues a la Ecole
P. P. Lèvy
Polytechnique y siendo all a
un estudiante
public
o su primer artculo en matematicas en 1905, el cual trataba temas
8.9. Ejercicios
265
de series convergentes. Despues de un a

no de servicio militar, en 1907 in
gres
o a la Ecole des Mines, y asistio a cursos de matematicas en la Sorbonne.
En 1910 concluy
o sus estudios en la Ecole
des Mines, y realizo a partir de
entonces trabajos de investigacion en analisis funcional que le llevaron a
obtener el grado de Docteur es Sciences en 1912 bajo el escrutinio de E. Pi
card, H. Poincare y J. Hadamard. Trabajo como profesor en la Ecole
des
Mines de Saint-Etienne en Pars de 1910 a 1913, y en la Ecole

Nationale
Superieure de Mines de 1914 a 1951. Tambien impartio clases en la Ecole

Polytechnique de 1920 a 1959, a
no en el que se jubilo. En 1963 fue nombrado miembro honorario de la London Mathematical Society, y en 1964
fue elegido miembro de la Academie des Sciences. Paul Lèvy realizo contribuciones importantes en la teora de la probabilidad, el analisis funcional
y las ecuaciones diferenciales parciales. Entre sus textos publicados se encuentran Lecons danalyse funtionelle (1922), Calcul des probabilites (1925),
Theorie de laddition des variables aleatoires (1937), y Processus stochastiques et mouvement Brownien (1948). Paul Lèvy fue uno de los mas grandes
matem
aticos de su tiempo. Como cientfico fue un ejemplo de individualismo
absoluto, era un investigador solitario que solo se preocupaba por plantearse
problemas matem
aticos de su interes y buscaba su solucion a traves de la reflexi
on interior. No participaba mayormente en los congresos internacionales,
excepto hacia el final de su vida. A menudo encontraba por s mismo resultados ya conocidos, y otras veces descubra resultados importantes nuevos
sin darles mucha publicidad, pues los crea ya conocidos. Paul Lèvy fue un
ejemplo de un hombre de pensamiento de originalidad profunda, indiferente
a las escuelas y metodos establecidos, y quien no dudaba en lanzarse sobre nuevos caminos de pensamiento, pues no tema de ninguna manera a la
soledad intelectual.
8.9.
Ejercicios
Movimiento Browniano unidimensional
209. Simetra. Sea Bt : t 0 un movimiento Browniano de parametro 2 .

1 2.
Demuestre que para cualesquiera tiempos t s, P Bt Bs
210. Cambios de escala 1. Sea una constante distinta de cero. Demuestre
266
que si Bt : t
0 es un movimiento Browniano estandar, entonces
los siguientes procesos son movimientos Brownianos de par
ametro 2 .
a) Wt
Bt : t
0 .
b) Wt
B 2 t : t
0 .
211. Cambios de escala 2. Sea Bt : t 0 un movimiento Browniano de

par
ametro 2 . Demuestre que los siguientes procesos son movimientos
Brownianos est
andar.
a) Wt
b) Wt
Bt
Bt : t
2
:t
0 .
0 .
212. Traslaci
on. Sea s 0 fijo y sea Bt : t 0 es un movimiento Browniano est
andar. Demuestre que el proceso Xt Bt s Bs : t 0 es
un movimiento Browniano estandar.
213. Sean las funciones a t
e2t y b t
e t . Calcule la funcion de
covarianza del proceso Xt b t Ba t : t 0 en donde Bt : t 0
un movimiento Browniano estandar.
214. Sea Bt : t 0 un movimiento Browniano de parametro 2 . A partir
de la definici
on, demuestre que el proceso Wt
tB1 t : t
0 , con
W0 0, es un movimiento Browniano de parametro 2 .
215. Movimiento Browniano con tiempo invertido. Sea s
0 fijo y sea
Bt : t
0 es un movimiento Browniano estandar. Demuestre que
el proceso Xt Bs Bs t : t 0, s es un movimiento Browniano
en el intervalo 0, s . Este es un movimiento Browniano con tiempo
invertido.
216. Demuestre que la probabilidad de transicion p t, x, y del movimiento
Browniano unidimensional de parametro 2 satisface la ecuacion de
difusi
on, tambien llamada ecuacion de calor:
p
t
2p
y2
267
8.9. Ejercicios
217. Demuestre que la probabilidad de transicion p t, x, y del movimiento

Browniano unidimensional de parametro 2 cumple la ecuacion de
Chapman- Kolmogorov:
pt
218. Sea Bt : t
s, x, y
p t, x, u p s, u, y du.
0 un movimiento Browniano estandar. Demuestre que:
a) E Bt
Bs
b) E Bt
Bs
c) E Bs Bt
2t
2
s.
t.
d) Cov Bs , Bt
e) Bt , Bs
s t, para 0
t.
s
t.
219. Sea Bt : t 0 un movimiento Browniano. Demuestre que tanto el

0 como Bt2 t : t
0 son martingalas
proceso original Bt : t
respecto de la filtracion natural del movimiento Browniano.
220. Use la caracterizaci
on de Paul Lèvy para demostrar que los siguientes
procesos son movimientos Brownianos:
b) Wt
Bt :
1
c Bc 2 t
:t
0 ,
con c
c) Wt
t B1 t : t
0 ,
con W0
d) Wt
Bt0
a) Wt
0 .
Bt0 : t
0 ,
0 constante.
0.
con t0
0 fijo.
221. Sea Bt : t 0 un movimiento Browniano de parametro 2 que inicia

en cero. Sea a una constante y defina el tiempo nf t 0 : Bt
a . Encuentre la funcion de densidad de .
222. Sea Bt : t 0 un movimiento Browniano unidimensional estandar.
Encuentre la distribucion conjunta de las variables Mt y Xt definidas
como sigue:
Mt
sup Bs
0 s t
Xt
Mt
Bt .
268
223. Movimiento Browniano reflejado en el origen. Sea Bt : t

0 un
movimiento Browniano estandar. El proceso Xt
Bt : t
0 corresponde a un movimiento Browniano que solo toma valores positivos
pues las trayectorias son reflejadas respecto del origen hacia la parte
0 es un proceso de Marpositiva del eje. Demuestre que Xt : t
kov con trayectorias continuas y que tiene funcion de probabilidad de
transici
on q t, x, y dada por
q t, x, y
p t, x, y
p t, x, y ,
para cualesquiera valores x, y 0, en donde p t, x, y es la correspondiente funci

on de probabilidad de transicion del movimiento Browniano. Compruebe ademas que
a) E Xt
2t .
b) Var Xt
2 t.
224. Movimiento Browniano con absorci

on en el origen. Sea Btx : t 0
un movimiento Browniano estandar que inicia en x
0. Defina el
tiempo nf t 0 : Btx 0 y el proceso
Btx si 0
0
si t
Xt
t
,
el cual representa un movimiento Browniano que inicia en x con la

caracterstica de que una vez que llega al cero permanece en ese estado
el resto del tiempo.
a) Demuestre que Xt : t 0 es un proceso de Markov con trayectorias continuas.
b) Observe que la variable Xt es mixta, es decir, no es discreta ni
continua. Demuestre que la funcion de probabilidad de transicion
del proceso Xt : t 0 es, en su parte continua,
q t, x, y
p t, 0, y
p t, 0, y
x , para x, y
0,
en donde p t, x, y es la correspondiente funcion para Bt : t 0 ,

un movimiento Browniano que inicia en cero. Demuestre adem
as
que, para la parte discreta,
q t, x, 0
21
F x ,
269
8.9. Ejercicios
en donde F x es la funcion de distribucion de la variable Bt .

c) Calcule E Xt y Var Xt .
225. La martingala exponencial. El proceso que se obtiene al tomar la exponencial de un movimiento Browniano no es, en general, una martingala, sin embargo, a
nadiendo un termino extra este nuevo proceso
puede convertirse en una martingala y se le llama martingala exponencial. M
as especficamente, sea Bt : t 0 un movimiento Browniano
est
andar y sea c una constante. Defina el proceso
Xt
exp cBt
c2 t 2 .
a) Compruebe que Xt : t
0 es efectivamente una martingala
respecto de la filtracion natural del movimiento Browniano.
2
b) Compruebe que E Xt
1 y Var Xt
ec t 1.
0 un movimiento
226. El puente Browniano en 0, 1 . Sea Bt : t
Browniano unidimensional estandar. Demuestre que la distribucion
condicional de la variable Bt , con t 0, 1 , dado que B0 0 y B1 0,
es
2
1
f x
e x 2t 1 t , para
x
,
2 t 1 t
es decir, Bt tiene distribucion condicional N 0, t 1 t . A este proceso
condicionado se le conoce con el nombre de puente Browniano en el
intervalo unitario 0, 1 . El siguiente ejercicio generaliza este resultado.
227. El puente Browniano en t1 , t2 . Sea Bt : t
0 un movimiento
Browniano unidimensional estandar, y sean t1 y t2 dos tiempos fijos
tales que 0 t1 t2 . Demuestre que la distribucion condicional de la
t1 , t2 , dado que Bt1
a y Bt2
b, es N , 2
variable Bt , con t
con
t t1
a
b a,
t2 t1
t2 t t t1
.
y 2
t2 t1
228. Sea Bt : t 0 un movimiento Browniano que empieza en cero. Use
el principio de reflexi
on para demostrar que para cualquier a 0,
P Bt
a para alg
un t
1.
270
Movimiento Browniano multidimensional

B1 t , . . . , Bn t un movimiento Browniano estandar en
229. Sea B t
n
R , y sea r 0. Sea x
x21
x2n 1 2 la norma Euclideana en
n
R . Demuestre que la funcion de densidad de B t es, para x 0,
f x
1
n 2
n 2
1
2
x2
t
B t
2x
e
t
x2 2t
2,
En particular, demuestre que para n

P
n 2 1
x2 2t
230. Demuestre que el operator Laplaciano en R2 :

f x, y
2f
2f
x2
y2
adquiere la siguiente expresion en coordenadas polares:

2
f r,
f
2
1
f
r r
1 2
f.
r2 2
Compruebe que cuando f depende de x y de y u

nicamente a traves
2
2
x
y , el Laplaciano se reduce a la expresion:
de r
f r,
d2
f
dr 2
1 d
f.
r dr
Este resultado fue usado en la demostracion de la propiedad de recurrencia por vecindades del movimiento Browniano en R2 .
231. Demuestre que el operator Laplaciano en R3 :
f x, y, z
2f
2f
2f
x2
y2
z2
adquiere la siguiente expresion en coordenadas esfericas:

f r, ,
1
r2
f
r2 r
r
1
sen
f
r 2 sen
2
1
f.
r 2 sen2 2
271
8.9. Ejercicios
Compruebe que cuando f depende de x, y y z u

nicamente a traves de
2
2
2
r
x
y
z , el Laplaciano se reduce a la expresion
f r,
d2
f
dr 2
2 d
f.
r dr
Este resultado fue usado en la demostracion de la propiedad de transitoriedad del movimiento Browniano en R3 .
272
Captulo 9
C
alculo estoc
astico
En este u
ltimo captulo se presenta una breve introducci
on al calculo estoc
astico de It
o y est
a basado en [30]. Vamos a definir la integral de Ito de
un proceso estoc
astico respecto del movimiento Browniano. Mostraremos
adem
as el uso y aplicaci
on de la formula de Ito, y resolveremos algunos
modelos sencillos de ecuaciones estocasticas.
9.1.
Integraci
on estoc
astica
El objetivo de esta secci

on es presentar la definicion de la integral de Ito de
un proceso Xt respecto del movimiento Browniano, es decir, una integral
de la forma
t
Xs dBs .
(9.1)
Este tipo de integrales no pueden definirse trayectoria por trayectoria, es decir, como si fuera una integral de Riemann-Stieltjes de una funcion respecto
de otra funci
on, pues en este caso la funcion integradora es una trayectoria
del movimiento Browniano que, como hemos visto antes, no tiene variacion
finita. La justificaci
on para desear definir este tipo de integrales sera evidente m
as adelante cuando estudiemos ecuaciones estocasticas basadas en
este tipo de integrales. Definir la integral de Ito a un nivel elemental nos conducir
a necesariamente a dejar sin demostracion algunos resultados tecnicos.
Daremos la definici
on de integral estocastica en varios pasos, primero para
procesos simples y despues, por aproximacion, para procesos mas generales.
273
lculo estoca
stico
9. Ca
274
Primeras hip
otesis
Consideraremos como elementos iniciales un espacio de probabilidad , F , P ,
0 , junto
y un movimiento Browniano estandar unidimensional Bt : t
con su filtraci
on natural Ft t 0 . Supondremos dado un proceso Xt con
espacio parametral el intervalo 0, T , con T 0 fijo, y que visto como fun0, T
, es FT
B 0, T -medible, en donde el termino
ci
on X :
FT B 0, T corresponde a la mnima -algebra generada por el espacio
producto FT B 0, T . Supondremos ademas que el proceso es adaptado,
es decir, para cada t en el intervalo 0, T , la variable aleatoria Xt es medible
respecto de Ft .
El espacio L2 P
Denotaremos por L2 P al espacio vectorial de variables aleatorias X que
son cuadrado integrables, es decir, que cumplen la condici
on
X
E X
L2 P
2 1 2
2
on
La funci
on
L2 P define una norma en L P , es decir, es una funci
real definida sobre este espacio lineal que cumple las siguientes cuatro condiciones:
a)
0.
b)
c)
d)
0 c.s.
Y .
X , constante.
Se puede verificar que el espacio lineal L2 P es completo respecto de esta

norma, es decir, es un espacio de Banach. Esto quiere decir que toda sucesion
de Cauchy en este espacio tiene lmite en el. A la convergencia usando esta
norma se le llama convergencia en L2 P , o tambien convergencia en media
cuadr
atica. Por ejemplo, la variable aleatoria Bt del movimiento Browniano
pertenece a este espacio pues,
Bt
L2 P
E Bt
2 1 2
n estoca
stica
9.1. Integracio
275
El espacio L2 P dt
Denotaremos tambien por L2 P dt al espacio lineal de todos los procesos
Xt : 0 t T , que cumplen la condicion
X
T
Xt 2 dt
L2 P dt
1 2
Puede demostrarse que la funcion

L2 P dt es efectivamente una norma y
que este espacio es completo respecto de esta norma, es decir, es un espacio
Bt : 0
t T
de Banach. Por ejemplo, el movimiento Browniano B
pertenece a este espacio pues,
T
Bt 2 dt
1 2
E Bt 2 dt
1 2
L2 P dt
0
T
0
T
1 2
t dt
0
T
2
Procesos simples
Definiremos primero la integral de Ito para procesos que tienen la forma
indicada a continuaci
on y que llamaremos procesos simples.
Definici
on 9.1 Sea 0
t0
t1
tn
T una partici
on finita del
astico simple es un proceso de la forma
intervalo 0, T . Un proceso estoc
n 1
Xt
1 tk ,tk
t,
(9.2)
k 0
en donde X 0 , . . . , X n 1 es una colecci

on de variables aleatorias adaptadas
n 1
a la filtraci
on Ftk k 0 , y que son cuadrado integrables.
La expresi
on 1 a,b t denota a la funcion indicadora del intervalo a, b . Un
proceso simple es entonces un proceso constante por pedazos con trayectorias c`
adl`
ag (continuas por la derecha, con lmite por la izquierda), y las
lculo estoca
stico
9. Ca
276
condiciones solicitadas garantizan que el proceso es adaptado y tiene trayectorias cuadrado integrables. Estas propiedades permitir
an dar una definicion
adecuada para la integral estocastica. Una trayectoria de este tipo de procesos se muestra en la Figura 9.1. Denotaremos por H02 al espacio de todos los
procesos simples. Haciendo posiblemente algunos refinamientos
Xt
en las particiones, dos procesos
X n 1
1
X
simples pueden siempre expresarse en terminos de una misma
X 0
partici
on com
un. De modo que
la suma de dos procesos simples
tiene sentido y resultar
a ser tamt
bien un proceso simple. El espatn 1 tn
t1
t2
cio H02 es efectivamente un espaFigura 9.1
cio vectorial.
Integral para procesos simples
Esta es la definici
on intuitiva de integral y establece simplemente que si el
integrando es constante en alg
un subintervalo, entonces la integral debe ser
esa constante multiplicada por el incremento del movimiento Browniano en
dicho subintervalo.
Definici
on 9.2 La integral estoc
astica de It
o de un proceso simple X de
la forma (9.2), respecto del movimiento Browniano, denotada por I X , se
define como la variable aleatoria
n 1
Xs dBs
I X
0
Btk
Btk .
k 0
Veamos algunas propiedades de esta variable aleatoria.

a) Es integrable pues siendo las variables X k y Btk 1 Btk independientes, cada sumando tiene esperanza cero, y por lo tanto la esperanza
de la integral es cero.
b) La integral es ademas cuadrado integrable y de hecho se cumple la
siguiente igualdad fundamental llamada Isometra de Ito:
I X
L2 P
L2 P dt
(9.3)
n estoca
stica
9.1. Integracio
277
Para comprobar esta identidad vamos a denotar nuevamente por Bk

a la diferencia Btk 1 Btk , y sea tk tk 1 tk . Nuevamente por la
independencia de X k y Bk se tiene que
n 1
I X
2
L2 P
E X
E X
Btk
Btk
k 0
n 1
k
Bj Bk
j,k 0
n 1
Bk
k 0
n 1
E X
tk
k 0
T
E
X
Xt 2 dt
0
2
L2 P dt
Esta identidad establece que tanto el proceso simple X como la variable

aleatoria I X tienen la misma norma en sus respectivos espacios. Como se
ver
a m
as adelante, esta igualdad juega un papel primordial en la definicion
general de integral estoc
astica. La integral estocastica asigna entonces a
cada elemento del espacio H02 una variable aleatoria en el espacio L2 P . De
esta forma se tiene la transformacion lineal I : H02
L2 P , que resulta ser
continua por la isometra de Ito. Observe que se puede tomar como ejemplo
de proceso simple el movimiento Browniano discretizado, es decir, se puede
Btk , y de esta forma tener la integral
tomar como proceso simple X k
estoc
astica discreta del movimiento Browniano respecto de s mismo,
n 1
Btk Btk
Btk .
k 0
Extensi
on por aproximaci
on
Ahora extenderemos la integral estocastica a procesos un poco mas generales. Sea H2 el espacio de todos los procesos Xt medibles y adaptados,
lculo estoca
stico
9. Ca
278
tales que
T
Xt 2 dt
El espacio H2 resulta ser un subespacio lineal cerrado de L2 P dt . Observe

que la u
nica diferencia entre estos dos espacios es que a los elementos de
H2 se les pide adem
as que sean medibles y adaptados. En particular, todo
proceso simple es un elemento de H2 . Tenemos entonces la contencion de
espacios H02 H2 L2 P dt , en donde puede probarse que H02 es denso
en H2 respecto de la norma en L2 P dt . Esto significa que para cualquier
proceso X en H2 existe un sucesion de procesos X k en H02 tales que
lm X
Xk
L2 P dt
0.
(9.4)
Este procedimiento de aproximacion puede llevarse a cabo de la siguiente

forma: mediante la tecnica de truncacion todo proceso en H2 puede ser
aproximado por un proceso acotado. A su vez todo proceso en H2 que es
acotado se puede aproximar por procesos acotados y continuos. Y estos a
su vez se aproximan por procesos simples de la forma (9.2). Los detalles
completos de esta sucesi
on de aproximaciones pueden encontrarse en [25].
Usando la isometra de It
o es sencillo comprobar que la sucesion I X k es
una sucesi
on de Cauchy en el espacio L2 P , en efecto,
I Xk
I Xl
I Xk
L2 P
Xl
X
L2 P
L2 P dt
L2 P dt
Xl
L2 P dt
Debido a (9.4) la u
ltima expresion puede hacerse tan peque
na como se desee,
tomando ndices k y l suficientemente grandes.
Definici
on 9.3 Sea X un proceso en H2 , y sea X k una sucesi
on de procesos
2
en H0 aproximante a X. Se define la integral estoc
astica de X como
I X
lm I X k ,
en donde el lmite debe entenderse dentro del espacio L2 P , es decir, se

trata de la convergencia en media cuadr
atica de una sucesi
on de variables
aleatorias.
n estoca
stica
9.1. Integracio
279
Esto significa que la variable aleatoria I X es un elemento de L2 P y

es tal que lmn
I X
I X k L2 P
0. No es difcil verificar que
tal definici
on es correcta en el sentido de que el lmite no depende de la
sucesi
on aproximante. En este punto empieza a perderse nuestra concepcion
tradicional de integral, pues ahora esta se encuentra definida a traves de
una sucesi
on aproximante del proceso a integrar. De manera grafica esta
extensi
on se ilustra en la Figura 9.2.
H02
H2
L2 P
L2 P
dt
Figura 9.2
La isometra de It
o se cumple tambien para procesos en H2 como se muestra
a continuaci
on.
Proposici
on 9.1 (Isometra de It
o) Para cualquier proceso X en H2 se
cumple
I X L2 P
X L2 P dt .
(9.5)
Demostraci
on. Sea X en H2 y sea Xn en H02 tal que X Xn L2 P dt
0. Esta convergencia y la desigualdad a
b
a b implican que
Xn L2 P dt
X L2 P dt . Analogamente, como I X I Xn L2 P
0 se tiene que I Xn L2 P
I X L2 P . El resultado buscado se obtiene al tomar el lmite en la isometra de Ito como se muestra en el siguiente
diagrama:
I Xn
L2 P
Xn
I X
L2 P
L2 P dt
L2 P dt
.
!
lculo estoca
stico
9. Ca
280
La propiedad de esperanza nula se cumple tambien para procesos en H2 ,

pues usando probabilidad elemental, o por la desigualdad de Jensen,
0
E2 I X
I Xk
I Xk
De donde se obtiene E I X
I Xk
E I X
0.
0, es decir,
lm E I X k
E I X
0.
De esta forma se tiene ahora la transformacion lineal y continua I : H2

L2 P . Observe nuevamente que el movimiento Browniano Bt es un ejemplo
de un proceso en el espacio H2 , y es posible demostrar que tal proceso puede
dt por el
ser aproximado en el sentido de la norma del espacio L2 P
proceso simple
n 1
Btk 1 tk ,tk
Xt
t,
k 0
en donde 0
t0
t1
tn
T es una particion de 0, T . Se tiene
entonces la siguiente integral estocastica particular, y su aproximacion como
lmite en media cuadr
atica
n 1
lm
Bt dBt
Btk Btk
Btk ,
k 0
en donde el lmite debe entenderse en el sentido de que la distancia maxima entre dos puntos sucesivos de la particion tiende a cero. Mas adelante
calcularemos esta integral estocastica de dos maneras, primero usando esta
representaci
on como lmite en el espacio L2 P , y despues usando la formula
de It
o.
La integral como un proceso
Haremos ahora una peque
na extension. Para cada t en 0, T y para cualquier
2
X en H se define el proceso
T
Xs 1 0,t s dBs
It X
0
Xs dBs .
0
Este peque
no artificio permite ver a la integral estocastica no como una
variable aleatoria sino como un proceso. Es claro que tal proceso no es
n estoca
stica
9.1. Integracio
281
necesariamente continuo, sin embargo puede demostrarse que existe una

versi
on continua de el, y que esa version es una martingala respecto de la
filtraci
on natural del movimiento Browniano. Denotaremos por el mismo
smbolo a tal martingala continua.
Extensi
on por localizaci
on
Mediante un procedimiento llamado de localizacion es posible extender la
definici
on de integral de Ito a procesos medibles y adaptados que cumplen
la condici
on menos restrictiva
T
Xt 2 dt
1.
(9.6)
Denotaremos por L2loc el espacio de todos estos procesos. Este nuevo espacio
contiene a H2 y es tal que para cada proceso X en L2loc existe una sucesion
creciente de tiempos de paro 0
1
2
tales que n
T cuando
n
, y para cada n 1 el proceso Xt 1 n t pertenece al espacio H2 . Se
define entonces la integral estocastica como el siguiente lmite en el espacio
L2 P ,
t
Xs dBs
0
lm
Xs 1 n
1 0,t s dBs .
Nuevamente es posible demostrar que tal lmite existe, que existe una versi
on continua de el, y que es independiente de la sucesion de tiempos de
paro localizante. En este caso la integral ya no es una martingala sino una
martingala local, esto quiere decir que el proceso detenido It n X es una
martingala para cada natural n. En general, la isometra de Ito ya no se
cumple cuando la integral estocastica tiene como dominio de definicion el
espacio L2loc .
Ejemplo 9.1 Para el movimiento Browniano unidimensional Bt : t 0
y para cualquier funci
on continua f , el proceso f Bt : 0
t
T tiene
trayectorias continuas y acotadas, por lo tanto se cumplen las condiciones
de adaptabilidad y medibilidad y se cumple tambien (9.6), por lo tanto este
proceso es un elemento de L2loc , y tiene sentido la expresi
on
t
f Bs dBs ,
0
T.
lculo estoca
stico
9. Ca
282
Se puede demostrar que esta integral puede ser calculada mediante el siguiente lmite en el espacio L2 P , aunque tambien se verifica la convergencia en
probabilidad:
n 1
f Bs dBs
0
lm
f Btk
Btk
Btk ,
(9.7)
k 0
en donde 0 t0 t1 . . . tn t es una partici

on de 0, t , y nuevamente
el lmite debe entenderse en el sentido de que la distancia m
axima entre dos
puntos sucesivos de la partici
on tiende a cero.
Con esto concluimos la serie de ideas generales con las cuales puede construirse la integral de It
o. Las demostraciones de algunos detalles tecnicos
que hemos simplemente mencionado se pueden encontrar en [33]. El esquema
simplificado del procedimiento seguido para definir la integral estocastica se
ilustra la Figura 9.3.
Definicion
H02
Aproximacion
H2
Localizacion
L2loc
L2 P
Figura 9.3
Ejemplo 9.2 Con la ayuda de la identidad (9.7) calcularemos la integral
estoc
astica
t
(9.8)
Bs dBs .
0
Sea 0
t0
t1
tn
t una partici
on uniforme de 0, t , es decir
ti 1 ti 1 n. Usando la identidad
ab
1 2
b
2
a2
1
a
2
n estoca
stica
9.1. Integracio
283
se obtiene
n 1
Bs dBs
0
lm
Btk Btk
Btk
j 0
n 1
lm
j 0
1 2
B
2 t
1 2
B
2 tk
Bt2k
1
Btk
2
Btk
1
t.
2
La primera suma es telesc

opica mientras que la segunda suma corresponde
a la variaci
on cuadr
atica del movimiento Browniano. Los lmites indicados
son v
alidos en el sentido de media cuadr
atica. Observe que aparece el termion usual, pero aparece
no 21 Bt2 como si se siguieran las reglas de integraci
1
tambien el termino 2 t, conocido como la correcci
on de It
o. Ahora veamos
el cambio en la soluci
on de la integral (9.8) cuando se modifica ligeramente
la forma de calcularla. El cambio consiste en evaluar el integrando en el
extremo derecho de cada subintervalo. Observe que en este caso el proceso
a integrar ya no es adaptado y por lo tanto queda fuera de la teora desarrollada antes. Usando la identidad
bb
1 2
b
2
1
a
2
a2
se obtiene, nuevamente en el sentido de media cuadr

atica,
n 1
Bs dBs
0
lm
Btk
n 1
lm
1 2
B
2 t
Btk
Btk
j 0
j 0
1 2
B
2 tk
Bt2k
1
Btk
2
Btk
1
t.
2
El signo del segundo termino cambi

o de negativo a positivo. Esto muestra
que, a diferencia de la integral de Riemann, la integral estoc
astica es sensible al punto donde se eval
ua el integrando. Al considerar el promedio de
las dos evaluaciones en los extremos se obtiene la as llamada integral de
lculo estoca
stico
9. Ca
284
Stratonovich, denotada de la forma siguiente:
t
Bs dBs
0
1 2
B .
2 t
Observe que el termino adicional de la integral de It

o ha desaparecido. La
integral de Stratonovich tiene algunas ventajas operacionales pues sigue algunas reglas usuales del c
alculo integral, pero vista como proceso deja de ser
una martingala.
Ejemplo 9.3 Calcularemos ahora la esperanza y varianza del proceso
t
Bs dBs .
0
La esperanza es cero pues la integral estoc

astica en este caso es una martingala que empieza en cero. Para la varianza se tiene que
t
Var
Bs dBs
Bs dBs
0
t
E
0
t
0
t
Bs2 ds
E Bs2 ds
s ds
1 2
t .
2
t
1 2
1
Alternativamente, como 0 Bs dBs
2 Bt
2 t, las cantidades anteriores
pueden calcularse usando el lado derecho de esta igualdad. Claramente E 12 Bt2
1
0. Adem
as,
2t
Var
1 2
B
2 t
1
t
2
1
Var Bt2
4
1
E Bt4
E 2 Bt2
4
1 2
3t
t2
4
1 2
t .
2
n estoca
stica
9.1. Integracio
285
Ejemplo 9.4 Sean Xt y Yt dos procesos en H2 . Entonces

t
Xs dBs
E Xs Ys ds.
Ys dBs
Esta f
ormula es f
acil de comprobar usando la isometra de It
o y la igualdad
1
1 2
2
2
ab 2 a b
b . En efecto,
2 a
t
Xs dBs
Ys dBs
0
t
1
2
Xs
E Xs
1
2
Ys 2 ds
1
E
2
1
2
Ys dBs
Xs dBs
Ys dBs
0
t
E Xs 2 ds
E Ys 2 ds
E Xs Ys ds.
0
Propiedades de la integral
La integral estoc
astica de Ito cumple varias propiedades aunque solo mencionaremos algunas de ellas aqu, a manera de resumen de las caractersticas
se
naladas antes.
L2 P es lineal, es decir, para c constante y
a) La integral It : L2loc
para cualesquiera procesos Xs y Ys en L2loc , se cumple que
t
cXs
Ys dBs
Xs dBs
Ys dBs ,
c.s.
b) Tiene esperanza es cero, es decir, para cualquier proceso Xs en L2loc ,

t
0,
Xs dBs
c.s.
c) Cuando la integral se restringe al espacio H2 , se cumple la isometra

de It
o, es decir,
t
Xs dBs
E
0
E
0
Xs 2 ds.
lculo estoca
stico
9. Ca
286
d) Nuevamente restringida al espacio H2 , la integral es una martingala,

es decir, es integrable, adaptada y para 0 s t, se cumple
t
Xu dBu Fs
E
0
Xu dBu .
0
En general, para procesos en L2loc , la integral ya no es una martingala

sino una martingala local.
e) Existe una versi
on continua de la integral estocastica.
9.2.
F
ormula de It
o
Usualmente una integral de Riemann no se calcula a partir de su definicion,

en lugar de ello existen f
ormulas bien conocidas que agilizan y simplifican
los c
alculos. La misma situacion se presenta para integrales estocasticas: en
pocos casos se calculan estas a traves de su definicion. La famosa formula de
It
o es la herramienta fundamental para este tipo de integrales. Se enuncia
a continuaci
on este resultado en una version simple y se ejemplifica su uso.
M
as adelante se presenta una version un poco mas general. En lo sucesivo
haremos referencia a las siguientes espacios de funciones: una funcion real de
variable real es de clase C 1 , cuando es diferenciable y su derivada es continua. An
alogamente, una funcion es de clase C 2 , si es dos veces diferenciable
y su segunda derivada es una funcion continua.
on de clase C 2 .
Teorema 9.1 (F
ormula de It
o) [I] Sea f x es un funci
Entonces
t
f Bt
f Bs dBs
f B0
0
1
2
f Bs ds.
(9.9)
Explicaremos una forma de obtener este resultado usando el teorema de

Taylor pero sin dar una justificacion rigurosa. Para una funcion f x suficientemente suave, se tiene que
f x
f x0
f x0 x
x0
Rx,
rmula de Ito
9.2. Fo
287
en donde el residuo R x puede escribirse como sigue

x
Rx
f t x
t dt
x0
1
f x0
x0
x0
d.
La segunda igualdad se obtiene despues de un evidente cambio de variable.

tn t es una particion de 0, t , entonces
Por lo tanto, si 0 t0 t1
n
f Bt
f B0
f Btk
f Btk
k 1
n
f Btk
Bk
k 1
n
f Btk
Bk Bk
0
t
0
1
2
f Bs ds d
f Bs dBs
las sumas convert
f Bs dBs
f B0
d.
k 1
Puede comprobarse que al tomar el lmite cuando n

gen casi seguramente y entonces se obtiene la igualdad
f Bt
0
t
f Bs ds.
0
Esta f
ormula es una versi
on estocastica de la regla de la cadena del calculo
diferencial usual, y es com
un escribirla en su forma diferencial del siguiente
modo:
1
f Bt dt.
df Bt
f Bt dBt
2
Esta expresi
on debe entenderse en el sentido de su forma integral dada por
la f
ormula (9.9). Ilustraremos su uso mediante algunos ejemplos.
Ejemplo 9.5 Sea f x
1 2
B
2 t
1 2
2x .
1 2
B
2 0
Entonces la f
ormula de It
o establece que
t
Bs dBs
0
1
2
1 ds.
0
lculo estoca
stico
9. Ca
288
Es decir,
1 2 1
B
t.
2 t
2
0
Este resultado haba sido encontrado antes, ahora lo hemos obtenido de
manera inmediata a partir de la f
ormula de It
o. De manera an
aloga, para
1 3
x
se
obtiene
la funci
on f x
3
Bs dBs
t
0
1
n 1
n 1x
M
as generalmente, para f x
t
0
Bsn dBs
1 3
B
3 t
Bs2 dBs
Btn
Bs ds.
0
se obtiene
1
2
t
0
nBsn
ds.
Ejemplo 9.6 Usaremos la f

ormula de It
o para encontrar una expresi
on de
los momentos pares de una distribuci
on normal centrada. Demostraremos
que
2n ! n
E Bt2n
t .
2n n!
Los momentos impares de dicha distribuci
on se anulan pues en tal caso el
integrando resulta ser una funci
on impar. Consideremos entonces la funci
on
1 2n
x
,
para
cualquier
entero
natural
n.
De
la
f
o
rmula
de
It
o
se
sigue
f x
2n
que
t
1 2n
1 2n
1 t
2n 1 Bs2n 2 ds.
Bt
B0
Bs2n 1 dBs
2n
2n
2
0
0
Tomando esperanza y resolviendo de manera iterada se obtiene
2n 2n
2
2n 2n
2
E Bt2n
E Bs2n
1 2n
ds
2 2n
2
t
0
t1
0
E Bs2n
ds dt1
..
.
2n !
2n
t1
tn
1 ds dtn
0
dt1 .
No es difcil verificar que los resultados sucesivos de estas integrales son:

tn 1 , t2n 2 2!, t3n 3 3!, . . ., tn n! De esta forma se obtiene la f
ormula enunciada.
9.3.
289
Ecuaciones diferenciales estoc

asticas
Sea , F , P un espacio de probabilidad, y sea Bt : t 0 un movimiento

Browniano unidimensional adaptado a la filtracion Ft t 0 .
Definici
on 9.4 Sean b t, x y t, x dos funciones de 0, T
ecuaci
on estoc
astica es una ecuaci
on de la forma
dXt
b t, Xt dt
t, Xt dBt ,
en . Una
(9.10)
definida para valores de t en el intervalo 0, T , y con condici

on inicial
la variable aleatoria X0 que se presupone F0 -medible e independiente del
movimiento Browniano. La ecuaci
on (9.10) se interpreta como la ecuaci
on
integral
t
Xt
b s, Xs ds
X0
0
s, Xs dBs ,
(9.11)
en donde la primera es una integral de Riemann, mientras que la segunda

es una integral estoc
astica de It
o. Al proceso Xt se le llama proceso de
It
o.
Los elementos conocidos de esta ecuacion son los coeficientes b t, x y t, x ,
junto con la variable aleatoria inicial X0 . La incognita es el proceso Xt . A
la funci
on b t, x se le conoce como coeficiente de tendencia (drift en ingles o
tambien deriva en espa
nol). A la funcion t, x se le llama coeficiente de difusi
on. El proceso soluci
on puede interpretarse como el estado de un sistema
que evoluciona de manera determinista gobernado por la parte no aleatoria
de la ecuaci
on (la tendencia), pero alterado por un ruido aditivo dado por la
integral estoc
astica (la difusion). Para que una ecuaci
on estocastica tenga
soluci
on se deben pedir condiciones en los coeficientes. De manera analoga para el caso de ecuaciones diferenciales deterministas, existen teoremas
b
asicos de existencia y unicidad para ecuaciones estocasticas que establecen
condiciones de regularidad para los coeficientes b t, x y t, x , bajo las
cuales la ecuaci
on (9.10) tiene solucion u
nica. El siguiente es uno de tales
resultados.
Teorema 9.2 (Teorema de existencia y unicidad) Si los coeficientes
on (9.10) satisfacen la condici
on de Lipschitz en
b t, x y t, x de la ecuaci
lculo estoca
stico
9. Ca
290
la variable x,
b t, x
b t, y
t, x
t, y
Kx
y 2,
y la condici
on de crecimiento en x,
b t, x
t, x
x2 ,
K 1
para alguna constante K

0, entonces existe un proceso estoc
astico Xt
soluci
on de (9.10) que es adaptado a la filtraci
on, tiene trayectorias conti,
nuas, es uniformemente acotado en L2 P , es decir, sup0 t T E Xt2
y adem
as es u
nico en el sentido de indistinguibilidad.
En este caso a tal soluci
on se le llama solucion fuerte de la ecuacion estoc
astica. No presentaremos la demostracion de este resultado, simplemente
comentaremos algunos aspectos de los que consta la prueba completa. La
demostraci
on es semejante al caso determinista, y hace uso del metodo de
iteraciones de Picard. Mediante este metodo se define la sucesion de procesos
Xt
Xt
n 1
X0 ,
t
X0
0
b s, Xsn ds
t
0
s, Xsn dBs .
Para que estas iteraciones tengan sentido es necesario verificar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la diferencial respectiva. Para comprobar que tal sucesion de procesos es convergente se demuestra que, con probabilidad uno, esta sucesion
constituye una sucesi
on de Cauchy en el espacio de funciones continuas
C 0, T , respecto de la norma uniforme X
sup0 t T Xt . Dado lo anterior, existe entonces un proceso continuo Xt , tal que con probabilidad
n
uno, Xt converge a Xt de manera uniforme en el intervalo 0, T . Adicionalmente puede demostrarse que el proceso lmite es L2 -acotado en 0, T , y
n
Xt tambien es valida en L2 P . Tambien debe
que la convergencia Xt
demostrarse que el proceso lmite es efectivamente solucion de la ecuacion
estoc
astica. Para ello se toma el lmite en la ecuacion que define las iteraciones, y se verifica la convergencia uniforme en 0, T con probabilidad
uno, termino a termino. Los detalles de esta demostracion pueden encontrarse por ejemplo en [33]. Observe que el teorema anterior no establece la
291
forma de encontrar la solucion a una ecuacion estocastica dada, sino que asegura u
nicamente la existencia de dicha solucion. La siguiente version de la
f
ormula de It
o es un resultado bastante u
til para resolver algunas ecuaciones
estoc
asticas y generaliza la version anteriormente enunciada.
Teorema 9.3 (F
ormula de It
o) [II] Si Xt es un proceso de It
o dado
1
2
on de clase C en t y de clase C en x,
por (9.10) y f t, x es un funci
entonces el proceso Yt f t, Xt es tambien un proceso de It
o y satisface
la ecuaci
on estoc
astica
dYt
ft t, Xt dt
fx t, Xt dXt
1
fxx t, Xt dXt 2 .
2
(9.12)
Los subndices indican derivada y la ecuacion (9.10)

dt dBt
se substituye en (9.12) usando la tabla de multiplidt
0
0
caci
on de McKean que se muestra en la Figura 9.4.
dBt
0
dt
Observe que como las derivadas involucradas son
funciones continuas, las integrales estocasticas reFigura 9.4
sultantes est
an bien definidas. La demostracion de
este resultado sigue las mismas lneas que la versi
on m
as simple. Ilustraremos a continuacion el uso de esta formula con
varios ejemplos.
Ejemplo 9.7 Demostraremos que
t
tBt
s dBs
0
Bs ds.
0
Para verificar esta f

ormula puede tomarse el proceso Xt
tx. Entonces,
f t, x
d f t, Bt
ft t, Bt dt
d tBt
Bt dt
Bt y la funci
on
1
fxx t, Bt dBt
2
fx t, Bt dBt
t dBt .
Esta es la forma diferencial de la f

ormula enunciada.
Ejemplo 9.8 Considere la funci
on f x
eBt
eB0
t
0
eBs dBs
ex . Por la f
ormula de It
o,
1
2
t
0
eBs ds,
lculo estoca
stico
9. Ca
292
eBt satisface la ecuaci

on diferencial
es decir, el proceso Xt
dXt
con condici
on inicial X0
niano geometrico.
Xt dBt
1
Xt dt,
2
1. A este proceso se le llama movimiento Brow-
Ejemplo 9.9 Demostraremos que el proceso Xt

de la ecuaci
on estoc
astica
Xt
dt
1 t
dXt
1
1
Bt 1
es soluci
on
dBt ,
0. Sea f t, x
x 1 t . El proceso Xt
con condici
on inicial X0
f t, Bt cumple la condici
on inicial y por la f
ormula de It
o satisface la
ecuaci
on
dXt
ft t, Bt dt
1
fxx t, Bt dt
2
fx t, Bt dBt
Bt
1
dt
dBt
2
1 t
1 t
Xt
1
dt
dBt .
1 t
1 t
Ejemplo 9.10 Usando el metodo de igualaci
on de coeficientes resolveremos
la ecuaci
on
dXt
Xt dt e t dBt ,
on f t, x tal que el proceso
con condici
on inicial X0 0. Se busca un funci
soluci
on pueda escribirse como Xt f t, Bt . Igualando los coeficientes de
esta ecuaci
on con los de la f
ormula de It
o,
dXt
ft t, Bt dt
1
fxx t, Bt dt,
2
fx t, Bt dBt
se obtiene el sistema de ecuaciones

fx t, x
ft t, x
1
fxx t, x
2
f t, x .
n
9.4. Simulacio
293
De la primera ecuaci
on se obtiene f t, x
e t x c t . Substituyendo en
la segunda ecuaci
on y simplificando se obtiene c t
c t , cuya soluci
on
ce t , en donde c es una constante. Por lo tanto f t, x
e t x
es c t
c . Para que el proceso Xt
f t, Bt
e t Bt c cumpla la condici
on
inicial X0 0 forzosamente la constante c debe ser cero. De esta forma la
e t x. En tal caso la f
funci
on buscada es f t, x
ormula de It
o asegura que
efectivamente,
e t Bt dt
dXt
Xt dt
9.4.
e
t
dBt
dBt .
Simulaci
on
Una ecuaci
on estoc
astica ha resultado muy u
til para modelar sistemas que
presentan alg
un tipo de ruido o perturbacion aleatoria. Aplicaciones de tales
modelos se estudian en ingeniera, finanzas y fsica entre muchas otras areas
del conocimiento. Debido a la imposibilidad de encontrar soluciones explcitas a ciertas ecuaciones de interes, los metodos numericos del caso determinista se han extendido al caso estocastico. En las siguientes secciones
presentaremos algunos modelos particulares de ecuaciones estocasticas, y explicaremos un mecanismo para simular las trayectorias del proceso solucion.
Una trayectoria de un proceso Xt : t 0 que sigue la ley de movimiento
de una ecuaci
on estoc
astica de la forma:
dXt
X0
b t, Xt dt
t, Xt dBt ,
x0 ,
puede obtenerse mediante el metodo de discretizacion de Euler-Maruyama.

En este procedimiento se divide el intervalo 0, t de manera uniforme en
t n, y se define tj
jt para
n subintervalos de identica longitud t
j 0, 1, 2, . . . , N . Suponiendo que Yj es un valor al azar de la distribucion
normal est
andar, se definen los valores sucesivos de la trayectoria solucion
de la ecuaci
on estoc
astica como sigue:
X0
Xtj
x0 ,
Xtj
b tj , Xtj t
tj , Xtj
t Yj .
M
as adelante se presentara una implementacion de este procedimiento en
MATLAB para simular trayectorias de soluciones de ecuaciones particulares.
lculo estoca
stico
9. Ca
294
9.5.
Algunos modelos particulares
Movimiento Browniano geom

etrico
Este modelo es de amplio uso en finanzas y sirve para representar el precio de algunos bienes que fluct
uan siguiendo los vaivenes de los mercados
financieros. Su definici
on es la siguiente.
0 dos constantes, y x0
0. El movimiento
Definici
on 9.5 Sean y
Browniano geometrico es el proceso Xt : t
0 soluci
on de la ecuaci
on
estoc
astica
dXt
X0
Xt dt
Xt dBt ,
(9.13)
x0 ,
y puede escribirse como sigue:

Xt
x0 exp
1 2
t
2
Bt .
(9.14)
La ecuaci
on (9.13) puede interpretarse de la siguiente forma: en ausencia
del termino estoc
astico, la ecuacion se reduce a dXt Xt dt, cuya solucion
t
es Xt x0 e . Esta funci
on representa el comportamiento en el tiempo de
un capital inicial positivo x0 que
crece de manera continua y deXt
terminista a una tasa efectiva del
E Xt
100 %, suponiendo 0. Por otro
lado, la parte estoc
astica corresponde a la volatilidad de una inversi
on con riesgo sujeta a las fluctuaciones de los mercados financieros.
x0
t
El modelo supone que dicha varia1
2
bilidad es proporcional al valor de
Figura 9.5
la inversi
on. A este proceso se le
conoce tambien con el nombre de
movimiento Browniano exponencial. En la Figura 9.5 puede apreciarse una
trayectoria de este proceso con una inversion inicial x0 de una unidad monetaria, y con par
ametros 1, y 1 3. La curva creciente corresponde
295
9.5. Algunos modelos particulares
al crecimiento determinista de la inversion cuando no hay aleatoriedad, es

decir, cuando el coeficiente de difusion es cero. El valor de en la simulacion
es peque
no y por esa raz
on la trayectoria aleatoria mostrada se mantiene
cerca de la trayectoria determinista. Cuando se incrementa el valor de las
trayectorias pueden diferir considerablemente. En el programa de computadora de la Figura 9.6 se muestra una manera de simular trayectorias de este
proceso. El c
odigo es una traduccion a MATLAB de la discretizacion de la
ecuaci
on estoc
astica, y es una adaptacion del codigo que aparece en [13].
Este programa puede ser encontrado en la pagina web de Desmond J. Higham, junto con la implementacion de otros modelos y otras tecnicas de discretizaci
on. La funci
on randn produce un valor al azar de la distribucion
normal est
andar.
randn(state,100)
T=2; N=300; dt=T/N; xcero=1; mu=1; sigma=1/3;
dW=zeros(1,N); MBG=zeros(1,N);
dW(1)=sqrt(dt)*randn;
MBG(1)=xcero+mu*dt+sigma*xcero*dW(1);
for j=2:N
dW(j)=sqrt(dt)*randn
MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j)
end
plot([0:dt:T],[xcero,MBG],r-)
Figura 9.6
Observe que los coeficientes de la ecuacion (9.13) son b t, x

x y t, x
x, y satisfacen las condiciones para la existencia y unicidad de la solucion.
Resolveremos esta ecuaci
on usando el metodo de igualaci
on de coeficientes.
Encontraremos una funci
on f t, x tal que al aplicar la formula de Ito al
proceso Xt f t, Bt se obtenga la ecuacion (9.13). Comparando entonces
los coeficientes de la f
ormula general
dXt
ft t, Xt dt
fx t, Xt dBt
1
fxx t, Xt dt
2
lculo estoca
stico
9. Ca
296
con los de (9.13) se obtienen las igualdades
1
fxx t, x ,
2
f t, x
ft t, x
f t, x
fx t, x .
exp x g t , para alguna

De la segunda ecuaci
on se obtiene que f t, x
funci
on g t . Substituyendo en la primera ecuacion se obtiene g t
1 2
1 2
2 t. De donde Xt f t, Bt adquiere la
on es g t
2 , cuya soluci
expresi
on indicada. Demostraremos ahora algunas caractersticas numericas
de este proceso.
Proposici
on 9.2 Para el movimiento Browniano geometrico se cumple lo
siguiente:
1. E Xt
x0 et .
x20 e2t e
2. Var Xt
3. Cov Xt , Xs
2t
x20 e s
1.
t
2s
1 , para 0
t.
Demostraci
on. Usaremos el hecho de que la funcion generadora de momentos de la distribuci
on N , 2 es M s
exp s 12 2 s2 .
1. Para la esperanza se tiene que
E Xt
E x0 exp
x0 exp
x0 exp
x0 et .
1 2
t
2
Bt
1 2
t E exp Bt
2
1 2
1
t exp t 2
2
2
297

2. Ahora calcularemos la varianza.
Var Xt
1 2
t
2
Var x0 exp
x20 exp 2
x20 exp 2
x20 exp 2
x20 e2t e
2t
Bt
1 2
t Var exp Bt
2
1 2
t E exp 2Bt
2
1 2
1
t exp t 2 2
2
2
1.
E 2 exp Bt
1 2
t
2
exp 2
3. Calcularemos primero E Xt Xs . Observe que Bt Bs se puede escribir

Bt Bs , siendo estos sumandos independientes. Entonces,
como 2Bs
E Xt Xs
E x20 exp
1 2
t
2
1 2
2
1 2
x20 exp
2
1 2
x20 exp
2
x20 exp t s
x20 exp
Bt
Bs
s E exp Bt
Bs
s E e2Bs E e
Bt Bs
s e2s e 2
t s 2
s 2 .
Por lo tanto,
Cov Xt , Xs
E Xt Xs
x20 e t
x20 e t
s
s
E Xt E Xs
s2
s2
x20 e t
1
!
Proceso de Ornstein-Uhlenbeck
Este modelo fue propuesto por Ornstein y Uhlenbeck para modelar la velocidad del movimiento difuso de una partcula en intervalos de tiempo
peque
nos.
lculo estoca
stico
9. Ca
298
Definici
on 9.6 Sean y dos constantes positivas. El proceso de OrnsteinUhlenbeck es aquel proceso Xt : t 0 soluci
on de la ecuaci
on estoc
astica
dXt
Xt dt
(9.15)
x0 .
X0
y dado por
Xt
dBt ,
x0 e
t s
dBs .
(9.16)
La variable Xt se interpreta como la velocidad de una partcula al tiempo t.

La parte determinista Xt corresponde a la fuerza de friccion, y el sumando dBt es un ruido aleatorio. En la Figura 9.7 se muestra una simulacion
de una trayectoria de este
proceso y se compara con
Xt
E Xt , que calcularemos
m
as adelante. El proce4
x0 3
so muestra un decaimien 1
3
to conforme el tiempo avan 1
2
za y ello es debido al factor de fricci
on del mode1
lo. Es inmediato verificar
E Xt
t
que los coeficientes de la
1
2
ecuaci
on (9.15) satisfacen
las condiciones del teoreFigura 9.7
ma de existencia y unicidad
para ecuaciones estoc
asticas. Verificaremos entonces que (9.16) es efectivamente la solucion a la
ecuaci
on (9.15). Considere una solucion de la forma:
t
Xt
b s dBs ,
a t x0
(9.17)
en donde a t y b t son funciones diferenciables. Derivando (9.17) y usando

la f
ormula de It
o (9.12) se obtiene
t
dXt
a t x0
b s dBs dt
0
a t
Xt dt
at
a t b t dBt .
a t b t dBt
299
Comparando con (9.15), las funciones a t y b t deben cumplir las ecuaciones

a t
,
at bt
.
at
1 se obtiene a t
exp t , y b t
exp t . SubsSuponiendo a 0
tituyendo en (9.17) se obtiene (9.16). Calcularemos a continuacion la esperanza y varianza de este proceso.
Proposici
on 9.3 Para el proceso de Ornstein-Uhlenbeck se cumple lo siguiente.
a) E Xt
x0 e
b) Var Xt
c) Cov Xt , Xs
t .
2
1
2
2
e
2
2t
t s
t s
Demostraci
on.
a) Este resultado se obtiene al tomar esperanza en (9.16), y observar que
la integral estoc
astica es una martingala que inicia en cero.
b) El c
alculo de la varianza de Xt es una aplicacion de la isometra de
It
o,
Var Xt
2 Var
t s
dBs
0
t
2 E
t s
dBs
2 t s
ds
2 e
1 2s
e
2
2t
2
1
2
2t
t
0
lculo estoca
stico
9. Ca
300
c) Nuevamente usaremos la isometra de Ito. Para 0

Cov Xt , Xs
E Xt Xs
E x0 e
t,
E Xt E Xs
t
t u
dBu
s u
dBu
0
s
x0 e
x20 e
t s
2 E
t u
dBu
s u
dBu .
La primera integral puede descomponerse en la suma de dos integrales,

una sobre el intervalo 0, s y otra sobre s, t . Dada la propiedad
de incrementos independientes del movimiento Browniano, el segundo
sumando desaparece. De modo que, por la isometra de Ito,
Cov Xt , Xs
2 e
t s
t s
eu dBu
e2u du
2
e
2
t s
t s
.
!
Puente Browniano
El puente Browniano es un movimiento Browniano con espacio parametral
el intervalo unitario 0, 1 y es tal que en los extremos de este intervalo
el proceso se hace cero. Una trayectoria de tal proceso se muestra en la
Figura 9.8. Existen varias formas equivalentes de definir a este proceso, la
siguiente es una de ellas.
Definici
on 9.7 El puente Browniano en el intervalo 0, 1 es aquel proceso
Xt : t 0, 1 soluci
on de la ecuaci
on estoc
astica
Xt
dt
1 t
dXt
X0
0.
dBt ,
0, 1 ,
(9.18)
301

y que puede ser representado de la siguiente forma
t
Xt
t
0
1
1
Los coeficientes de la ecuacion

(9.18) son
t, x
(9.19)
dBs .
Xt
b t, x
y
1,
que cumplen las condiciones del

teorema de existencia y unicidad. Puede resolverse la ecuacion
(9.18) y obtener la representacion
(9.19) proponiendo nuevamente
una soluci
on de la forma
Figura 9.8
Xt
a t x0
(9.20)
b s dBs ,
0
en donde a t y b t son dos funciones diferenciables, y x0

se obtiene nuevamente
0. Derivando
dXt
a t x0
b s dBs dt
a t b t dBt
a t
Xt dt
at
a t b t dBt .
1 1 t,
Igualando coeficientes se obtienen las ecuaciones a t a t
y atbt
1. Suponiendo a 0
1 se obtiene a t
1 t, y por lo
1 1 t . Substituyendo en (9.20) se obtiene (9.19). Puede
tanto b t
demostrarse que
lm Xt 0,
t
y entonces efectivamente el puente Browniano se anula al final del intervalo.

Vamos a calcular a continuacion la esperanza, varianza y covarianza de este
proceso.
lculo estoca
stico
9. Ca
302
Proposici
on 9.4 Para el puente Browniano dado por (9.19) se cumple
0.
1. E Xt
2. Var Xt
t1
3. Cov Xt , Xs
t.
s1
t,
para 0
1.
Demostraci
on.
1. La integral es una martingala continua que inicia en cero, por lo tanto
E Xt
0.
2. Por la isometra de It
o,
1
Var Xt
t 2 Var
1
1
t 2E
0
t
t 2E
t1
3. Para 0
Cov Xs , Xt
s
s
dBs
2
dBs
2
ds
1
1
t.
1,
E Xs Xt
s
s 1
tE
0
1
1
dBu
0
1
1
dBu .
Nuevamente la segunda integral puede descomponerse en la suma de dos

integrales, una sobre el intervalo 0, s y otra sobre s, t . Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo
303

sumando desaparece. De modo que, por la isometra de Ito,
s
Cov Xs , Xt
s 1
tE
0
s
s 1
t
0
s 1
s1
t.
1
1
1
1
1
u
2
dBu
du
Como era de esperarse, la varianza se anula en los extremos del intervalo pues all el proceso es cero con probabilidad uno. Observe ademas que
la varianza se hace m
axima exactamente en la mitad de dicho intervalo.
El puente Browniano en 0, 1 puede representarse de varias formas, por
ejemplo, se conocen las siguientes representaciones mas compactas:
a) Xt
Bt
b) Xt
B1
tB1 ,
t
para t
t B1 ,
0, 1 .
para t
0, 1 .
Notas y referencias. Para el desarrollo de la definicion de integral estoc

astica respecto del movimiento Browniano hemos seguido el lineamiento
general presentado en el texto de Steele [33]. All pueden encontrarse las
demostraciones completas de varios de los resultados que hemos solamente
enunciado. Otros trabajos en donde pueden encontrarse exposiciones elementales sobre integraci
on estocastica son ksendal [25], Kuo [20], o Klebaner [18]. Para una exposicion mas completa y general puede consultarse
por ejemplo Protter [26] o Revuz y Yor [28]. En los trabajos de D. J Higham
como [13] pueden encontrarse algunas primeras lecturas sobre los metodos
para simular ecuaciones estocasticas. En el texto de Kloeden y Platen [19] se
expone la teora general, varios metodos numericos y diversas aplicaciones
de ecuaciones estoc
asticas.
lculo estoca
stico
9. Ca
304
9.6.
Ejercicios
Integral de It
o
232. Demuestre que dos procesos simples pueden siempre expresarse en

terminos de una particion com
un. Con ayuda de este resultado demuestre ahora que el espacio de procesos simples es un espacio vectorial.
233. Demuestre que la integral estocastica para procesos simples I : H02
L2 P es lineal y continua.
234. A partir de la definicion de integral estocastica demuestre que:
t
a)
s dBs
0
t
b)
0
tBt
Bs ds.
0
Bs2 dBs
1 3
B
3 t
Bs ds.
0
Para el segundo inciso se puede usar la identidad

x2 y
xy
1 3
y
3
x3
F
ormula de It
o
235. Use la f
ormula de Ito para demostrar que:
t
a)
0
t
b)
0
Bs2 dBs
Bsn dBs
t
1 3
Bt
Bs ds.
3
0
1
1
Btn 1
n 1
2
t
0
nBsn
ds.
236. Use la f
ormula de It
o para demostrar que el proceso Xt : t
una soluci
on de la ecuacion estocastica indicada.
a) Xt
Bt2 , dXt
b) Xt
Bt3 ,
c) Xt
tBt , dXt
dXt
2Bt dBt .
1 3
2 3
3Xt dt 3Xt
dt
Xt
dt
t
t dBt .
dBt .
0 es
305
9.6. Ejercicios
237. Use la f
ormula de It
o para demostrar que el proceso Xt
1 Bt 1
es soluci
on de la siguiente ecuacion estocastica para tiempos t 0,
en donde nf t 0 : Bt 1 .
dXt
Xt3 dt
Xt2 dBt .
Ecuaciones estoc
asticas
238. Demuestre que el proceso Xt
estoc
astica
dXt
exp Bt
t 2 satisface la ecuacion
Xt dBt .
239. Demuestre que cada una de las siguientes ecuaciones estocasticas tiene
una u
nica soluci
on. En cada caso encuentre dicha solucion. Los terminos b, y x0 son constantes.
dBt , X0
x0 .
Xt dBt , X0
x0 .
a) dXt
b Xt dt
b) dXt
b dt
c) dXt
b Xt dt
Xt dBt , X0
x0 .
Puente Browniano
240. Sea Xt : t
0, 1 un puente Browniano. Demuestre que efectivamente lm Xt 0 c.s.
t
241. Demuestre que los siguientes procesos son puentes Brownianos.

a) Xt
Bt
b) Xt
B1
tB1 ,
t
para t
t B1 ,
0, 1 .
para t
0, 1 .
306
lculo estoca
stico
9. Ca
Ap
endice: conceptos
y resultados varios
Igualdad de procesos
Se dice que dos procesos estocasticos Xt : t
0 y Yt : t
0 son
equivalentes, o tambien se dice que uno es una version o modificacion del
otro, si para cada valor de t 0 fijo se cumple que
P Xt
Yt
1,
es decir, si las variables Xt y Yt son iguales c.s. Un tipo de igualdad mas

fuerte establece que los procesos son indistinguibles si
P Xt
Yt para cada t
1.
Esto significa que con probabilidad uno las trayectorias de los dos procesos son identicas. Claramente la indistinguibilidad es mas fuerte que la
equivalencia. Sin embargo, puede demostrarse que cuando los procesos son
continuos, es decir, cuando sus trayectorias son funciones continuas del
par
ametro, ambas nociones de igualdad coinciden. Cuando el parametro es
discreto, las definiciones son analogas y se puede demostrar la equivalencia
entre los dos tipos de igualdad sin ninguna condicion adicional.
Distribuciones finito dimensionales
Las distribuciones finito dimensionales de un proceso estocastico a tiempo
continuo Xt : t 0 es la coleccion de todas las funciones de distribucion
conjuntas
FXt1 ,...,Xtn x1 , . . . , xn ,
307
. Ap
308
para cualesquiera tiempos 0

t1
tn , y cualquier n natural. La
definici
on es an
aloga cuando el proceso es a tiempo discreto.
Independencia de procesos
Se dice que una variable aleatoria X es independiente de un proceso Xt :
0 si para cualesquiera tiempos 0
t1
t2
tn , n
N,
t
la distribuci
on conjunta de la variable X y el vector Xt1 , . . . , Xtn es el
producto de las distribuciones marginales, es decir,
FX,Xt1 ,...,Xtn x, x1 , . . . , xn
FX x FXt1 ,...,Xtn x1 , . . . , xn ,
o en terminos de conjuntos de Borel A, A1 , . . . , An , cuando la probabilidad

conjunta
P X A, Xt1 A1 , . . . , Xtn An
es igual al producto
P X
A P Xt1
A1 , . . . , Xtn
An .
M
as generalmente, dos procesos estocasticos Xt : t 0 y Yt : t 0 son
independientes si para cualesquiera dos enteros naturales n y m, y tiempos
0
t1
t2
tn y 0
s1
s2
sm , se cumple que la
distribuci
on conjunta
FXt1 ,...,Xtn ,Ys1 ,...,Ysm x1 , . . . , xn , y1 , . . . , ym
coincide con el producto
FXt1 ,...,Xtn x1 , . . . , xn FYs1 ,...,Ysm y1 , . . . , ym .
En palabras, esta condici
on significa que las distribuciones finito dimensionales conjuntas son el producto de las distribuciones finito dimensionales
marginales. Las definiciones para el caso de tiempo discreto son analogas.
Lema de Abel
a) Si la serie
k 0 ak
es convergente, entonces
ak tk
lm
k 0
ak .
k 0
309
b) Inversamente, si ak
0 y lmt
k 0
, entonces
ak t k .
lm
ak
tk
k 0 ak
k 0
En Karlin y Taylor [17] puede encontrarse una demostracion de estos resultados.

Lema de Fatou
a) Sea anm : n, m
N una coleccion de n
umeros reales. Entonces
lm inf anm
n
b) Adem
as, si anm
bm con
lm sup
n
lm inf
n
, entonces
bm
lm sup anm .
anm
m
anm .
m
Teorema de convergencia mon

otona
Sea X1 , X2 , . . . una sucesion de variables aleatorias tales que 0
X2
y lm Xn X casi seguramente. Entonces
X1
lm E Xn
E lm Xn .
n
Teorema de convergencia dominada

a) Sea X1 , X2 , . . . una sucesion de variables aleatorias tales que lm Xn
n
X casi seguramente, y para cada valor de n, Xn

. Entonces,
Y con E Y
lm E Xn
Y , para alguna variable
E lm Xn .
n
b) Sea anm : n, m N una coleccion de n

umeros reales tales que lmn
anm
bm , independiente de n, y m 0 bm
. Enexiste para cada m, anm
tonces,
lm
lm anm .
anm
m 0
m 0
310
. Ap
Ecuaci
on de Wald
Sea X1 , X2 , . . . una sucesion de variables aleatorias independientes con la
misma distribuci
on que X y con esperanza finita. Sea N una variable aleatoria con valores en el conjunto 1, 2, . . . , con esperanza finita e independiente
de la sucesi
on. Entonces,
N
Xk
E X E N .
k 1
Distribuci
on tipo reticular
Se dice que una variable aleatoria discreta X, o su distribucion de probabilidad, es de tipo reticular o que es de tipo lattice si P X c nd
0, en
1, 2, . . .
donde c y d 0 son constantes reales y n
Notaci
on o peque
na
Sean f t y g t dos funciones que se encuentran definidas y son positivas
para valores de t suficientemente grandes. Se dice que f t es de orden mas
peque
no que g t cuando t
, y se escribe f t
o g t cuando t
,
si se cumple
f t
0.
lm
t
g t
En particular, se escribe f t
o 1 cuando f t converge a cero cuando
. Se usa la misma notacion cuando t tiende a alg
un valor finito
t
particular y las funciones se encuentran definidas y son positivas en una
vecindad no trivial alrededor de ese valor. En este texto se usa la notacion o
peque
na para establecer el comportamiento de probabilidades dependientes
del tiempo p t , cuando t se aproxima a cero a traves de valores positivos.
F
ormula de Stirling
Para n suficientemente grande,
n!
2 nn
1 2
Esperanza condicional
Sea , F , P un espacio de probabilidad. Sea X una variable aleatoria con
esperanza finita y sea G una sub -algebra de F . La esperanza condicional
311
de X dado G , es una variable aleatoria denotada por E X G , que cumple
las siguientes tres propiedades:
a) Es G -medible.
b) Tiene esperanza finita.
c) Para cualquier evento G en G ,
E X G dP
X dP.
Es importante enfatizar que la esperanza condicional es una variable aleatoria. Usando el teorema de Radon-Nikodym (vease por ejemplo [7]), puede
demostrarse que esta variable aleatoria existe y es u
nica casi seguramente.
Esto significa que si existe otra variable aleatoria con las tres propiedades
anteriores, entonces con probabilidad uno coincide con E X G . Cuando
la -
algebra G es generada por una variable aleatoria Y , es decir, cuando
Y , la esperanza condicional se escribe simplemente como E X Y .
G
Mencionaremos a continuacion algunas propiedades de esta variable aleatoria, en estas expresiones se postula de manera implcita que la variable a la
que se le aplica la esperanza condicional es integrable.
1. Si c es constante, entonces E c G
2. E X
c.
E X .
3. Si A es un evento, entonces E 1A
4. Si A y B son eventos con 0
1, entonces
E 1A
, B, B c ,
P B
P A.
P A B 1B
P A B c 1B c .
5. Si A es un evento y B1 , . . . , Bn es una particion de tal que P Bi

0 para i 1, . . . , n, entonces
n
E 1A B1 , . . . , Bn
P A Bi 1Bi .
i 1
. Ap
312
6. Si Y es una variable aleatoria discreta con valores en 0, 1, . . . , entonces

E X Y
n 1Y
E X Y
n 0
7. E E X G
E X .
8. E X G
E X G . Este es un caso particular de la desigualdad
de Jensen que se enunciara mas adelante. En particular, tomando
esperanza se tiene el siguiente resultado.
9. E E X G
E X .
10. Si c es constante, entonces E c X
Y G
12. Si X
0, entonces E X G
0.
13. Si X
Y , entonces E X G
E Y G .
14. Si G1
G2 , entonces
G2
E Y G .
X c.s.
11. Si X es G -medible, entonces E X G
E E X G1
cE X G
E E X G2
G1
E X G1 .
15. Si X es independiente de G , entonces E X G
E X .
16. Si G1 y G2 son independientes, entonces

E X G1
G2
E X G1
E X G2
E X .
17. Si X es independiente de G2 , entonces

E X G1
18. Convergencia en media.
m
X, entonces E Xn G
Si Xn
G2
E X G1 .
E X G .
19. Teorema de convergencia mon

otona.
Si Xn 0 y Xn
X c.s., entonces E Xn G
E X G c.s.
313
20. Si XY es integrable y X es G -medible, entonces
E XY G
XE Y G .
21. X es independiente de G si, y solo si, E f X G

E f X para
cualquier funci
on Lebesgue medible f tal que f X es integrable.
22. Desigualdad de Jensen.
Si u es convexa y u X es integrable, entonces
uE X G
G .
E uX
Funciones directamente Riemann integrables

Sea H : 0,
0,
una funcion Borel medible. Sea h
n natural defina las funciones
n h
nf H t : n
1h
nh ,
n h
sup H t : n
1h
nh .
0, y para cada
Suponga que las siguientes funciones son absolutamente convergentes

h
n h ,
n 1
n h ,
n 1
y que adem
as lmh 0 h
lmh 0 h . Entonces se dice que la funcion
H es directamente Riemann integrable. Esta condicion de integrabilidad es
m
as fuerte que la integrabilidad usual de Riemann, es decir, toda funcion
directamente Riemann integrable es Riemann integrable, por ejemplo,
a) H t
1 0,a t es d. R. integrable.
b) H : 0,
integrable.
0,
no creciente y tal que
H t dt
, es d. R.
314
. Ap
Bibliografa
[1] Basu A. K., Introduction to stochastic processes, Alpha Science
International Ltd., 2003.
[2] Brown R., A brief account of Microscopical Observations made
in the Months of June, July, and August, 1827, on the Particles
contained in the Pollen of Plants; and on the general Existence of
active Molecules in Organic and Inorganic Bodies, Philosophical
Magazine N. S. 4, 161-173, 1828.
[3] Brzezniak Z. y Zastawniak T., Basic stochastic processes,
Springer, 1999.
[4] Caballero M. E. et al., Cadenas de Markov: un enfoque elemental, Aportaciones Matematicas, Serie Textos 29, Sociedad
Matem
atica Mexicana, 2004.
[5] Chung K. L., Markov chains with stationary transition probabilities, Springer, 1960.
[6] Chung K. L. y Williams R. J., Introduction to stochastic integration, Birkh
auser, 1983.
[7] Cohn D. L., Measure theory, Birkhauser, 1980.
[8] Einstein A., Investigations on the theory of the Brownian movement, Dover, 1956.
[9] Feller W., Introducci
on a la teora de probabilidades y sus aplicaciones, Limusa, 1973.
315
316
Bibliografa
[10] Gard T. C., Introduction to stochastic dierential equations,
Marcel Dekker, 1988.
[11] Grimmett G. R. y Stirzaker D. R., Probability and random processes, Clarendon Press, Oxford, 1982.
[12] Gut A., Probability: a graduate course, Springer, 2005.
[13] Higham D. J., An algorithmic introduction to numerical simulation of stochastic dierential equations, SIAM Review Vol. 43,
N
um. 3, pp. 525-546, 2001.
[14] Hoel P. G., Port S. C. y Stone C. J., Introduction to stochastic
processes, Hougthon Miin Company, 1972.
[15] Jones P. W. y Smith P., Stochastic processes: an introduction,
Arnold, 2001.
[16] Jordan D. W. y Smith P., Mathematical techniques, Oxford University Press, 1997.
[17] Karlin S. y Taylor H. M., A first course in stochastic processes,
Academic Press, 1975.
[18] Klebaner F. C., Introduction to stochastic calculus with applications, Imperial College Press, 1998.
[19] Kloeden P. E. y Platen E., Numerical solution of stochastic differential equations, SpringerVerlag, 1999.
[20] Kuo H., Introduction to stochastic integration, Springer, 2006.
[21] Lawler G. F., Introduction to stochastic processes, Chapman &
Hall / CRC, 2006.
[22] Lawler G. F., Random walk and the heat equation, Student
Mathematical Library, Vol. 55, AMS, 2010.
[23] Nelson E., Dynamical theories of Brownian motion, Princeton
University Press, 1967.
[24] Norris J., Markov chains, Cambridge University Press, 1997.
Bibliografa
317
[25] ksendal B., Stochastic dierential equations: an introduction

with applications, SpringerVerlag, 1992.
[26] Protter P. H., Stochastic integration and dierential equations,
Springer, 1990.
[27] Resnick S., Adventures in stochastic processes, Birkhauser, 1992.
[28] Revuz D. y Yor M., Continuous martingales and Brownian motion, Springer-Verlag, 1991.
[29] Rinc
on L., Sobre el problema del mono que escribe caracteres al
azar, Miscel
anea Matematica 42, Sociedad Matematica Mexicana, 7990, 2006.
[30] Rinc
on L., Introducci
on a la ecuaciones diferenciales estoc
asticas, Memorias del Congreso Regional de la Universidad Autonoma de Aguascalientes en Probabilidad, Noviembre de 2005.
Aguascalientes, Ags. Editorial Universidad Autonoma de Aguascalientes. Eds. Jorge A. Leon, Jorge E. Macas y Jose Villa. Diciembre 2006, 26-58.
[31] Ross S., A first course in probability - 4th ed., Macmillan Publishing Company, 1994.
[32] Spitzer F., Principles of random walk, 2nd. ed., Springer, 2001.
[33] Steele J. M., Stochastic calculus and financial applications,
SpringerVerlag, 2001.
[34] Stirzaker D., Stochastic processes and models, Oxford University
Press, 2005.
[35] Taylor H. M. y Karlin S., An introduction to stochastic modeling,
Academic Press, 1994.
[36] Tudor C., Procesos estoc
asticos, Aportaciones Matematicas, Serie Textos 2, Sociedad Matematica Mexicana, 1994.
Indice analtico
Abel
lema, 308
del jugador, 16
simetrica, 9
Chapman-Kolmogorov, 39, 244
Clase
aperiodica, 45
cerrada, 57
de comunicacion, 43
periodica, 45
Coeficiente
de difusion, 289
de tendencia, 289
Comunicacion, 42
Confiabilidad, 188
Correccion de Ito, 283
Coseno hiperbolico, 137
Cox
proceso de, 131
Cadena de Markov, 28
a tiempo continuo, 148
accesibilidad de edos, 43
comunicaci
on de edos, 43
de dos estados, 31
de Ehrenfest, 35
de inventarios, 38
de la caminata aleatoria, 34
de la fila de espera, 37
de rachas de exitos, 33
de ramificaci
on, 36
de v.a.s independientes, 32
del jugador, 35
distribuci
on inicial, 30
erg
odica, 44
estacionaria, 29
existencia, 30
finita, 28
irreducible, 44
recurrente, 53
regular, 86
reversible, 89
transitoria, 53
Caminata aleatoria, 7
asimetrica, 9
Delta de Kronecker, 31
Deriva, 289
Desigualdad
de Jensen, 313
Distribucion
estacionaria, 71
invariante, 71
lmite, 81
reticulada, 310
tipo lattice, 310
318
Indice analtico
319
Distribuci
on exponencial
simulaci
on, 135
Distribuci
on Poisson
simulaci
on, 136
Distribuciones
finito dimensionales, 307
Doob, J. L., 229
Downcrossing, 221
Drift, 289
absorbente, 44
aperiodico, 45
periodico, 45
recurrente, 50
recurrente nulo, 66
recurrente positivo, 66
transitorio, 50
Estrategia de juego, 209
Euler-Maruyama, 293
Ecuaci
on
de balance detallado, 90
de calor, 244
de Chapman-Kolmogorov, 39,
244
de difusi
on, 244
de renovaci
on, 176, 177
de Wald, 310
estoc
astica, 289
soluci
on fuerte, 290
Ecuaciones
de Kolmogorov, 156
prospectivas, 158
retrospectivas, 156
Espacio
C 1 , 286
C 2 , 286
L2 P , 274
L2 P dt , 275
H2 , 278
H02 , 275
L2loc , 281
de estados, 1
parametral, 1
Esperanza
condicional, 310
Estado
Formula
de Stirling, 310
Fatou
lema, 309
Filtracion, 200
canonica, 200
continua por la derecha, 201
estandar, 201
natural, 200
Funcion
coseno hiperbolico, 137
de confiabilidad, 188
de intensidad, 131
de renovacion, 176
de supervivencia, 188
de tasa de falla, 188
de valor medio, 131
delta de Kronecker, 31, 148
dir. Riemann integrable, 313
hazard, 188
seno hiperbolico, 137
variacion cuadratica de una,
248
variacion de una, 248
Igualdad de procesos, 307
Independencia
320
de procesos, 308
Integrabilidad uniforme, 225
Integral estoc
astica, 273
como un proceso, 280
de It
o, 276, 278, 280, 281
de Stratonovich, 284
extensi
on por aproximacion, 277
extensi
on por localizaci
on, 281
para procesos simples, 276
propiedades, 285
It
o
correci
on de, 283
f
ormula de, 286, 291
integral de, 276, 278, 280, 281
isometra de, 279
proceso de, 289
Kronecker, 31
Lèvy, P. P., 264
Lema
de Abel, 308
de Fatou, 309
Metodo de discretizaci
on, 293
Markov, A. A., 93
Martingala, 5, 203
de de Moivre, 234
detenida, 208
estrategia de juego, 209, 210
exponencial, 269
producto, 234, 235
sub , 203
super , 203
Martingalas
teorema de convergencia, 223
teorema de representacion, 228
Indice analtico
Matriz
de prob. de transicion, 29
doblemente estocastica, 30
estocastica, 30
regular, 86
McKean
Tabla de multiplicacion, 291
Movimiento Browniano, 239
estandar, 240, 241, 243
exponencial, 294
geometrico, 294
martingala, 245
multidimensional, 252
probabilidad de transicion, 243
radial, 253
recurrencia
por vecindades, 262
puntual, 258
reflejado en el origen, 268
unidimensional, 240, 241
variacion, 249
variacion cuadratica, 248
N
umero de cruces, 219
Notacion o peque
na, 310
Parametros infinitesimales, 154
Periodo, 45
Probabilidades
de transicion, 28, 31
de transicion en n pasos, 31
de transicion en un paso, 28
infinitesimales, 125, 155
Problema
de la ruina del jugador, 17
Proceso, 1
a tiempo continuo, 2
Indice analtico
a tiempo discreto, 2
adaptado, 201
con inc. estacionarios, 5
con inc. independientes, 5
de Bessel, 253
de Cox, 131
de ensayos independientes, 4
de It
o, 289
de Lèvy, 6
de Markov, 4
de muerte puro, 165
de nacimiento puro, 164
de nacimiento y muerte, 159
de Ornstein-Uhlenbeck, 297
de Poisson, 116, 125, 127
compuesto, 132
generalizado, 133
homogeneo, 116
marcado, 140
mixto, 134
no homogeneo, 129
simulaciones, 125
de renovaci
on, 174
de saltos, 146
de Wiener, 241
de Yule, 165
detenido, 207
distribuciones fin. dim., 307
equivalencia de s, 307
espacio de estados, 1
espacio parametral, 1
estacionario, 5
filtraci
on de un, 200
Gausiano, 6
historia de un , 201
igualdad de s, 307
321
independencia, 308
indistinguibilidad, 307
modificacion de un , 307
predecible, 201
realizacion de un , 3
simple, 275
trayectoria de un , 3
version de un , 307
Propiedad
de Markov, 4
de perdida de memoria, 117,
180
de semigrupo, 152
Puente Browniano, 269, 300
densidad, 269
Racha de exitos, 33
Recurrencia, 50
nula, 66
positiva, 66
Renovacion
ecuacion de, 177
funcion de, 176
Seno hiperbolico, 137
Simulacion
distribucion exponencial, 135
distribucion Poisson, 136
Stirling, 310
Stratonovich, 284
Submartingala, 203
Supermartingala, 203
Tecnica de acople, 84
Tabla de multiplicacion de McKean, 291
Teorema
322
de conv. a la dist. est, 83
de conv. de martingalas, 223
de conv. dominada, 309
de conv. mon
otona, 309, 312
de conv. para cadenas, 85
de Doob, 223
de paro opcional, 212
de rep. de martingalas, 228
erg
odico para cadenas, 64
Tiempo
s de estancia, 116, 145
s de interarribo, 116
s de paro, 202
de primera visita, 48, 56, 66
de vida restante, 179
medio de recurrencia, 56, 66
Tiempo de paro, 203
Transitoriedad, 50
Variaci
on, 248
cuadr
atica, 248
Wald
ecuaci
on de, 310
Wiener, N., 263
Indice analtico

Procesos Estocásticos I

Cargado por

Copyright:

Formatos disponibles

Procesos Estocásticos I

Cargado por

Información del documento

Descripción original:

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Procesos Estocásticos I

Cargado por

Copyright:

Formatos disponibles

A LOS

La version pdf de este texto se encuentra en

5. Cadenas de Markov a tiempo continuo

7.11. J. L. Doob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

El espacio parametral puede tambien tomarse como el conjunto continuo

Considerando que S es un subconjunto de R, puede tomarse la -algebra

tal que a la pareja t, se le asocia el valor o estado X t, , lo cual

Xt es una variable aleatoria, mientras que para cada en fijo,

en eventos de la forma Xn1 x1 , Xn2 x2 , . . . , Xnk xk .

De esta forma la probabilidad del evento futuro Xn 1

En palabras, esta igualdad significa que el valor promedio del proceso al

tiene incrementos independientes.

2. Sea X una variable aleatoria con distribucion Ber p . Para cada t

a) Dibuje todas las trayectorias del proceso Xt : t

3. Demuestre que todo proceso a tiempo discreto Xn : n 0, 1, . . . con

Una caminata aleatoria simple sobre el conjunto de n

Como estas probabilidades no dependen de n, se dice que son homogeneas

2.1. Caminatas aleatorias

Para la esperanza tenemos que:

Por otro lado, como E 2

Para valores de x y n que no cumplen las condiciones indicadas la probabilidad en cuesti

En particular, cuando la caminata es simetrica, es decir, cuando p 1 2, y

2.1. Caminatas aleatorias

Probabilidad de regreso a la posici

2.1. Caminatas aleatorias

el primer regreso al origen. Este primero regreso puede darse en el

Multiplicando (2.4) por tn , sumando y cambiando el orden de las

Para encontrar G t se necesita encontrar una expresion para la suma

En particular y como una aplicacion de (2.6) se tiene que

d) Usando (2.7) y (2.8) podemos ahora encontrar una expresi

e) Substituyendo (2.9) en (2.5) se llega a la igualdad

2.1. Caminatas aleatorias

Usando esta expresi

En el caso asimetrico, p 1 2, esta cantidad es estrictamente menor

El problema del jugador

minata aleatoria que inicia en el

2.2. El problema del jugador

Por el teorema de probabilidad total se obtiene la ecuacion en diferencias

Resolviendo iterativamente, las primeras k

Hemos usado aqu la condicion de frontera u0 1. Conviene ahora definir

En la Figura 2.5 se muestra la grafica de la probabilidad uk como funcion

2.2. El problema del jugador

2.2. El problema del jugador

Aqu se ha hecho uso de la condicion de frontera m0

En particular, sumando todas las ecuaciones de (2.15) se obtiene

Ahora se hace uso de la condicion mN

Nuevamente se deben distinguir los siguientes dos casos:

Substituyendo en (2.17) y simplificando, despues de algunos calculos se llega

4. Propiedad de Markov. Demuestre que una caminata aleatoria simple

5. Para una caminata aleatoria simple Xn : n 0 sobre Z demuestre

A partir de esta expresion encuentre nuevamente la esperanza y varianza de Xn .

10. Demuestre que la probabilidad (2.1) es una funcion simetrica de x si,

11. Primera visita a un estado dado. Considere una caminata aleatoria

En particular, la probabilidad de que la caminata se mantenga siempre

b) Condicionando sobre el primer paso de la caminada, demuestre

f) Analice los casos p q y p q por separado para encontrar que

El problema de la ruina del jugador

15. Para resolver el problema del jugador se requiere resolver la ecuacion

16. Probabilidad de ruina del segundo jugador. Si el juego se considera