Cadea de Markov

Para outras páxinas con títulos homónimos véxase: Cadea.

Unha Cadea de Markov é un proceso estocástico no cal a probabilidade de que ocorra un suceso depende (exclusivamente) do inmediatamente anterior. É dicir, é un proceso estocástico con memoria. Esta dependencia do suceso anterior diferénciaas de sucesos independentes (sen memoria) como o lanzamento dun dado ou tirar unha moeda ao aire.

Este tipo de proceso, introducido por Andrei Andreevitch Markov (1856-1922) nun artigo publicado en 1907, presenta unha forma de dependencia simple, moi útil para moitos modelos, entre as variables aleatorias que forman un proceso estocástico. As cadeas de Markov téñense empregado para analizar os patróns de compra de debedores morosos, para planificar necesidades de persoal, para analizar a substitución do equipo... O algoritmo PageRank patentado por Google emprega nas súas bases unha cadea de Markov.

Definición formal

En matemáticas, é definida como un proceso estocástico discreto que cumpre coa propiedade de Markov, isto é, de coñecerse a historia do sistema ata o instante actual, o seu estado presente resume toda a información relevante para describir en probabilidade o seu estado futuro.

Unha cadea de Markov é unha secuencia $X_{1},X_{2},X_{3},...$ de variables aleatorias. O rango destas variables, chámaselle espazo estado, o valor de $X_{n}$ é o estado do proceso no tempo n. Se a distribución de probabilidade condicional de $X_{n+1}$ en estados pasados é unha función de $X_{n}$ por si soa, entón:

$P(X_{n+1}=x_{n+1}|X_{n}=x_{n},X_{n-1}=x_{n-1},\ldots ,X_{2}=x_{2},X_{1}=x_{1})=P(X_{n+1}=x_{n+1}|X_{n}=x_{n}).\,$

Onde $x_{i}$ é o estado do proceso no instante i. A identidade mostrada é a propiedade de Markov.

Tipos de cadeas e estados

Cada estado nunha cadea de Markov pode ser:

• Transitorio: Dende el pode chegarse a calquera outro da cadea nun tempo n (a través ou non de estados intermedios, polo tanto)
• Recorrente: Pode chegarse a este estado dende calquera outro da cadea, directamente. Isto é, $P(estadodecorrente|X_{0}=\lambda )>0\forall \lambda \in \Omega$
• Absorbente: Unha vez alcanzado este estado non é posible saír del. Isto é, $P(A/X_{0}=A)=1$
• Cíclico: Se para chegar a el hai que dar un número determinado de pasos. Por exemplo, nunha cadea de tres estados nos que as súas probabilidades son todas distintas de cero, estariamos a falar de estados cíclicos (de tempo 3)

Se unha cadea contén só estados cíclicos, denomínase cadea cíclica. Polo contrario, se contén estados absorbentes dise que a cadea é absorbente.

Unha cadea de Markov é regular cando non contén ningún estado absorbente. (É condición necesaria, pero non suficiente)

Matriz de transición

É particularmente útil empregar unha matriz chamada de transición na cal se ordenan as probabilidades de que un suceso aconteza. Nunha cadea con tres estados, $\omega ={1,2,3}$ a matriz de transición é: $T={\begin{pmatrix}P(1|X_{0}=1)&P(2|X_{0}=1)&P(3|X_{0}=1)\\P(1|X_{0}=2)&P(2|X_{0}=2)&P(3|X_{0}=2)\\P(1|X_{0}=3)&P(2|X_{0}=3)&P(3|X_{0}=3)\end{pmatrix}}$

Xeneralizando, poñendo os vectores fila: $p_{a}={\begin{pmatrix}P(1|X_{0}=a)&P(2|X_{0}=a)&P(3|X_{0}=a)&...\end{pmatrix}}$ A matriz de transición podería escribirse (substituíndo valores): $T={\begin{pmatrix}p_{1}\\p_{2}\\p_{3}\\...\end{pmatrix}}$

Probabilidade dun suceso

A probabilidade dun suceso operando coa matriz de transición depende exclusivamente do anterior. Por tanto é necesario contar co vector de probabilidade inicial denotado por

$p^{(0)}=(p(1)^{(0)},p(2)^{(0)},p(3)^{(0)}...)$

Multiplicando o vector de probabilidade inicial (as probabilidades do suceso anterior) pola matriz de transición obtemos o vector de probabilidades para o seguinte paso. Analiticamente,

$p^{(1)}=p^{(0)}\cdot T$

Pola propiedade de Markov demóstrase que $p^{(n)}=p^{(n-1)}\cdot T=p^{(n-2)}\cdot T^{2}=...=p^{0}\cdot T^{n}$

É dicir, $p^{(n+r)}=p^{(r)}\cdot T^{n}$ sendo $T^{n}$ a enésima potencia da matriz de transición.