Łańcuch Markowa

Przykład procesu Markowa

Proces Markowa – ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. W ujęciu matematycznym, procesy Markowa to takie procesy stochastyczne, które spełniają własność Markowa.

Łańcuchy Markowa to procesy Markowa z czasem dyskretnym.

Łańcuch Markowa jest ciągiem $X_{1},X_{2},X_{3},\dots$ zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje $X_{n}$ to stany w czasie $n.$ Jeśli rozkład warunkowy $X_{n+1}$ jest funkcją wyłącznie zmiennej $X_{n}{:}$

$P(X_{n+1}\leqslant y|X_{0},X_{1},X_{2},\dots ,X_{n})=P(X_{n+1}\leqslant y|X_{n}),$

to mówimy, że proces stochastyczny posiada własność Markowa.

Przedstawiona definicja zakłada czas dyskretny. Istnieją procesy Markowa z czasem ciągłym, jednak nie są one przedstawione w tym artykule.

Procesy Markowa zawdzięczają swoją nazwę ich twórcy Andriejowi Markowowi, który po raz pierwszy opisał problem w 1906 roku. Uogólnienie na przeliczalnie nieskończone przestrzenie stanów zostało opracowane przez Kołmogorowa w 1936. Łańcuchy Markowa mają związek z ruchami Browna oraz hipotezą ergodyczną, dwoma ważnymi w fizyce tematami, ale powstały jako uogólnienie prawa wielkich liczb na zdarzenia zależne.

Własności łańcuchów Markowa

Rozkład początkowy

Rozkładem początkowym nazywamy rozkład (dyskretny) zmiennej $X_{0}.$

Macierz przejść

Definicja

Jeśli łańcuch Markowa jest jednorodny, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako macierz, zwaną macierzą prawdopodobieństw przejścia. Jest to macierz stochastyczna, oznaczamy zwykle literą $\mathbf {P} ,$ gdzie wyraz $(i,j)$ wyraża się wzorem:

$p_{i,j}=P(X_{n+1}=j\mid X_{n}=i).$

Z jednorodności wynika, że rzeczywiście $p_{i,j}$ nie zależy od $n.$ Przykładowo element $p_{1,3}$ oznacza prawdopodobieństwo przejścia ze stanu pierwszego do stanu trzeciego.

Równania Chapmana-Kołmogorowa

Prawdopodobieństwem przejścia ze stanu $i$ do stanu $j$ w $n$ krokach nazywa się prawdopodobieństwo warunkowe

$p_{i,j}^{(n)}=P(X_{m+n}=j|X_{m}=i).$

Dla prawdopodobieństw przejść spełnione są następujące równanie, nazywane równaniami Chapmana-Kołmogorowa:

$p_{i,j}^{(n+m)}=\sum _{k\in E}p_{i,k}^{(n)}p_{k,j}^{(m)}.$

Intuicyjne jest jasne, że aby dojść do stanu $j$ można po drodze przejść przez dowolny inny stan skomunikowany z $j$ i $i.$ Stosując zapis macierzowy, równania Chapmana-Kołmogorowa można zapisać w postaci:

$\mathbf {P} ^{m+n}=\mathbf {P} ^{m}\mathbf {P} ^{n},$

gdzie przez $\mathbf {P} ^{n}$ jest macierzą przejść w $n$ krokach.

Klasyfikacja stanów

Mówi się, że:

• stan $i$ jest osiągalny ze stanu $j,$ jeśli $p_{j,i}^{(n)}>0$ dla pewnego $n\geqslant 0.$
• stany $i$ i $j$ są skomunikowane, jeśli są wzajemnie osiągalne. Oznaczenie: $i\leftrightarrow j.$

Można wykazać, że relacja skomunikowania jest relacją równoważności. Zatem zbiór możliwych stanów można podzielić na klasy abstrakcji względem tej relacji. Każda z klas tworzy zbiór stanów wzajemnie skomunikowanych.

Stany chwilowe i rekurencyjne

Niech $f_{i}$ oznacza prawdopodobieństwo tego, że startując ze stanu $i$ łańcuch kiedykolwiek do niego powróci.

• Jeśli $f_{i}=1$ to stan $i$ nazywany jest rekurencyjnym.
• Jeśli $f_{i}<1$ to stan $i$ nazywany jest chwilowym.

Każdy stan jest albo chwilowy albo rekurencyjny. Stan $i$ jest rekurencyjny wtedy i tylko wtedy, gdy:

$\sum _{n=1}^{\infty }p_{i,i}^{(n)}=\infty .$

Rozkład stacjonarny

Rozkład prawdopodobieństw na przestrzeni stanów $\mathbf {S}$ nazywany jest stacjonarnym wtedy i tylko wtedy, gdy spełniony jest warunek:

$\pi _{j}=\sum _{i\in S}\pi _{i}p_{ij},$

tj.

$\pi \mathbf {P} =\pi ,$

gdzie $\pi$ jest takim wektorem wierszowym, że:

$\sum _{i}\pi _{i}=1\quad \forall \pi _{i}\geqslant 0.$

Jeśli rozkład początkowy $\mathbf {x_{0}}$ jest stacjonarny, to każdy kolejny rozkład $\mathbf {x_{n}}$ również jest stacjonarny.

Może nie istnieć żaden, istnieć jeden lub więcej niż jeden rozkład stacjonarny dla danego procesu.

Zobacz też

• własność Markowa

Bibliografia

• Maria Podgórska i in.: Łańcuchy Markowa w teorii i zastosowaniach. Warszawa: Szkoła Główna Handlowa, Oficyna Wydawnicza, 2002.
• Anzelm Iwanik, Jolanta Katarzyna Misiewicz: Wykłady z procesów stochastycznych z zadaniami. Cz. 1, Procesy Markowa. Zielona Góra: Oficyna Wydawnicza Uniwersytetu Zielonogórskiego, 2009.

Linki zewnętrzne

• O łańcuchach Markowa na stronach wydziału MIM Uniwersytetu Warszawskiego