Łańcuch Markowa
Proces Markowa – ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. W ujęciu matematycznym, procesy Markowa to takie procesy stochastyczne, które spełniają własność Markowa.
Łańcuchy Markowa to procesy Markowa z czasem dyskretnym.
Łańcuch Markowa jest ciągiem X1, X2, X3, ... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje Xn to stany w czasie n. Jeśli rozkład warunkowy Xn+1 jest funkcją wyłącznie zmiennej Xn:
to mówimy, że proces stochastyczny posiada własność Markowa.
Przedstawiona definicja zakłada czas dyskretny. Istnieją procesy Markowa z czasem ciągłym, jednak nie są one przedstawione w tym artykule.
Procesy Markowa zawdzięczają swoją nazwę ich twórcy Andriejowi Markowowi, który po raz pierwszy opisał problem w 1906 roku. Uogólnienie na przeliczalnie nieskończone przestrzenie stanów zostało opracowane przez Kołmogorowa w 1936. Łańcuchy Markowa mają związek z ruchami Browna oraz hipotezą ergodyczną, dwoma ważnymi w fizyce tematami, ale powstały jako uogólnienie prawa wielkich liczb na zdarzenia zależne.
Własności łańcuchów Markowa
Rozkład początkowy
Rozkładem początkowym nazywamy rozkład (dyskretny) zmiennej .
Macierz przejść
Definicja
Jeśli łańcuch Markowa jest jednorodny, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako macierz, zwaną macierzą prawdopodobieństw przejścia. Jest to macierz stochastyczna, oznaczamy ją literą , gdzie elementy (i, j) są równe:
- z jednorodności otrzymujemy, że rzeczywiście nie zależy od n;
- przykładowo element oznacza prawdopodobieństwo przejścia ze stanu pierwszego do stanu trzeciego.
Własności
Definicja. Prawdopodobieństwem przejścia ze stanu "i" do stanu "j" w "n" krokach nazywamy prawdopodobieństwo warunkowe .
Równania Chapmana-Kołmogorowa
. Intuicyjne jest jasne, że aby dojść do stanu "j" możemy po drodze przejść przez dowolny inny stan skomunikowany z "j" i "i". W zapisie macierzowym równania Ch-K można zapisać tak: , gdzie przez rozumiemy macierz przejść w n krokach.
Klasyfikacja stanów
Definicja. Mówimy, że stan "i" jest osiągalny ze stanu "j", jeśli
Definicja. Mówimy, że stany "i" i "j" są skomunikowane, jeśli są wzajemnie osiągalne. Oznaczamy ten związek przez i ↔ j.
Podział zbioru stanów
Łatwo można wykazać, że relacja skomunikowania jest relacją równoważności. Zatem zbiór możliwych stanów można podzielić na klasy abstrakcji względem tej relacji. Każda z klas tworzy zbiór stanów wzajemnie skomunikowanych.
Stany chwilowe i rekurencyjne
Definicja. Oznaczmy przez prawdopodobieństwo tego, że startując ze stanu "i" łańcuch kiedykolwiek do niego powróci.
Definicja. Jeśli to stan "i" nazywamy rekurencyjnym.
Definicja. Jeśli to stan "i" nazywamy chwilowym.
Wynika stąd, że każdy stan jest albo chwilowy albo rekurencyjny.
Poniższe twierdzenie jest prostym narzędziem do badania chwilowości lub rekurencyjności stanu łańcucha Markowa.
Twierdzenie. Stan "i" jest chwilowy wtw. gdy .
Rozkład stacjonarny
Rozkład prawdopodobieństw na przestrzeni stanów S nazywamy stacjonarnym wtedy i tylko wtedy, gdy spełniony jest warunek
czyli
gdzie jest wektorem wierszowym takim, że
- .
Jeśli rozkład początkowy jest stacjonarny, to każdy kolejny rozkład również jest stacjonarny.
Może nie istnieć żaden, istnieć jeden lub więcej niż jeden rozkład stacjonarny dla danego procesu.
Zobacz też
Bibliografia
- Maria Podgórska i in.: Łańcuchy Markowa w teorii i zastosowaniach. Warszawa: Szkoła Główna Handlowa, Oficyna Wydawnicza, 2002.
- Anzelm Iwanik, Jolanta Katarzyna Misiewicz: Wykłady z procesów stochastycznych z zadaniami. Cz. 1, Procesy Markowa. Zielona Góra: Oficyna Wydawnicza Uniwersytetu Zielonogórskiego, 2009.