Łańcuch Markowa: Różnice pomiędzy wersjami
[wersja przejrzana] | [wersja przejrzana] |
GrouchoBot (dyskusja | edycje) m robot dodaje: eu:Markoven kate |
m robot poprawia: ro:Lanț Markov |
||
Linia 75: | Linia 75: | ||
[[ja:マルコフ連鎖]] |
[[ja:マルコフ連鎖]] |
||
[[pt:Cadeias de Markov]] |
[[pt:Cadeias de Markov]] |
||
[[ro: |
[[ro:Lanț Markov]] |
||
[[ru:Цепь Маркова]] |
[[ru:Цепь Маркова]] |
||
[[simple:Markov chain]] |
[[simple:Markov chain]] |
Wersja z 22:53, 3 cze 2010
Proces Markowa – ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. W ujęciu matematycznym, procesy Markowa to takie procesy stochastyczne, które spełniają własność Markowa.
Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów.
Łańcuch Markowa jest ciągiem X1, X2, X3, ... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje Xn to stany w czasie n. Jeśli rozkład warunkowy Xn+1 jest funkcją wyłącznie zmiennej Xn:
to mówimy, że proces stochastyczny posiada własność Markowa.
Przedstawiona definicja zakłada czas dyskretny. Istnieją procesy Markowa z czasem ciągłym, jednak nie są one przedstawione w tym artykule.
Procesy Markowa zawdzięczają swoją nazwę ich twórcy Andriejowi Markowowi, który po raz pierwszy opisał problem w 1906 roku. Uogólnienie na przeliczalnie nieskończone przestrzenie stanów zostało opracowane przez Kołmogorowa w 1936. Łańcuchy Markowa mają związek z ruchami Browna oraz hipotezą ergodyczną, dwoma ważnymi w fizyce tematami, ale powstały jako uogólnienie prawa wielkich liczb na zdarzenia zależne.
Własności łańcuchów Markowa
Macierz przejścia
Jeśli przestrzeń stanów jest zbiorem skończonym, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako macierz, zwaną macierzą prawdopodobieństw przejścia. Jest to macierz stochastyczna, oznaczamy ją literą P, gdzie elementy (i, j) są równe:
- czyli element oznacza prawdopodobieństwo przejścia ze stanu pierwszego do stanu trzeciego.
Na przestrzeni dyskretnej całkowanie k-tego stopnia macierzy przejścia jest zwykłym sumowaniem i może być obliczane jako k-ta potęga macierzy przejścia. Czyli jeśli P jest macierzą przejścia w jednym kroku, wówczas Pk jest macierzą przejścia w k krokach.
Rozkład stacjonarny
Rozkład prawdopodobieństw na przestrzeni stanów S nazywamy stacjonarnym wtedy i tylko wtedy, gdy spełniony jest warunek
czyli
gdzie jest transponowanym wektorem wierszowym , a
- .
Jeśli rozkład początkowy jest stacjonarny, to każdy kolejny rozkład również jest stacjonarny.
Może nie istnieć żaden, istnieć jeden lub więcej niż jeden rozkład stacjonarny dla danego procesu.
Zobacz też
Bibliografia
1. Maria Podgórska i in.: Łańcuchy Markowa w teorii i zastosowaniach. Warszawa: Szkoła Główna Handlowa Oficyna Wydawnicza, 2002.