Markovo grandinė

Markovo grandinė – Markovo procesas $X={X(t),t\in T}$, kurio būsenų aibė $\chi$ yra baigtinė arba skaičioji; čia $T={0,1,...}$ (diskrečiojo laiko Markovo grandinė) arba $T=[0,\infty )$ (tolydžiojo laiko Markovo grandinė). Šis procesas remiasi principu, jog praeitis yra nereikšminga numatant ateitį, svarbi tiktai esamojo laiko informacija. Pavadinta pagal Andrejų Markovą.

Yra ir tolydaus laiko Markovo grandinės.

Markovo grandinė yra seka X₁, X₂, X₃, … atsitiktinių kintamųjų. Šių kintamųjų įgaunamų reikšmių sritis vadinama būsenų intervalu (angl. state space), X_n reikšmė yra proceso būsena laiko momentu n. Jeigu X_n+1 sąlyginės tikimybės pasiskirstymas praeities būsenų intervale yra funkcija tiktai nuo X_n, tuomet:

$P(X_{n+1}=x|X_{0},X_{1},X_{2},\ldots ,X_{n})=P(X_{n+1}=x|X_{n}),\,$

kur x yra kažkuri proceso būsena. Aprašyta savybė nusako Markovo savybę.