Существенное состояние

Пусть дана однородная цепь Маркова с дискретным временем ${\displaystyle \{X_{n}\}_{n\geq 0}}$ и дискретным пространством состояний ${\displaystyle \{1,2,\ldots \}}$. Тогда состояние ${\displaystyle i}$ называется несуще́ственным, если существует состояние ${\displaystyle j}$ и ${\displaystyle n_{ij}\in \mathbb {N} }$, такие что

${\displaystyle p_{ij}^{(n_{ij})}>0}$, но ${\displaystyle p_{ji}^{(n)}=0,\quad \forall n\in \mathbb {N} }$.

В противном случае состояние ${\displaystyle i}$ называется суще́ственным.

Несущественные состояния не играют роли при изучении долговременного поведения цепи Маркова, а потому их чаще всего игнорируют.

Пусть пространство состояний цепи Маркова конечно: ${\displaystyle \{1,2,3,4\}}$, а матрица переходных вероятностей имеет вид:

${\displaystyle P=\left({\begin{matrix}0&1&0&0\\0&0&0.6&0.4\\0&0&0.5&0.5\\0&0&0.1&0.9\end{matrix}}\right)}$.

Тогда состояния ${\displaystyle 1}$ и ${\displaystyle 2}$ несущественны, а ${\displaystyle 3}$ и ${\displaystyle 4}$ — существенны.