Достижимое состояние

Пусть ${\displaystyle \{X_{n}\}_{n\in \mathbb {N} }}$ — однородная цепь Маркова с дискретным временем. Состояние ${\displaystyle j}$ называется достижи́мым из состояния ${\displaystyle i}$, если существует ${\displaystyle n=n(i,j)}$ такое, что

${\displaystyle p_{ij}^{(n)}\equiv \mathbb {P} (X_{n}=j\mid X_{0}=i)>0}$.

Пишут ${\displaystyle i\rightarrow j}$.

• Состояния ${\displaystyle i}$ и ${\displaystyle j}$ называются сообща́ющимися, если ${\displaystyle i\rightarrow j}$ и ${\displaystyle j\rightarrow i}$. Пишем: ${\displaystyle i\leftrightarrow j}$.
• Свойство сообщаемости порождает на пространстве состояний отношение эквивалентности. Порождаемые классы эквивалентности называются неразложи́мыми кла́ссами. Если цепь Маркова такова, что её состояния образуют лишь один неразложимый класс, то она называется неразложи́мой.
• Состояния, принадлежащие одному и тому же неразложимому классу, либо все возвратные, либо все невозвратные. Таким образом неразложимый класс целиком либо возвратен, либо невозвратен. Наконец, неразложимая цепь Маркова либо целиком возвратна, либо целиком невозвратна.

• Пусть ${\displaystyle \{X_{n}\}_{n\geq 0}}$ — цепь Маркова с тремя состояниями ${\displaystyle \{1,2,3\}}$, и её матрица переходных вероятностей имеет вид

${\displaystyle P=\left({\begin{matrix}0.5&0.5&0\\0.1&0.9&0\\0&0&1\end{matrix}}\right).}$

Состояния этой цепи образуют два неразложимых класса: ${\displaystyle \{1,2\}}$ и ${\displaystyle \{3\}}$. В частности, ${\displaystyle 1\leftrightarrow 2}$, но ${\displaystyle 1\not \rightarrow 3}$ и ${\displaystyle 3\not \rightarrow 1}$.

• Цепь Маркова, задаваемая матрицей переходных вероятностей

${\displaystyle P=\left({\begin{matrix}0&1&0\\0&0&1\\1&0&0\end{matrix}}\right)}$,

неразложима.