Возвратное состояние

Пусть дана однородная цепь Маркова с дискретным временем ${\displaystyle \{X_{n}\}_{n\geq 0}}$. Пусть

${\displaystyle f_{ii}^{(n)}=\mathbb {P} (X_{n}=i,\;X_{k}\not =i,\,k=1,\ldots ,n-1\mid X_{0}=i)}$

— вероятность, выйдя из состояния ${\displaystyle i}$, вернуться в него ровно за ${\displaystyle n}$ шагов. Тогда

${\displaystyle f_{ii}=\sum \limits _{n=1}^{\infty }f_{ii}^{(n)}}$

— вероятность, выйдя из состояния ${\displaystyle i}$, вернуться в него (за конечное или бесконечное время).

Состояние ${\displaystyle i}$ называется возвра́тным (рекурре́нтным), если ${\displaystyle f_{ii}=1}$. В противном случае состояние называется невозвра́тным (транзие́нтным).

Состояние ${\displaystyle i}$ является возвратным тогда и только тогда, когда выполнено любое из следующих условий:

1. ${\displaystyle \sum \limits _{n=1}^{\infty }p_{ii}^{(n)}=\infty }$, где ${\displaystyle p_{ii}^{(n)}=\mathbb {P} (X_{n}=i\mid X_{0}=i)}$.
2. ${\displaystyle \mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=1}$.

Соответственно, состояние ${\displaystyle i}$ невозвратно тогда и только тогда, когда выполнено любое из условий:

1. ${\displaystyle \sum \limits _{n=1}^{\infty }p_{ii}^{(n)}<\infty }$.
2. ${\displaystyle \mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=0}$.

Предположим, что ${\displaystyle X_{0}=i}$ почти всюду, и определим случайную величину ${\displaystyle T_{i}}$, равную времени первого возвращения в состояние ${\displaystyle i}$, то есть

${\displaystyle T_{i}=\inf\{n\geq 1\mid X_{n}=i\}}$.

Тогда ${\displaystyle T_{i}}$ имеет дискретное распределение, задаваемое функцией вероятности

${\displaystyle \mathbb {P} (T_{i}=n)=f_{ii}^{(n)}}$.

Возвратное состояние ${\displaystyle i}$ называется положи́тельным, если

${\displaystyle \mathbb {E} [T_{i}]=\sum \limits _{n=1}^{\infty }nf_{ii}^{(n)}<\infty }$,

и нулевы́м, если

${\displaystyle \mathbb {E} [T_{i}]=\infty }$.

• Если состояния ${\displaystyle i}$ и ${\displaystyle j}$ сообщаются, и ${\displaystyle i}$ — возвратно, то состояние ${\displaystyle j}$ также возвратно.
• Более того если состояние ${\displaystyle i}$ положительно, то и состояние ${\displaystyle j}$ также положительно.

Таким образом возвратность и положительность — свойство неразложимого класса. Если Марковская цепь неразложима, то говорят о её возвратности и положительности.