Марковский процесс

Ма́рковский проце́сс — случайный процесс, эволюция которого после любого заданного значения временно́го параметра $t$ не зависит от эволюции, предшествовавшей $t$ , при условии, что значение процесса в этот момент фиксировано («будущее» процесса не зависит от «прошлого» при известном «настоящем»; другая трактовка (Вентцель): «будущее» процесса зависит от «прошлого» лишь через «настоящее»).

Процесс Маркова — модель авторегрессии первого порядка AR(1): $X_{t}=c+\alpha X_{t-1}+\varepsilon _{t}$ .

Марковская цепь — частный случай марковского процесса, когда пространство его состояний дискретно (т.е. не более чем счетно)[1].

История

Определяющее марковский процесс свойство принято называть марковским; впервые оно было сформулировано А. А. Марковым, который в работах 1907 г. положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова.

Однако уже в работе Л. Башелье можно усмотреть попытку трактовать броуновское движение как марковский процесс, попытку, получившую обоснование после исследований Винера в 1923.

Основы общей теории марковских процессов с непрерывным временем были заложены Колмогоровым.

Марковское свойство

Общий случай

Пусть $(\Omega ,{\mathcal {F}},\mathbb {P} )$ — вероятностное пространство с фильтрацией $({\mathcal {F}}_{t},\ t\in T)$ по некоторому (частично упорядоченному) множеству $T$ ; и пусть $(S,{\mathcal {S}})$ — измеримое пространство. Случайный процесс $X=(X_{t},\ t\in T)$ , определённый на фильтрованном вероятностном пространстве, считается удовлетворяющим марковскому свойству, если для каждого $A\in {\mathcal {S}}$ и $s,t\in T:s<t$

\mathbb {P} (X_{t}\in A|{\mathcal {F}}_{s})=\mathbb {P} (X_{t}\in A|X_{s}).

Марковский процесс — это случайный процесс, удовлетворяющий марковскому свойству с естественной фильтрацией.

Для марковских цепей с дискретным временем

В случае, если $S$ является дискретным множеством и $T=\mathbb {N}$ , определение может быть переформулировано:

\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{0}=x_{0})=\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1})

.

Пример марковского процесса

Рассмотрим простой пример марковского случайного процесса. По оси абсцисс случайным образом перемещается точка. В момент времени ноль точка находится в начале координат и остается там в течение одной секунды. Через секунду бросается монета — если выпал герб, то точка X перемещается на одну единицу длины вправо, если решка — влево. Через секунду снова бросается монета и производится такое же случайное перемещение, и так далее. Процесс изменения положения точки («блуждания») представляет собой случайный процесс с дискретным временем (t=0, 1, 2, …) и счетным множеством состояний. Такой случайный процесс является марковским, так как следующее состояние точки зависит только от настоящего (текущего) состояния и не зависит от прошлых состояний (неважно, каким путём и за какое время точка попала в текущую координату).

См. также

Примечания

А. В. Булинский, А. Н. Ширяев. Теория случайных процессов. Физматлит, 2005.

Ссылки

Марковский процесс / А. В. Прохоров // Большая российская энциклопедия : [в 35 т.] / гл. ред. Ю. С. Осипов. — М. : Большая российская энциклопедия, 2004—2017.
Weisstein, Eric W. Markov process (англ.) на сайте Wolfram MathWorld.

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] А. В. Булинский, А. Н. Ширяев. Теория случайных процессов. Физматлит, 2005.