Условная независимость

В теории вероятностей два случайных события $A$ и $B$ называются условно независимыми относительно третьего события $C$ , если они независимы при условии, что событие $C$ произошло.

Другими словами, $A$ и $B$ условно независимы относительно $C$ тогда и только тогда, когда $C$ произошло, но знание того, произошло $B$ или нет, не влияет на вероятность $A$ , и, наоборот, знание того, произошло $A$ или нет, не влияет на вероятность $B$ .

Понятие условной независимости также может быть применено к случайным величинам и случайным векторам.

Условная независимость событий

Определение

В обозначениях теории вероятностей, $A$ и $B$ условно независимы относительно $C$ тогда и только тогда, когда $P(A\cap B\mid C)=P(A\mid C)P(B\mid C)$ . Относительная независимость $A$ и $B$ относительно $C$ обозначается $(A\perp \!\!\!\perp B)\mid C$ .

Формально:

Условная независимость событий

$(A\perp \!\!\!\perp B)\mid C\quad \iff \quad P(A\cap B\mid C)=P(A\mid C)P(B\mid C)$

или равносильно:

$(A\perp \!\!\!\perp B)\mid C\quad \iff \quad P(A\mid B\cap C)=P(A\mid C)\quad \lor \quad P(B\mid C)=1$

Примеры

В обсуждении на StackExchange приводится несколько полезных примеров. См. ниже.[1]

Цветные клетки

Каждая клетка на поле представляет собой возможный исход. События $\color {red}R$ , $\color {blue}B$ и $\color {gold}Y$ представлены областями, закрашенными в красный, синий и жёлтый цвета соответственно. Пересечение $\color {red}R$ и $\color {blue}B$ окрашено в фиолетовый и т. д.

Вероятность каждого из этих событий — это отношение площади закрашенной области к общей площади поля.

В обоих примерах $\color {red}R$ и $\color {blue}B$ условно независимы по отношению к ${\color {gold}Y}$ , поскольку

P({\color {red}R}\cap {\color {blue}B}\mid {\color {gold}Y})=P({\color {red}R}\mid {\color {gold}Y})P({\color {blue}B}\mid {\color {gold}Y})

[2],

но не являются условно независимыми по отношению к ${\overline {\color {gold}Y}}$ , поскольку

P({\color {red}R}\cap {\color {blue}B}\mid {\overline {\color {gold}Y}})\not =P({\color {red}R}\mid {\overline {\color {gold}Y}})P({\color {blue}B}\mid {\overline {\color {gold}Y}})

.

Погода и задержки

Представим себе двух человек. Пусть $A$ и $B$ — события, что каждый из них вовремя вернётся домой к ужину. Пусть $C$ будет событием, при котором город настигла снежная буря. Из-за бури вероятности $A$ и $B$ довольно низкие, но всё равно эти события остаются независимыми друг от друга. Действительно, знание того, что один человек опоздает, вовсе не гарантирует то, что другой тоже опоздает. Люди могут жить в разных районах, ездить разными маршрутами, использовать разные виды транспорта. Если бы это было не так, то эти события были бы условно зависимы.

Игральный кубик

При одновременном броске двух кубиков можно считать, что результаты бросков не зависят друг от друга. Посмотрев на один из них, нельзя узнать, что выпало на втором. Однако, если на первом выпало 3 и кто-то сказал, что сумма на двух кубиках чётна, то эта дополнительная информация ограничивает количество исходов для второго кубика. (Тогда на втором точно выпало нечётное число). Другими словами, два события могут быть независимы сами по себе, но при каком-то условии будут условно зависимы.

Условная независимость случайных величин

Две случайные величины $X$ и $Y$ условно независимы относительно третьей случайной величины $Z$ , тогда и только тогда, когда распределения их условных вероятностей относительно $Z$ являются независимыми.

То есть это происходит, когда для каждого данного численного значения $Z$ распределение вероятностей $X$ не зависит от значений $Y$ и распределение вероятностей $Y$ не зависит от значений $X$ .

Формально:

Условная независимость случайных величин

$(X\perp \!\!\!\perp Y)\mid Z\quad \iff \quad F_{X,Y\,\mid \,Z\,=\,z}(x,y)=F_{X\,\mid \,Z\,=\,z}(x)\cdot F_{Y\,\mid \,Z\,=\,z}(y)\quad \forall x,y,z,$

где $F_{X,Y\,\mid \,Z\,=\,z}(x,y)=P(X\leq x,Y\leq y\mid Z=z)$ – это
условная функция распределения $X$ и $Y$ с заданным $Z$ .

Два события $R$ и $B$ условно независимы относительно сигма-алгебры $\Sigma$ , если $P(R\cap B\mid \Sigma ){\stackrel {\text{п.н.}}{=}}P(R\mid \Sigma )P(B\mid \Sigma )$ , где $P(A\mid \Sigma )$ — условное математическое ожидание индикаторной функции $\chi _{A}$ события $A$ относительно сигма-алгебры $\Sigma$ . То есть $P(A\mid \Sigma )=\operatorname {E} [\chi _{A}\mid \Sigma ]$ по определению.

Две случайные величины $X$ и $Y$ условно независимы относительно сигма-алгебры $\Sigma$ , если предыдущее равенство справедливо для всех $R$ в $\sigma (X)$ и $B$ в $\sigma (Y)$ .

Две случайные величины $X$ и $Y$ условно независимы относительно случайной величины $W$ , если они независимы относительно сигма-алгебры $\sigma (W)$ , порождённой случайной величиной $W$ . Это обозначается как $X\perp \!\!\!\perp Y\mid W$ или $X\perp Y\mid W$ .

Если $W$ имеет счётное множество значений, то это эквивалентно условной независимости $X$ и $Y$ для событий вида $[W=w]$ . Условная независимость трёх и более событий или трёх и более случайных величин определяется аналогично.

Следующие два примера показывают, что независимость случайных величин никак не связана с их условной независимостью.

Первый пример

Возьмём $W={\begin{cases}0,&&p=0.5\\1,&&p=0.5\end{cases}}$ и рассмотрим два случая.

Если $W=0$ , возьмём независимые $X,Y={\begin{cases}0,&&p=0.99\\1,&&p=0.01\end{cases}}$ .

Если $W=1$ , возьмём независимые $X,Y={\begin{cases}0,&&p=0.01\\1,&&p=0.99\end{cases}}$ .

Здесь $(X\perp \!\!\!\perp Y)\mid W$ и $P(X=0)=P(Y=0)=0.5$ .

Рассмотрим случай, когда $Y=0$ . Тогда легко убедиться, что:

$P(X=1\land Y=0)<0.01$ ,

$P(X=1|Y=0)<0.02$ .

Таким образом, если $Y=0$ , то распределение $X$ меняется, и наоборот. Значит, $X$ и $Y$ зависимы.

Второй пример

Пусть $X\perp \!\!\!\perp Y$ ; $X,Y={\begin{cases}0,&&p=0.5\\1,&&p=0.5\end{cases}}$ ;

$W=X\cdot Y$ .

В данном примере $X$ и $Y$ мы взяли независимыми, но они будут условно зависимыми относительно $W$ , потому что если $W=0$ , то $P(X=0)=2/3$ . Но $P(X=0|Y=0)=1/2$ .

Условная независимость случайных векторов

Два случайных вектора $\mathbf {X} =(X_{1},\ldots ,X_{l})^{\mathrm {T} }$ и $\mathbf {Y} =(Y_{1},\ldots ,Y_{m})^{\mathrm {T} }$ условно независимы относительно третьего случайного вектора $\mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }$ тогда и только тогда, когда их условные распределения независимы относительно $\mathbf {Z}$ .

Формально:

Условная независимость случайных векторов

$(\mathbf {X} \perp \!\!\!\perp \mathbf {Y} )\mid \mathbf {Z} \quad \iff \quad F_{\mathbf {X} ,\mathbf {Y} \mid \mathbf {Z} =\mathbf {z} }(\mathbf {x} ,\mathbf {y} )=F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )\cdot F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )\quad \forall \mathbf {x} ,\mathbf {y} ,\mathbf {z} ,$

где $\mathbf {x} =(x_{1},\ldots ,x_{l})^{\mathrm {T} },\mathbf {y} =(y_{1},\ldots ,y_{m})^{\mathrm {T} },\mathbf {z} =(z_{1},\ldots ,z_{n})^{\mathrm {T} }$ ,
а условные распределения определены следующим образом:

${\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=P(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=P(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=P(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}$

Использование в Байесовских выводах

Пусть $p$ — это доля голосующих, которые выступят «за» на предстоящем референдуме. Возьмём результаты случайного выборочного опроса среди $n$ голосующих из популяции. Пусть $X_{i}$ равно $1$ , если $i$ голосует «за», или $0$ в противном случае, для каждого голосующего $i=1,...,n$ .

В частотном подходе к статистическим выводам доле $p$ не приписывается никакого распределения вероятности (кроме тех случаев, когда эти вероятности могут быть интерпретированы как относительные частоты возникновения некоторого события или как пропорции в некоторой популяции), и можно сказать, что $X_{1},...,X_{n}$ — это независимые случайные величины.

С другой стороны, в Байесовском подходе к статистическим выводам доля $p$ понимается как случайная величина с некоторым распределением вероятностей. Для каждого отрезка устанавливается степень доверия тому, что $p$ попадёт в этот отрезок. Каждому отрезку ставится в соответствие вероятность попадания $p$ в этот отрезок. В такой модели случайные величины $X_{1},...,X_{n}$ являются зависимыми, но они являются условно независимыми относительно данного значения $p$ . В частности, если большое количество $X_{i}$ равно $1$ , согласно результату выборочного опроса, то это влечёт высокую условную вероятность того, что значение $p$ близко к $1$ . Следовательно, условная вероятность того, что ожидаемое значение следующего $X$ будет равно $1$ , высока (для данного выборочного опроса).

Следствия условной независимости

Из основного определения выведен ряд следствий, применимых для работы с условной независимостью.[3][4]

Поскольку эти следствия справедливы для любого вероятностного пространства, то они остаются справедливыми при добавлении зависимости по отношению к некоторой другой переменной, скажем, $K$ . То есть $X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X$ также означает $X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K$ .

Далее все литеры обозначают случайные величины. Запятая обозначает «И».

Симметрия

X\perp \!\!\!\perp Y\quad \Rightarrow \quad Y\perp \!\!\!\perp X

.

Декомпозиция

X\perp \!\!\!\perp (Y,Z)\quad \Rightarrow \quad {\begin{cases}X\perp \!\!\!\perp Y\\X\perp \!\!\!\perp Z\end{cases}}

.

Доказательство:

$p_{X,Y,Z}(x,y,z)=p_{X}(x)\cdot p_{Y,Z}(y,z)$ (означает $X\perp \!\!\!\perp (Y,Z)$ );
$\int _{Z}\!p_{X,Y,Z}(x,y,z)\,dz=\int _{Z}\!p_{X}(x)\cdot p_{Y,Z}(y,z)\,dz$ (переменная $Z$ исчезла в результате интегрирования);
$p_{X,Y}(x,y)=p_{X}(x)\cdot p_{Y}(y)$ .

Аналогично доказывается независимость $X$ и $Z$ .

Слабое объединение

X\perp \!\!\!\perp (Y,Z)\quad \Rightarrow \quad {\begin{cases}X\perp \!\!\!\perp Y\mid Z\\X\perp \!\!\!\perp Z\mid Y\end{cases}}

.

Доказательство:

По определению: $P(X)=P(X\mid Y,Z)$ .
Из композиции следует: $X\perp \!\!\!\perp Z$ , $P(X)=P(X\mid Z)$ .
Объединение двух предыдущих равенств даёт: $P(X\mid Z)=P(X\mid Y,Z)$ , из чего следует $X\perp \!\!\!\perp Y\mid Z$ .

Второе соотношение можно доказать аналогично.

Сокращение

\left.{\begin{aligned}X\perp \!\!\!\perp Y\mid Z\\X\perp \!\!\!\perp Z\end{aligned}}\right\}\quad \Rightarrow \quad X\perp \!\!\!\perp (Y,Z)

.

Доказательство:

Это свойство можно доказать, если заметить, что $P(X\mid Y,Z)=P(X\mid Z)=P(X)$ , где каждое равенство совпадает с $X\perp \!\!\!\perp Y\mid Z$ и $X\perp \!\!\!\perp Z$ соответственно.

Комбинирование

Взяв последние три свойства, доказанные выше, получаем

\left.{\begin{aligned}X\perp \!\!\!\perp Y\mid Z\\X\perp \!\!\!\perp Z\end{aligned}}\right\}\quad \iff \quad X\perp \!\!\!\perp (Y,Z)\quad \Rightarrow \quad {\begin{cases}X\perp \!\!\!\perp Y\mid Z\\X\perp \!\!\!\perp Z\\X\perp \!\!\!\perp Z\mid Y\\X\perp \!\!\!\perp Y\\\end{cases}}

.

Эти следствия названы «Аксиомами Графоида»,[5] поскольку они выполняются в графах при $X\perp \!\!\!\perp Y\mid Z$ , что можно интерпретировать как «Все пути от $X$ до $Y$ пересекают множество $Z$ ».[6]

Условная независимость матожидания[7]

$X\perp \!\!\!\perp Y|Z\Longleftrightarrow E[X|Y,Z]=E[X|Z]$ .

См. также

Условное математическое ожидание

Примечания

Could someone explain conditional independence?
Чтобы разобраться в этом примере, нужно понять, что P(R ∩ B | Y) — вероятность пересечения фиолетовой и жёлтой области. На первой картине видно, что это пересечение состоит из 2 клеток, а жёлтая область — из 12 клеток. Тогда, P(R ∩ B | Y) = 212 = 16. Аналогично, P(R | Y) = 412 = 13; P(B | Y) = 612 = 12.
Dawid, A. P. (1979). “Conditional Independence in Statistical Theory”. Journal of the Royal Statistical Society, Series B. 41 (1): 1—31. JSTOR 2984718. MR 0535541.
J Pearl, Causality: Models, Reasoning, and Inference, 2000, Cambridge University Press
Graphoids: A Graph-Based Logic for Reasoning About Relevance Relations.
Pearl, Judea. Probabilistic reasoning in intelligent systems: networks of plausible inference. — Morgan Kaufmann, 1988.
П.А.Мейер. Вероятность и потенциалы. — Глава II: Независимость. Условные математические ожидания. Тема: Условная независимость Теорема: 51: Мир, 1973. — С. 45—46.

Ссылки

На Викискладе есть медиафайлы по теме Условная независимость

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] Could someone explain conditional independence?

[2] Чтобы разобраться в этом примере, нужно понять, что P(R ∩ B | Y) — вероятность пересечения фиолетовой и жёлтой области. На первой картине видно, что это пересечение состоит из 2 клеток, а жёлтая область — из 12 клеток. Тогда, P(R ∩ B | Y) = 212 = 16. Аналогично, P(R | Y) = 412 = 13; P(B | Y) = 612 = 12.

[3] Dawid, A. P. (1979). “Conditional Independence in Statistical Theory”. Journal of the Royal Statistical Society, Series B. 41 (1): 1—31. JSTOR 2984718. MR 0535541.

[pearl:20005-4] J Pearl, Causality: Models, Reasoning, and Inference, 2000, Cambridge University Press

[5] Graphoids: A Graph-Based Logic for Reasoning About Relevance Relations.

[pearl:88-6] Pearl, Judea. Probabilistic reasoning in intelligent systems: networks of plausible inference. — Morgan Kaufmann, 1988.

[7] П.А.Мейер. Вероятность и потенциалы. — Глава II: Независимость. Условные математические ожидания. Тема: Условная независимость Теорема: 51: Мир, 1973. — С. 45—46.