Семплирование по Гиббсу

Пусть есть совместное распределение ${\displaystyle p(x_{1},...,x_{d})}$ для ${\displaystyle d}$ случайных величин, причём ${\displaystyle d}$ может быть очень большим. Пусть на шаге ${\displaystyle t}$ мы уже выбрали какое-то значение ${\displaystyle X=\{x_{i}^{t}\}}$. На каждом шаге делаются следующие действия:

1. Выбирается индекс ${\displaystyle i:(1\leq i\leq d}$).
2. ${\displaystyle x_{i}^{t+1}}$ выбирается по распределению ${\displaystyle p(x_{i}|x_{1}^{t},...,x_{i-1}^{t},x_{i+1}^{t},...,x_{d}^{t})}$, а для остальных индексов значение не меняется: ${\displaystyle x_{j}^{t+1}=x_{j}^{t}}$ (j≠i).

На практике обычно индекс выбирают не случайно, а последовательно. Алгоритм прост и не требует никаких специальных знаний и предположений, поэтому он популярен.

Пусть есть совместное распределение ${\displaystyle p(x_{1},x_{2},x_{3})}$ из трех случайных величин, каждая из которых находится в диапазоне от 0 до 10.

Примем, что первоначальное значение вектора, от которого начнется итерационный процесс, будет ${\displaystyle X=\{5,2,7\}}$.

Далее фиксируем ${\displaystyle x_{2}}$ и ${\displaystyle x_{3}}$, после чего рассчитываем по известной заранее формуле условную вероятность ${\displaystyle p(x_{1}|x_{2},x_{3})}$, то есть ${\displaystyle p(x_{1}|x_{2}=2,x_{3}=7)}$, получая некоторый график плотности вероятности от переменной ${\displaystyle x_{1}}$. То, что изначально ${\displaystyle x_{1}}$ мы положили равным 5, забываем, больше это значение не понадобится.

Теперь необходимо выполнить семплирование — сгенерировать новое случайное значение для ${\displaystyle x_{1}}$ в соответствии с полученной плотностью вероятности. Семплирование можно сделать, например, по алгоритму выборки с отклонением. Для этого генерируется случайное число с равномерным распределением от 0 до 10, после чего для этого сгенерированного числа вычисляется его вероятность по графику плотности вероятности ${\displaystyle p(x_{1}|x_{2}=2,x_{3}=7)}$.

Например, пусть сгенерировалось случайное число 4 и по графику плотности его вероятность равна 0.2. Тогда, в соответствии с алгоритмом выборки с отклонением, мы принимаем это сгенерированное число с вероятностью 0.2. А для этого, в свою очередь, генерируем ещё одно случайное число от 0 до 1 с равномерным распределением, и, если сгенерировалось число меньше 0.2, то мы принимаем число 4 как успешное. Иначе повторяем сначала — генерируем ещё одно число (например выпадает 3), для него находим вероятность (например, 0.3), для него генерируем ещё число от 0 до 1 (например, 0.1) и тогда уже принимаем окончательно, что на этой итерации ${\displaystyle x_{1}=3}$.

Далее необходимо повторить все действия выше с величиной ${\displaystyle x_{2}}$, причём ${\displaystyle x_{1}}$ мы уже используем «новое» — в нашем примере равное 3. Так, рассчитываем плотность вероятности ${\displaystyle p(x_{2}|x_{1}=3,x_{3}=7)}$, генерируем снова случайное число на роль кандидата нового значения ${\displaystyle x_{2}}$, делаем выборку с отклонением и повторяем её в случае, если значение «отклонено».

Аналогично действия повторяются для ${\displaystyle x_{3}}$ с новыми значениями ${\displaystyle x_{1}}$ и ${\displaystyle x_{2}}$. Первая итерация алгоритма семплирования по Гиббсу завершена. Через несколько сотен/тысяч таких итераций случайные значения должны прийти к максимуму своей плотности, который может быть расположен достаточно далеко от нашего первого приближения ${\displaystyle X=\{5,2,7\}}$ и семплироваться в той области. Дальнейшая тысяча итераций может уже использоваться по назначению (для поиска математического ожидания, например) как образец значений искомого распределения, не зависящих от первоначального вектора ${\displaystyle X=\{5,2,7\}}$.

• Алгоритм Метрополиса-Гастингса
• Выборка по значимости
• Тематическое моделирование

• Гиббс в байесовских сетях — the BUGS Project
• Пример семплирования по Гиббсу двумерного нормального распределения