Поправка на множественную проверку гипотез

Одна из мер, обобщающих ошибку первого рода, рассматриваемую при проверке статистических гипотез. Величина определяется как вероятность совершения хотя бы одной ошибки первого рода[6]. По определению: ${\displaystyle {\text{FWER}}=P(V\geq 1)}$[6]. Контроль над FWER на фиксированном уровне значимости ${\displaystyle \alpha }$ означает, что выполняется неравенство ${\displaystyle {\text{FWER}}\leq \alpha }$[6].

Существует несколько методов контроля FWER.

Метод поправки Бонферрони утверждает, что для уменьшения ложноположительных результатов необходимо отклонить те гипотезы, для которых p-value по критерию ${\displaystyle p_{i}<\alpha /m}$[8][9]. Данная поправка позволяет получить ${\displaystyle {\text{FWER}}\leq \alpha }$, потому что

из неравенства Буля следует, что для конечного или счетного набора событий, вероятность того, что произойдет хотя бы одно не больше, чем сумма вероятностей индивидуальных событий. Таким образом, если каждый индивидуальный тест будет проверяться на уровне значимости ${\displaystyle {\frac {\alpha }{m}}}$, где ${\displaystyle m}$- количество рассматриваемых гипотез, то для всего семейства гипотез уровень значимости фиксируется на уровне ${\displaystyle \alpha }$:

${\displaystyle {\text{FWER}}=P(V\geq 1)=P\left\{\bigcup _{i=1}^{m}\left(p_{i}\leq {\frac {\alpha }{m}}\right)\right\}\leq \sum _{i=1}^{m}P\left(p_{i}\leq {\frac {\alpha }{m}}\right)\leq m{\frac {\alpha }{m}}=\alpha }$,

где ${\displaystyle V}$ — количество отвергнутых истинных гипотез[10] .

При увеличении ${\displaystyle m}$ в результате применения поправки Бонферрони мощность статистической процедуры резко уменьшается — шансы отклонить неверные гипотезы падают[7].

Метод Холма (поправка Холма — Бонферрони) равномерно более мощный, чем поправка Бонферрони, и решает проблему падения мощности при росте числа гипотез[11]. Нисходящий метод[12].

Пусть ${\displaystyle p_{(1)}\leq \,...\,\leq p_{(m)}}$ — ${\displaystyle p_{i}}$, упорядоченные от наименьшего к наибольшему. ${\displaystyle H_{(1)},...,H_{(m)}}$ — соответствующие ${\displaystyle p_{(i)}}$ гипотезы. Процедура Холма определена следующим образом[12][13].

• Шаг 1. Если ${\displaystyle p_{(1)}\geq {\frac {\alpha }{m-1+1}}}$, принять гипотезы ${\displaystyle H_{(1)},...,H_{(m)}}$ и остановиться. Иначе, если ${\displaystyle p_{(1)}<{\frac {\alpha }{m-1+1}}}$, отвергнуть гипотезу ${\displaystyle H_{(1)}}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\displaystyle {\frac {\alpha }{m-2+1}}}$.
• Шаг 2. Если ${\displaystyle p_{(2)}\geq {\frac {\alpha }{m-2+1}}}$, принять гипотезы ${\displaystyle H_{(2)},...,H_{(m)}}$ и остановиться. Иначе, если ${\displaystyle p_{(2)}<{\frac {\alpha }{m-2+1}}}$, отвергнуть гипотезу ${\displaystyle H_{(2)}}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\displaystyle {\frac {\alpha }{m-3+1}}}$.
• И т. д.

Процедура обеспечивает ${\displaystyle {\text{FWER}}\leq \alpha }$[12]. Она равномерно мощнее метода Бонферрони[11].

Рассмотрим проверку 4-х гипотез при ${\displaystyle \alpha =0{,}05}$. Пусть для них получены p-value: 0,01; 0,04; 0,03 и 0,005. Расставим их по возрастанию: 1) 0,005; 2) 0,01; 3) 0,03; 4) 0,04. Будут проверены следующие неравенства:

1. ${\displaystyle 0{,}005<{\frac {0{,}05}{4}}}$ → отклоняем данную нулевую гипотезу, двигаемся дальше.
2. ${\displaystyle 0{,}01<{\frac {0{,}05}{4-1}}}$ → отклоняем данную нулевую гипотезу, двигаемся дальше.
3. ${\displaystyle 0{,}03\geq {\frac {0{,}05}{4-2}}}$ → принимаем эту и следующую нулевые гипотезы, останавливаемся.

Нисходящая процедура. Уровни значимости для ${\displaystyle m}$ гипотез задаются следующим образом: ${\displaystyle \alpha _{1}\dots \alpha _{m}=1-(1-\alpha )^{1/m}}$. Метод дает FWER ${\displaystyle \leq \alpha }$ при условии, что статистики ${\displaystyle T_{i}}$ независимы или выполнено свойство «положительной зависимости»[15][16]:

${\displaystyle \mathrm {P} (T_{1}\leq t_{1},...,T_{m}\leq t_{m})\geq \prod _{i=1}^{m}\mathrm {P} (T_{i}\leq t_{i})}$, ${\displaystyle \forall t}$[16]

Составим вариационный ряд p-значений: ${\displaystyle p_{(1)}\leq \,...\,\leq p_{(m)}}$, где ${\displaystyle H_{(1)},...,H_{(m)}}$- соответствующие гипотезы. Процедура выглядит так:

1. Если ${\displaystyle p_{(1)}\geq \alpha _{1}}$, то принимаем все гипотезы ${\displaystyle H_{(1)},...,H_{(m)}}$и останавливаемся, иначе отвергаем ${\displaystyle H_{(1)}}$и продолжаем;
2. Если ${\displaystyle p_{(2)}\geq \alpha _{2}}$, то принимаем все гипотезы ${\displaystyle H_{(2)},...,H_{(m)}}$и останавливаемся, иначе отвергаем ${\displaystyle H_{(2)}}$и продолжаем;
3. … и т. д.

Нисходящая процедура. Уровни значимости для ${\displaystyle m}$ гипотез задаются следующим образом[17]: ${\displaystyle \alpha _{1}=1-(1-\alpha )^{1/m},\dots ,\alpha _{i}=1-(1-\alpha )^{\frac {1}{m-i+1}},\dots ,\alpha _{m}=\alpha }$

Контролирует FWER на уровне значимости ${\displaystyle \alpha }$, если статистики независимы в совокупности. Если статистики независимы в совокупности, нельзя построить контролирующую FWER на уровне ${\displaystyle \alpha }$ процедуру мощнее, чем метод Шидака-Холма. При больших ${\displaystyle m}$ мало отличается от метода Холма[17].

Данная величина определяется как математическое ожидание доли ошибок среди отвергнутых гипотез.

Определим ${\displaystyle Q}$ как отношение числа неверно отвергнутых гипотез ${\displaystyle V}$ ко всем отвергнутым гипотезам ${\displaystyle R}$: ${\displaystyle Q=V/R}$. Таким образом, FDR:

${\displaystyle {\text{FDR}}=Q_{\textrm {e}}=E[Q]=E\left[{\frac {V}{V+S}}\right]=E\left[{\frac {V}{R}}\right]}$ при ${\displaystyle R>0}$[7].

Контроль над FDR на уровне ${\displaystyle \alpha }$ означает, что:

${\displaystyle {\text{FDR}}=E\left({\frac {V}{R}}\right)\leq \alpha }$[7].

Это восходящая процедура со следующими уровнями значимости[7]:

${\displaystyle \alpha _{1}={\frac {\alpha }{m}},\ ...,\ \alpha _{i}={\frac {i\alpha }{m}},\ ...,\ \alpha _{m}=\alpha }$.

Пусть ${\displaystyle p_{(1)}\leq \,...\,\leq p_{(m)}}$ — уровни значимости ${\displaystyle p_{i}}$, упорядоченные от наименьшего к наибольшему. ${\displaystyle H_{(1)},...,H_{(m)}}$ — соответствующие ${\displaystyle p_{(i)}}$ гипотезы. Процедура Беньямини — Хохберга определена следующим образом.

• Шаг 1. Если ${\displaystyle p_{(1)}\geq {\frac {\alpha }{m}}}$, принять гипотезы ${\displaystyle H_{(1)},...,H_{(m)}}$ и остановиться. Иначе, если ${\displaystyle p_{(1)}<{\frac {\alpha }{m}}}$, отвергнуть гипотезу ${\displaystyle H_{(1)}}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\displaystyle {\frac {2\alpha }{m}}}$.
• Шаг 2. Если ${\displaystyle p_{(2)}\geq {\frac {2\alpha }{m}}}$, принять гипотезы ${\displaystyle H_{(2)},...,H_{(m)}}$ и остановиться. Иначе, если ${\displaystyle p_{(2)}<{\frac {2\alpha }{m}}}$, отвергнуть гипотезу ${\displaystyle H_{(2)}}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\displaystyle {\frac {3\alpha }{m}}}$.
• И т. д.

Если статистики ${\displaystyle T_{i}}$независимы, этот метод контролирует FDR на уровне ${\displaystyle \alpha }$[7].