Статистическая значимость

Проверка гипотезы ${\displaystyle H}$ (задающей вероятностное распределение ${\displaystyle P_{H}}$) состоит в следующем. Выбирается событие ${\displaystyle S\subset \Omega }$ (называемое статистическим критерием), которое (по каким-либо соображениям) «почти несовместимо» с гипотезой ${\displaystyle H}$ в том смысле, что условная вероятность ${\displaystyle P_{H}(S)}$ события ${\displaystyle S}$ (при условии, что гипотеза ${\displaystyle H}$ верна) не превышает какого-то малого (по сравнению с единицей) числа ${\displaystyle \alpha }$, называемого уровнем значимости: ${\displaystyle P_{H}(S)\leq \alpha }$. Затем проводится опыт. Если событие ${\displaystyle S}$ происходит, то гипотеза ${\displaystyle H}$ отвергается (говорят, что наблюдается отклонение от гипотезы на уровне значимости ${\displaystyle \alpha }$). В противном случае, гипотеза не отвергается (однако никакой метод статистики, ни даже науки в целом, не может «окончательно доказать» гипотезу).

Таким образом, уровень ${\displaystyle \alpha }$ значимости теста — вероятность отклонить гипотезу ${\displaystyle H}$, если на самом деле она верна (решение известное как ошибка первого рода, или ложноположительное решение).

Популярными уровнями значимости являются 10 %, 5 %, 1 %, и 0,1 %.

Различные значения α-уровня имеют свои достоинства и недостатки. Меньшие α-уровни дают бо́льшую уверенность в том, что уже установленная альтернативная гипотеза значима, но при этом есть больший риск не отвергнуть ложную нулевую (или отвергнуть истинную альтернативную) гипотезу (ошибка второго рода, или «ложноотрицательное решение»), и таким образом меньшая статистическая мощность. Выбор α-уровня неизбежно требует компромисса между значимостью и мощностью, и следовательно между вероятностями ошибок первого и второго рода.

При использовании тестов на статистическую значимость нужно иметь в виду, что тест вовсе не дает оснований для принятия гипотезы[1].