t-критерий Стьюдента

Данный критерий был разработан Уильямом Госсетом для оценки качества пива в компании Гиннесс. В связи с обязательствами перед компанией по неразглашению коммерческой тайны (руководство Гиннесса считало таковой использование статистического аппарата в своей работе), статья Госсета вышла в 1908 году в журнале «Биометрика» под псевдонимом «Student» (Студент).

Для применения данного критерия необходимо, чтобы исходные данные имели нормальное распределение. В случае применения двухвыборочного критерия для независимых выборок также необходимо соблюдение условия равенства дисперсий. Существуют, однако, альтернативы критерию Стьюдента для ситуации с неравными дисперсиями.

Требование нормальности распределения данных является необходимым для точного ${\displaystyle t}$-теста. Однако, даже при других распределениях данных возможно использование ${\displaystyle t}$-статистики. Во многих случаях эта статистика асимптотически имеет стандартное нормальное распределение — ${\displaystyle N(0,1)}$, поэтому можно использовать квантили этого распределения. Однако часто даже в этом случае используют квантили не стандартного нормального распределения, а соответствующего распределения Стьюдента, как в точном ${\displaystyle t}$-тесте. Асимптотически они эквивалентны, однако на малых выборках доверительные интервалы распределения Стьюдента шире и надёжнее.

При несоблюдении этих условий при сравнении выборочных средних должны использоваться аналогичные методы непараметрической статистики, среди которых наиболее известными являются U-критерий Манна — Уитни (в качестве двухвыборочного критерия для независимых выборок), а также критерий знаков и критерий Уилкоксона (используются в случаях зависимых выборок).

Применяется для проверки нулевой гипотезы ${\displaystyle H_{0}:E(X)=m}$ о равенстве математического ожидания ${\displaystyle E(X)}$ некоторому известному значению ${\displaystyle m}$.

Очевидно, при выполнении нулевой гипотезы ${\displaystyle E({\overline {X}})=m}$. С учётом предполагаемой независимости наблюдений ${\displaystyle V({\overline {X}})=\sigma ^{2}/n}$. Используя несмещённую оценку дисперсии ${\displaystyle s_{X}^{2}=\sum _{t=1}^{n}(X_{t}-{\overline {X}})^{2}/(n-1)}$ получаем следующую t-статистику:

При нулевой гипотезе распределение этой статистики ${\displaystyle t(n-1)}$. Следовательно, при превышении значения статистики по абсолютной величине критического значения данного распределения (при заданном уровне значимости) нулевая гипотеза отвергается.

Пусть имеются две независимые выборки объёмами ${\displaystyle n_{1}~,~n_{2}}$ нормально распределённых случайных величин ${\displaystyle X_{1},~X_{2}}$. Необходимо проверить по выборочным данным нулевую гипотезу равенства математических ожиданий этих случайных величин ${\displaystyle H_{0}:~M_{1}=M_{2}}$.

Рассмотрим разность выборочных средних ${\displaystyle \Delta ={\overline {X}}_{1}-{\overline {X}}_{2}}$. Очевидно, если нулевая гипотеза выполнена, ${\displaystyle E(\Delta )=M_{1}-M_{2}=0}$. Исходя из независимости выборок дисперсия этой разности равна: ${\displaystyle V(\Delta )={\frac {\sigma _{1}^{2}}{n_{1}}}+{\frac {\sigma _{2}^{2}}{n_{2}}}}$. Тогда, используя несмещённую оценку дисперсии ${\displaystyle s^{2}={\frac {\sum _{t=1}^{n}(X_{t}-{\overline {X}})^{2}}{n-1}}}$, получаем несмещённую оценку дисперсии разности выборочных средних: ${\displaystyle s_{\Delta }^{2}={\frac {s_{1}^{2}}{n_{1}}}+{\frac {s_{2}^{2}}{n_{2}}}}$. Следовательно, t-статистика для проверки нулевой гипотезы равна

${\displaystyle t={\frac {{\overline {X}}_{1}-{\overline {X}}_{2}}{\sqrt {{\frac {s_{1}^{2}}{n_{1}}}+{\frac {s_{2}^{2}}{n_{2}}}}}}.}$

Эта статистика при справедливости нулевой гипотезы имеет распределение ${\displaystyle t(df)}$, где ${\displaystyle df={\frac {(s_{1}^{2}/n_{1}+s_{2}^{2}/n_{2})^{2}}{(s_{1}^{2}/n_{1})^{2}/(n_{1}-1)+(s_{2}^{2}/n_{2})^{2}/(n_{2}-1)}}}$.

Случай одинаковой дисперсии

В случае, если дисперсии выборок предполагаются одинаковыми, то

${\displaystyle V(\Delta )=\sigma ^{2}\left({\frac {1}{n_{1}}}+{\frac {1}{n_{2}}}\right).}$

Тогда t-статистика равна:

${\displaystyle t={\frac {{\overline {X}}_{1}-{\overline {X}}_{2}}{s_{X}{\sqrt {{\frac {1}{n_{1}}}+{\frac {1}{n_{2}}}}}}}~,~~s_{X}={\sqrt {\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}}{n_{1}+n_{2}-2}}}.}$

Эта статистика имеет распределение ${\displaystyle t(n_{1}+n_{2}-2)}$.

Для вычисления эмпирического значения ${\displaystyle t}$-критерия в ситуации проверки гипотезы о различиях между двумя зависимыми выборками (например, двумя пробами одного и того же теста с временным интервалом) применяется следующая формула:

${\displaystyle t={\frac {M_{d}}{s_{d}/{\sqrt {n}}}},}$

где ${\displaystyle M_{d}}$ — средняя разность значений, ${\displaystyle s_{d}}$ — стандартное отклонение разностей, а n — количество наблюдений.

Эта статистика имеет распределение ${\displaystyle t(n-1)}$.

С помощью t-теста можно также проверить произвольное (одно) линейное ограничение на параметры линейной регрессии, оценённой обычным методом наименьших квадратов. Пусть необходимо проверить гипотезу ${\displaystyle H_{0}:c^{T}b=a}$. Очевидно, при выполнении нулевой гипотезы ${\displaystyle E(c^{T}{\hat {b}}-a)=c^{T}E({\hat {b}})-a=0}$. Здесь использовано свойство несмещённости МНК-оценок параметров модели ${\displaystyle E({\hat {b}})=b}$. Кроме того, ${\displaystyle V(c^{T}{\hat {b}}-a)=c^{T}V({\hat {b}})c=\sigma ^{2}c^{T}(X^{T}X)^{-1}c}$. Используя вместо неизвестной дисперсии её несмещённую оценку ${\displaystyle s^{2}=ESS/(n-k)}$, получаем следующую t-статистику:

${\displaystyle t={\frac {c^{T}{\hat {b}}-a}{s{\sqrt {c^{T}(X^{T}X)^{-1}c}}}}.}$

Эта статистика при выполнении нулевой гипотезы имеет распределение ${\displaystyle t(n-k)}$, поэтому если значение статистики выше критического, то нулевая гипотеза о линейном ограничении отклоняется.

Проверка гипотез о коэффициенте линейной регрессии

Частным случаем линейного ограничения является проверка гипотезы о равенстве коэффициента ${\displaystyle b_{j}}$ регрессии некоторому значению ${\displaystyle a}$. В этом случае соответствующая t-статистика равна:

${\displaystyle t={\frac {{\hat {b}}_{j}-a}{s_{{\hat {b}}_{j}}}},}$

где ${\displaystyle s_{{\hat {b}}_{j}}}$ — стандартная ошибка оценки коэффициента — квадратный корень из соответствующего диагонального элемента ковариационной матрицы оценок коэффициентов.

При справедливости нулевой гипотезы распределение этой статистики — ${\displaystyle t(n-k)}$. Если значение статистики по абсолютной величине выше критического значения, то отличие коэффициента от ${\displaystyle a}$ является статистически значимым (неслучайным), в противном случае — незначимым (случайным, то есть истинный коэффициент вероятно равен или очень близок к предполагаемому значению ${\displaystyle a}$).

Аналогом двухвыборочного критерия для независимых выборок является U-критерий Манна — Уитни. Для ситуации с зависимыми выборками аналогами являются критерий знаков и T-критерий Вилкоксона.

Student. The probable error of a mean. // Biometrika. 1908. № 6 (1). P. 1-25.

О критериях проверки гипотез об однородности средних на сайте Новосибирского государственного технического университета