Дисперсионный анализ

Суть дисперсионного анализа сводится к изучению влияния одной или нескольких независимых переменных, обычно именуемых факторами, на зависимую переменную. Зависимые переменные представлены значениями абсолютных шкал (шкала отношений). Независимые переменные являются номинативными (шкала наименований), то есть отражают групповую принадлежность, и могут иметь два или более значения (типа, градации или уровня). Примерами независимой переменной ${\displaystyle X_{i}}$ с двумя значениями могут служить пол (женский: ${\displaystyle X_{1}}$, мужской: ${\displaystyle X_{2}}$) или тип экспериментальной группы (контрольная: ${\displaystyle X_{1}}$, экспериментальная: ${\displaystyle X_{2}}$). Градации, соответствующие независимым выборкам объектов, называются межгрупповыми, а градации, соответствующие зависимым выборкам, — внутригрупповыми.

В зависимости от типа и количества переменных различают:

• однофакторный и многофакторный дисперсионный анализ (одна или несколько независимых переменных);
• одномерный и многомерный дисперсионный анализ (одна или несколько зависимых переменных);
• дисперсионный анализ с повторными измерениями (для зависимых выборок);
• дисперсионный анализ с постоянными факторами, случайными факторами, и смешанные модели с факторами обоих типов;

Математическая модель дисперсионного анализа представляет собой частный случай основной линейной модели. Пусть с помощью методов ${\displaystyle A_{j}\ (1\leq j\leq m)}$ производится измерение нескольких параметров ${\displaystyle x_{i}\ (1\leq i\leq n)}$, чьи точные значения — ${\displaystyle \mu _{i}\ (1\leq i\leq n)}$. В таком случае результаты измерений различных величин различными методами можно представить как:

${\displaystyle x_{i,j}=\mu _{i}+a_{i,j}+e_{i,j}}$,

где:

• ${\displaystyle x_{i,j}}$ — результат измерения ${\displaystyle i}$-го параметра по методу ${\displaystyle A_{j}}$;
• ${\displaystyle \mu _{i}}$ — точное значение ${\displaystyle i}$-го параметра;
• ${\displaystyle a_{i,j}}$ — систематическая ошибка измерения ${\displaystyle i}$-го параметра в группе по методу ${\displaystyle A_{j}}$;
• ${\displaystyle e_{i,j}}$ — случайная ошибка измерения ${\displaystyle i}$-го параметра по методу ${\displaystyle A_{j}}$.

Тогда дисперсии следующих случайных величин:
${\displaystyle x_{i,j}}$
${\displaystyle x_{i,j}-x_{i,*}-x_{*,j}+x_{*,*}}$
${\displaystyle x_{i,*}}$
${\displaystyle x_{*,j}}$
(где:

${\displaystyle x_{*,j}={\frac {1}{n}}\sum _{i}x_{i,j},}$

${\displaystyle x_{i,*}={\frac {1}{m}}\sum _{j}x_{i,j},}$

${\displaystyle x_{*,*}={\frac {1}{nm}}\sum _{i,j}x_{i,j}}$)

выражаются как:

${\displaystyle s^{2}={\frac {1}{nm}}\sum _{i}\sum _{j}(x_{i,j}-x_{*,*})^{2}}$

${\displaystyle s_{0}^{2}={\frac {1}{nm}}\sum _{i}\sum _{j}(x_{i,j}-x_{i,*}-x_{*,j}+x_{*,*})^{2}}$

${\displaystyle s_{1}^{2}={\frac {1}{n}}\sum _{i}(x_{i,*}-x_{*,*})^{2}}$

${\displaystyle s_{2}^{2}={\frac {1}{m}}\sum _{j}(x_{*,j}-x_{*,*})^{2}}$

и удовлетворяют тождеству:

${\displaystyle s^{2}=s_{0}^{2}+s_{1}^{2}+s_{2}^{2}}$

Процедура дисперсионного анализа состоит в определении соотношения систематической (межгрупповой) дисперсии к случайной (внутригрупповой) дисперсии в измеряемых данных. В качестве показателя изменчивости используется сумма квадратов отклонения значений параметра от среднего: ${\displaystyle SS}$ (от англ. Sum of Squares). Можно показать, что общая сумма квадратов ${\displaystyle SS_{\textrm {total}}}$ раскладывается на межгрупповую сумму квадратов ${\displaystyle SS_{\textrm {bg}}}$ и внутригрупповую сумму квадратов ${\displaystyle SS_{\textrm {wg}}}$:

${\displaystyle SS_{\textrm {total}}=SS_{\textrm {bg}}+SS_{\textrm {wg}}}$

Пусть точное значение каждого параметра есть его математическое ожидание, равное среднему генеральной совокупности ${\displaystyle E(X)=M}$. При отсутствии систематических ошибок групповое среднее и среднее генеральной совокупности тождественны: ${\displaystyle M_{j}=M}$. Тогда случайная ошибка измерения есть разница между результатом измерения ${\displaystyle x_{i,j}}$ и средним группы: ${\displaystyle x_{i,j}-M_{j}}$. Если же метод ${\displaystyle A_{j}}$ оказывает систематическое воздействие, то систематическая ошибка при воздействии этого фактора есть разница между средним группы ${\displaystyle M_{j}}$ и средним генеральной совокупности: ${\displaystyle M_{j}-M}$.

Тогда уравнение ${\displaystyle x_{i,j}=\mu _{i}+a_{i,j}+e_{i,j}}$ может быть представлено в следующем виде:

${\displaystyle x_{i,j}=M+(M_{j}-M)+(x_{i,j}-M_{j})}$, или

${\displaystyle x_{i,j}-M=(M_{j}-M)+(x_{i,j}-M_{j})}$.

Тогда

${\displaystyle {\begin{aligned}\sum _{i=1}^{n_{j}}(x_{i,j}-M)^{2}&=\sum _{i=1}^{n_{j}}(M_{j}-M)^{2}+\sum _{i=1}^{n_{j}}(x_{i,j}-M_{j})^{2},\\\end{aligned}}}$

где

${\displaystyle SS_{\textrm {total}}=\sum _{i=1}^{n_{j}}(x_{i,j}-M)^{2}}$

${\displaystyle SS_{\textrm {bg}}=\sum _{i=1}^{n_{j}}(M_{j}-M)^{2}}$

${\displaystyle SS_{\textrm {wg}}=\sum _{i=1}^{n_{j}}(x_{i,j}-M_{j})^{2}}$

Следовательно

${\displaystyle SS_{\textrm {total}}=SS_{\textrm {bg}}+SS_{\textrm {wg}}.}$

Аналогичным образом раскладываются степени свободы:

${\displaystyle df_{\textrm {total}}=df_{\textrm {bg}}+df_{\textrm {wg}},}$ где

${\displaystyle df_{\textrm {total}}=N-1,}$

${\displaystyle df_{\textrm {bg}}=J-1,}$

${\displaystyle df_{\textrm {wg}}=N-J,}$

и ${\displaystyle N}$ есть объём полной выборки, а ${\displaystyle J}$ — количество групп.

Тогда дисперсия каждой части, именуемая в модели дисперсионного анализа как «средний квадрат», или ${\displaystyle MS}$ (от англ. Mean Square), есть отношение суммы квадратов к числу их степеней свободы:

${\displaystyle MS_{\textrm {total}}={\frac {SS_{\textrm {total}}}{N-1}}}$

${\displaystyle MS_{\textrm {bg}}={\frac {SS_{\textrm {bg}}}{J-1}}}$

${\displaystyle MS_{\textrm {wg}}={\frac {SS_{\textrm {wg}}}{N-J}},}$

Соотношение межгрупповой и внутригрупповой дисперсий имеет F-распределение (распределение Фишера) и определяется при помощи (F-критерия Фишера):

${\displaystyle F_{df_{\textrm {bg}},df_{\textrm {wg}}}={\frac {MS_{\textrm {bg}}}{MS_{\textrm {wg}}}}.}$

Исходными положениями дисперсионного анализа являются

• нормальное распределение значений изучаемого признака в генеральной совокупности;
• равенство дисперсий в сравниваемых генеральных совокупностях;
• случайный и независимый характер выборки.

Нулевой гипотезой в дисперсионном анализе является утверждение о равенстве средних значений:

${\displaystyle H_{0}{:}\quad \mu _{1}=\mu _{2}=\dots =\mu _{j}.}$

При отклонении нулевой гипотезы принимается альтернативная гипотеза о том, что не все средние равны, то есть имеются, по крайней мере, две группы, отличающиеся средними значениями:

${\displaystyle H_{1}{:}\exists i,j\in \{1,...,j\},i\neq j:\mu _{i}\neq \mu _{j}.}$

При наличии трёх и более групп для определения различий между средними применяются post-hoc t-тесты или метод контрастов.

Простейшим случаем дисперсионного анализа является одномерный однофакторный анализ для двух или нескольких независимых групп, когда все группы объединены по одному признаку. В ходе анализа проверяется нулевая гипотеза о равенстве средних. При анализе двух групп дисперсионный анализ тождественен двухвыборочному t-критерию Стьюдента для независимых выборок, и величина F-статистики равна квадрату соответствующей t-статистики.

Для подтверждения положения о равенстве дисперсий обычно применяется критерий Ливена (Levene’s test). В случае отвержения гипотезы о равенстве дисперсий основной анализ неприменим. Если дисперсии равны, то для оценки соотношения межгрупповой и внутригрупповой изменчивости применяется F-критерий Фишера:

${\displaystyle F_{df_{\textrm {bg}},df_{\textrm {wg}}}={\frac {MS_{\textrm {bg}}}{MS_{\textrm {wg}}}}.}$

Если F-статистика превышает критическое значение, то нулевая гипотеза не может быть принята (отвергается) и делается вывод о неравенстве средних. При анализе средних двух групп результаты могут быть интерпретированы непосредственно после применения критерия Фишера.

При наличии трёх и более групп требуется попарное сравнение средних для выявления статистически значимых отличий между ними. Априорный анализ включает метод контрастов, при котором межгрупповая сумма квадратов дробится на суммы квадратов отдельных контрастов:

${\displaystyle SS_{\textrm {bg}}=SS_{\psi _{1}}+SS_{\psi _{2}}+...+SS_{\psi _{n}},}$

где ${\displaystyle \psi }$ есть контраст между средними двух групп, и затем при помощи критерия Фишера проверяется соотношение среднего квадрата для каждого контраста к внутригрупповому среднему квадрату:

${\displaystyle F_{1,df_{\textrm {wg}}}={\frac {MS_{\psi _{i}}}{MS_{\textrm {wg}}}}.}$

Апостериорный анализ включает post-hoc t-критерии по методам Бонферрони или Шеффе, а также сравнение разностей средних по методу Тьюки. Особенностью post-hoc-тестов является использование внутригруппового среднего квадрата ${\displaystyle MS_{\textrm {wg}}}$ для оценки любых пар средних. Тесты по методам Бонферрони и Шеффе являются наиболее консервативными, так как они используют наименьшую критическую область при заданном уровне значимости ${\displaystyle \alpha }$.

Помимо оценки средних дисперсионный анализ включает определение коэффициента детерминации ${\displaystyle R^{2}}$, показывающего, какую долю общей изменчивости объясняет данный фактор:

${\displaystyle R^{2}={\frac {SS_{\textrm {bg}}}{SS_{\textrm {total}}}}.}$

• Многофакторный анализ позволяет проверить влияние нескольких факторов на зависимую переменную. Линейная модель многофакторной модели имеет вид:

${\displaystyle x_{i,j,k}=\mu _{i}+a_{i,j}+b_{i,k}+...+(ab)_{i,j,k}+e_{i,j,k}}$, где:

• • ${\displaystyle x_{i,j,k}}$ — результат измерения ${\displaystyle i}$-го параметра;
  • ${\displaystyle \mu _{i}}$ — среднее для ${\displaystyle i}$-го параметра;
  • ${\displaystyle a_{i,j}}$ — систематическая ошибка измерения ${\displaystyle i}$-го параметра в ${\displaystyle j}$ группе по методу ${\displaystyle A}$;
  • ${\displaystyle b_{i,k}}$ — систематическая ошибка измерения ${\displaystyle i}$-го параметра в ${\displaystyle k}$ группе по методу ${\displaystyle B}$;
  • ${\displaystyle (ab)_{i,j,k}}$ — систематическая ошибка измерения ${\displaystyle i}$-го параметра в ${\displaystyle j,k}$ группе в силу комбинации методов ${\displaystyle A}$ и ${\displaystyle B}$;
  • ${\displaystyle e_{i,j,k}}$ — случайная ошибка измерения ${\displaystyle i}$-го параметра.

В отличие от однофакторной модели, где имеется одна межгрупповая сумма квадратов, модель многофакторного анализа включает суммы квадратов для каждого фактора в отдельности и суммы квадратов всех взаимодействий между ними. Так, в двухфакторной модели межгрупповая сумма квадратов раскладывается на сумму квадратов фактора ${\displaystyle A}$, сумму квадратов фактора ${\displaystyle B}$ и сумму квадратов взаимодействия факторов ${\displaystyle A}$ и ${\displaystyle B}$:

${\displaystyle SS_{\textrm {total}}=SS_{A}+SS_{B}+SS_{AB}+SS_{\textrm {wg}}.}$

Соответственно трёхфакторная модель включает сумму квадратов фактора ${\displaystyle A}$, сумму квадратов фактора ${\displaystyle B}$, сумму квадратов фактора ${\displaystyle C}$ и суммы квадратов взаимодействий факторов ${\displaystyle A}$ и ${\displaystyle B}$, ${\displaystyle B}$ и ${\displaystyle C}$, ${\displaystyle A}$ и ${\displaystyle C}$, а также взаимодействия всех трёх факторов ${\displaystyle A,B,C}$:

${\displaystyle SS_{\textrm {total}}=SS_{A}+SS_{B}+SS_{C}+SS_{AB}+SS_{BC}+SS_{AC}+SS_{ABC}+SS_{\textrm {wg}}.}$

Степени свободы раскладываются аналогичным образом:

${\displaystyle df_{\textrm {total}}=df_{A}+df_{B}+df_{AB}+df_{\textrm {wg}},}$ где

${\displaystyle df_{\textrm {total}}=N-1,}$

${\displaystyle df_{A}=J-1,}$

${\displaystyle df_{B}=K-1,}$

${\displaystyle df_{AB}=(J-1)(K-1),}$

${\displaystyle df_{\textrm {wg}}=N-JK,}$

и ${\displaystyle N}$ есть объём полной выборки, ${\displaystyle J}$ — количество уровней (групп) фактора ${\displaystyle A}$, а ${\displaystyle K}$ — количество уровней (групп) фактора ${\displaystyle B}$.

В ходе анализа проверяются несколько нулевых гипотез:

• гипотеза о равенстве средних под влиянием фактора ${\displaystyle A}$: ${\displaystyle H_{0}{:}\ \mu _{1,*}=\mu _{2,*}=\dots =\mu _{j,*}}$;
• гипотеза о равенстве средних под влиянием фактора ${\displaystyle B}$: ${\displaystyle H_{0}{:}\ \mu _{*,1}=\mu _{*,2}=\dots =\mu _{*,k}}$;
• гипотеза об отсутствии взаимодействия факторов ${\displaystyle A}$ и ${\displaystyle B}$: ${\displaystyle H_{0}{:}\ (ab)_{j,k}=0}$ для всех ${\displaystyle j}$ и ${\displaystyle k.}$

Каждая гипотеза проверяется с помощью критерия Фишера:

${\displaystyle F_{df_{A},df_{\textrm {wg}}}={\frac {MS_{A}}{MS_{\textrm {wg}}}};}$

${\displaystyle F_{df_{B},df_{\textrm {wg}}}={\frac {MS_{B}}{MS_{\textrm {wg}}}};}$

${\displaystyle F_{df_{AB},df_{\textrm {wg}}}={\frac {MS_{AB}}{MS_{\textrm {wg}}}}.}$

При отвержении нулевой гипотезы о влиянии отдельного фактора принимается утверждение, что присутствует главный эффект фактора ${\displaystyle A}$ (${\displaystyle B,}$ и т. д.). При отвержении нулевой гипотезы о взаимодействии факторов принимается утверждение о том, что влияние фактора ${\displaystyle A}$ проявляется по-разному на разных уровнях фактора ${\displaystyle B}$. Обычно в таком случае результаты общего анализа признаются не имеющими силы, и влияние фактора ${\displaystyle A}$ проверяется отдельно на каждом уровне фактора ${\displaystyle B}$ с помощью однофакторного дисперсионного анализа или t-критерия.

• Шеффе Г. Дисперсионный анализ, пер. с англ. — М., 1963.
• Смирнов Н. В., Дунин-Барковский И. В. Курс теории вероятностей и математической статистики для технических приложений. — 2 изд.. — М., 1965.