Регрессионный анализ

1. Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными)
2. Предсказание значения зависимой переменной с помощью независимой(-ых)
3. Определение вклада отдельных независимых переменных в вариацию зависимой

Строго регрессионную зависимость можно определить следующим образом. Пусть ${\displaystyle Y,X_{1},X_{2},\ldots ,X_{p}}$ — случайные величины с заданным совместным распределением вероятностей. Если для каждого набора значений ${\displaystyle X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{p}=x_{p}}$ определено условное математическое ожидание

${\displaystyle y(x_{1},x_{2},\ldots ,x_{p})=\mathbb {E} (Y\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{p}=x_{p})}$ (уравнение регрессии в общем виде),

то функция ${\displaystyle y(x_{1},x_{2},\ldots ,x_{p})}$ называется регрессией величины ${\displaystyle Y}$ по величинам ${\displaystyle X_{1},X_{2},\ldots ,X_{p}}$, а её график — линией регрессии ${\displaystyle Y}$ по ${\displaystyle X_{1},X_{2},\ldots ,X_{p}}$, или уравнением регрессии.

Зависимость ${\displaystyle Y}$ от ${\displaystyle X_{1},X_{2},\ldots ,X_{p}}$ проявляется в изменении средних значений ${\displaystyle Y}$ при изменении ${\displaystyle X_{1},X_{2},\ldots ,X_{p}}$. Хотя при каждом фиксированном наборе значений ${\displaystyle X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{p}=x_{p}}$ величина ${\displaystyle Y}$ остаётся случайной величиной с определённым распределением.

Для выяснения вопроса, насколько точно регрессионный анализ оценивает изменение ${\displaystyle Y}$ при изменении ${\displaystyle X_{1},X_{2},...,X_{p}}$, используется средняя величина дисперсии ${\displaystyle Y}$ при разных наборах значений ${\displaystyle X_{1},X_{2},...,X_{p}}$ (фактически речь идёт о мере рассеяния зависимой переменной вокруг линии регрессии).

В матричной форме уравнение регрессии (УР) записывается в виде: ${\displaystyle Y=BX+U}$, где ${\displaystyle U}$ — матрица ошибок. При обратимой матрице X◤X получается вектор-столбец коэффициентов B с учётом U◤U=min(B). В частном случае для Х=(±1) матрица X◤X является рототабельной, и УР может быть использовано при анализе временны́х рядов и обработке технических данных.

На практике линия регрессии чаще всего ищется в виде линейной функции ${\displaystyle Y=b_{0}+b_{1}X_{1}+b_{2}X_{2}+\ldots +b_{N}X_{N}}$ (линейная регрессия), наилучшим образом приближающей искомую кривую. Делается это с помощью метода наименьших квадратов, когда минимизируется сумма квадратов отклонений реально наблюдаемых ${\displaystyle {Y}}$ от их оценок ${\displaystyle {\hat {Y}}}$ (имеются в виду оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную зависимость):

${\displaystyle \sum _{k=1}^{M}(Y_{k}-{\hat {Y_{k}}})^{2}\to \min }$

(${\displaystyle M}$ — объём выборки). Этот подход основан на том известном факте, что фигурирующая в приведённом выражении сумма принимает минимальное значение именно для того случая, когда ${\displaystyle Y=y(x_{1},x_{2},...x_{N})}$.

Для решения задачи регрессионного анализа методом наименьших квадратов вводится понятие функции невязки:

${\displaystyle \sigma ({\bar {b}})={\frac {1}{2}}\sum _{k=1}^{M}{(Y_{k}-{\hat {Y}}_{k})^{2}}}$

Условие минимума функции невязки:

${\displaystyle \left\{{\begin{matrix}{\frac {\partial \sigma ({\bar {b}})}{\partial b_{i}}}=0\\i=0...N\end{matrix}}\right.\Leftrightarrow {\begin{cases}\sum \limits _{i=1}^{M}{y_{i}}=\sum \limits _{i=1}^{M}{\sum \limits _{j=1}^{N}{b_{j}x_{i,j}}}+b_{0}M\\\sum \limits _{i=1}^{M}{y_{i}x_{i,k}}=\sum \limits _{i=1}^{M}{\sum \limits _{j=1}^{N}{b_{j}x_{i,j}x_{i,k}}}+b_{0}\sum \limits _{i=1}^{M}{x_{i,k}}\\k=1,\ldots ,N\end{cases}}}$

Полученная система является системой ${\displaystyle N+1}$ линейных уравнений с ${\displaystyle N+1}$ неизвестными ${\displaystyle b_{0},\ldots ,b_{N}}$.

Если представить свободные члены левой части уравнений матрицей

${\displaystyle B=\left({\begin{matrix}\sum \limits _{i=1}^{M}{y_{i}}\\\sum \limits _{i=1}^{M}{y_{i}x_{i,1}}\\\vdots \\\sum \limits _{i=1}^{M}{y_{i}x_{i,N}}\end{matrix}}\right),}$

а коэффициенты при неизвестных в правой части — матрицей

${\displaystyle A=\left({\begin{matrix}M&\sum \limits _{i=1}^{M}{x_{i,1}}&\sum \limits _{i=1}^{M}{x_{i,2}}&...&\sum \limits _{i=1}^{M}{x_{i,N}}\\\sum \limits _{i=1}^{M}{x_{i,1}}&\sum \limits _{i=1}^{M}{x_{i,1}x_{i,1}}&\sum \limits _{i=1}^{M}{x_{i,2}x_{i,1}}&...&\sum \limits _{i=1}^{M}{x_{i,N}x_{i,1}}\\\sum \limits _{i=1}^{M}{x_{i,2}}&\sum \limits _{i=1}^{M}{x_{i,1}x_{i,2}}&\sum \limits _{i=1}^{M}{x_{i,2}x_{i,2}}&...&\sum \limits _{i=1}^{M}{x_{i,N}x_{i,2}}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum \limits _{i=1}^{M}{x_{i,N}}&\sum \limits _{i=1}^{M}{x_{i,1}x_{i,N}}&\sum \limits _{i=1}^{M}{x_{i,2}x_{i,N}}&...&\sum \limits _{i=1}^{M}{x_{i,N}x_{i,N}}\end{matrix}}\right),}$

то получаем матричное уравнение: ${\displaystyle A\times X=B}$, которое легко решается методом Гаусса. Полученная матрица будет матрицей, содержащей коэффициенты уравнения линии регрессии:

${\displaystyle X=\left({\begin{matrix}b_{0}\\b_{1}\\\vdots \\b_{N}\end{matrix}}\right)}$

Для получения наилучших оценок необходимо выполнение предпосылок МНК (условий Гаусса — Маркова). В англоязычной литературе такие оценки называются BLUE (Best Linear Unbiased Estimators — «наилучшие линейные несмещённые оценки»). Большинство исследуемых зависимостей может быть представлено с помощью МНК нелинейными математическими функциями.

Параметры ${\displaystyle b_{i}}$ являются частными коэффициентами корреляции; ${\displaystyle (b_{i})^{2}}$ интерпретируется как доля дисперсии Y, объяснённая ${\displaystyle X_{i}}$, при закреплении влияния остальных предикторов, то есть измеряет индивидуальный вклад ${\displaystyle X_{i}}$ в объяснение Y. В случае коррелирующих предикторов возникает проблема неопределённости в оценках, которые становятся зависимыми от порядка включения предикторов в модель. В таких случаях необходимо применение методов анализа корреляционного и пошагового регрессионного анализа.

Говоря о нелинейных моделях регрессионного анализа, важно обращать внимание на то, идёт ли речь о нелинейности по независимым переменным (с формальной точки зрения легко сводящейся к линейной регрессии), или о нелинейности по оцениваемым параметрам (вызывающей серьёзные вычислительные трудности). При нелинейности первого вида с содержательной точки зрения важно выделять появление в модели членов вида ${\displaystyle X_{1}X_{2}}$, ${\displaystyle X_{1}X_{2}X_{3}}$, свидетельствующее о наличии взаимодействий между признаками ${\displaystyle X_{1}}$, ${\displaystyle X_{2}}$ и т. д. (см. Мультиколлинеарность).

• Корреляция
• Мультиколлинеарность
• Автокорреляция
• Перекрёстная проверка
• Линейная регрессия на корреляции

• Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Множественная регрессия = Applied Regression Analysis. — 3-е изд. — М.: «Диалектика», 2007. — 912 с. — ISBN 0-471-17082-8.
• Фёрстер Э., Рёнц Б. Методы корреляционного и регрессионного анализа = Methoden der Korrelation - und Regressiolynsanalyse. — М.: Финансы и статистика, 1981. — 302 с.
• Захаров С. И., Холмская А. Г. Повышение эффективности обработки сигналов вибрации и шума при испытаниях механизмов // Вестник машиностроения : журнал. — М.: Машиностроение, 2001. — № 10. — С. 31—32. — ISSN 0042-4633.
• Радченко С. Г. Устойчивые методы оценивания статистических моделей. — К.: ПП «Санспарель», 2005. — 504 с. — ISBN 966-96574-0-7, УДК: 519.237.5:515.126.2, ББК 22.172+22.152.
• Радченко С. Г. Методология регрессионного анализа. — К.: «Корнийчук», 2011. — 376 с. — ISBN 978-966-7599-72-0.