Ядерная регрессия

Ядерная регрессия (англ. kernel regression) — непараметрический статистический метод, позволяющий оценить условное математическое ожидание случайной величины. Его смысл заключается в поиске нелинейного отношения между парой случайных величин X и Y.

В любой непараметрической регрессии условное матожидание величины $Y$ относительно величины $X$ можно записать так:

$\operatorname {E} (Y|X)=m(X)$

где $m$ — некая неизвестная функция.

Ядерная регрессия Надарая — Уотсона

Надарая и Уотсон одновременно (в 1964 году) предложили оценивать $m$ как локально взвешенное среднее, где веса определялись бы ядром[1][2][3].Оценка Надарая — Уотсона:

${\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}$

где $K$ — ядро с шириной окна $h$ . Знаменатель представляет собой весовой член с единичной суммой.

Получение

$\operatorname {E} (Y|X=x)=\int yf(y|x)dy=\int y{\frac {f(x,y)}{f(x)}}dy$

Находя ядерную оценку плотности для совместного распределения f(x,y) и распределения f(x) с ядром K,

${\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)$ ,
${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ,

получаем

$\operatorname {\hat {E}} (Y|X=x)=\int {\frac {y\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)}{\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}}dy,$

$\operatorname {\hat {E}} (Y|X=x)={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)\int y\,K_{h}\left(y-y_{i}\right)dy}{\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}},$

$\operatorname {\hat {E}} (Y|X=x)={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)y_{i}}{\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}},$

это и есть оценка Надарая — Уотсона.

Ядерная оценка Пристли — Чжао

${\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=1}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}$

Ядерная оценка Гассера — Мюллера

${\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)du\right]y_{i}$

где $s_{i}={\frac {x_{i-1}+x_{i}}{2}}$

В статистических пакетах

MATLAB: свободно распространяемый инструментарий для ядерных регрессий, оценок плотности и проч. доступны по ссылке (является приложением к книге[4]).
Stata: kernreg2
R: функция npreg в пакете np способна построить ядерную регрессию[5][6].
Python: пакет kernel_regression (расширение sklearn).
GNU Octave: математический программный пакет.

Примечания

Nadaraya, E. A. On Estimating Regression (англ.) // Theory of Probability and its Applications : journal. — 1964. — Vol. 9, no. 1. — P. 141—142. — doi:10.1137/1109020.
Watson, G. S. Smooth regression analysis (неопр.) // Sankhyā: The Indian Journal of Statistics, Series A. — 1964. — Т. 26, № 4. — С. 359—372. — .
Bierens, Herman J. The Nadaraya–Watson kernel regression function estimator // Topics in Advanced Econometrics (неопр.). — New York: Cambridge University Press, 1994. — С. 212—247. — ISBN 0-521-41900-X.
Horová, I.; Koláček, J.; Zelinka, J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing (англ.). — Singapore: World Scientific Publishing, 2012. — ISBN 978-981-4405-48-5.
np: Nonparametric kernel smoothing methods for mixed data types
Kloke, John; McKean, Joseph W. Nonparametric Statistical Methods Using R (англ.). — CRC Press, 2014. — P. 98—106. — ISBN 978-1-4398-7343-4.

Литература

Henderson, Daniel J.; Parmeter, Christopher F. Applied Nonparametric Econometrics (неопр.). — Cambridge University Press, 2015. — ISBN 978-1-107-01025-3.
Li, Qi; Racine, Jeffrey S. Nonparametric Econometrics: Theory and Practice (англ.). — Princeton University Press, 2007. — ISBN 0-691-12161-3.
Pagan, A.; Ullah, A. Nonparametric Econometrics (неопр.). — Cambridge University Press, 1999. — ISBN 0-521-35564-8.
Simonoff, Jeffrey S. Smoothing Methods in Statistics (неопр.). — Springer, 1996. — ISBN 0-387-94716-7.

Ссылки

Scale-adaptive kernel regression (with Matlab software).
Tutorial of Kernel regression using spreadsheet (with Microsoft Excel).
An online kernel regression demonstration Requires .NET 3.0 or later.
Kernel regression with automatic bandwidth selection (with Python)

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] Nadaraya, E. A. On Estimating Regression (англ.) // Theory of Probability and its Applications : journal. — 1964. — Vol. 9, no. 1. — P. 141—142. — doi:10.1137/1109020.

[2] Watson, G. S. Smooth regression analysis (неопр.) // Sankhyā: The Indian Journal of Statistics, Series A. — 1964. — Т. 26, № 4. — С. 359—372. — .

[3] Bierens, Herman J. The Nadaraya–Watson kernel regression function estimator // Topics in Advanced Econometrics (неопр.). — New York: Cambridge University Press, 1994. — С. 212—247. — ISBN 0-521-41900-X.

[HorKolZel-4] Horová, I.; Koláček, J.; Zelinka, J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing (англ.). — Singapore: World Scientific Publishing, 2012. — ISBN 978-981-4405-48-5.

[5] : Nonparametric kernel smoothing methods for mixed data types

[6] Kloke, John; McKean, Joseph W. Nonparametric Statistical Methods Using R (англ.). — CRC Press, 2014. — P. 98—106. — ISBN 978-1-4398-7343-4.