Сглаживающий сплайн

Пусть ${\displaystyle (x_{i},Y_{i});x_{1}<x_{2}<\dots <x_{n},i\in \mathbb {Z} }$ последовательность наблюдений, порождённых выражением ${\displaystyle Y_{i}=\mu (x_{i})}$. Приближение сглаживающими сплайнами ${\displaystyle {\hat {\mu }}}$ функции ${\displaystyle \mu }$ определяется как функция (в классе дважды дифференцируемых функций), минимизирующая[1]

${\displaystyle \sum _{i=1}^{n}(Y_{i}-{\hat {\mu }}(x_{i}))^{2}+\lambda \int _{x_{1}}^{x_{n}}{\hat {\mu }}''(x)^{2}\,dx.}$

Замечания:

1. ${\displaystyle \lambda \geq 0}$ параметр сглаживания, контролирующий соотношение между точностью воспроизведения данных и «неровностью» аппроксимирующей функции.
2. интеграл вычисляется по всему диапазону ${\displaystyle x_{i}}$.
3. при ${\displaystyle \lambda \to 0}$ (нет сглаживания), сглаживающий сплайн превращается в интерполяционный сплайн.
4. при ${\displaystyle \lambda \to \infty }$ (бесконечное сглаживание), штраф за неровность становится преобладающим и аппроксимация превращается в линейную МНК аппроксимацию.
5. наиболее часто в современной статистической литературе используется штраф за неровность на основе второй производной, однако метод может быть легко адаптирован к использованию штрафов на основе других производных.
6. в ранней литературе, с равноудалёнными ${\displaystyle x_{i}}$, для вычисления штрафа вместо производной использовались конечные разности второго и третьего порядка.
7. если сумму квадратов отклонений сплайна от исходных данных (первый член функционала) заменить на логарифм функции правдоподобия, получим оценку максимального правдоподобия со штрафной функцией. В такой постановке обычный сглаживающий сплайн представляет собой специальный случай, когда правдоподобие рассчитывается исходя из нормального распределения погрешности.

Для удобства разделим нахождение выражений, описывающих сглаживающий сплайн, на два этапа

1. Для начала найдём значения ${\displaystyle {\hat {\mu }}(x_{i});i=1,\ldots ,n}$.
2. Из этих значений найдём ${\displaystyle {\hat {\mu }}(x)}$ для всех x.

Начнём со второго шага.

Дан вектор ${\displaystyle {\hat {m}}=({\hat {\mu }}(x_{1}),\ldots ,{\hat {\mu }}(x_{n}))^{T}}$ «подогнанных» значений, сумма квадратов в критерии сплайна — константа. Требуется только минимизировать ${\displaystyle \int {\hat {\mu }}''(x)^{2}\,dx}$, и минимизация — натуральный кубический сплайн, интерполирующий точки ${\displaystyle (x_{i},{\hat {\mu }}(x_{i}))}$. Данный интерполяционный сплайн это линейный оператор, и он может быть представлен в форме:

${\displaystyle {\hat {\mu }}(x)=\sum _{i=1}^{n}{\hat {\mu }}(x_{i})f_{i}(x)}$

где ${\displaystyle f_{i}(x)}$ набор базисных сплайн-функций. В результате штраф за негладкость имеет форму

${\displaystyle \int {\hat {\mu }}''(x)^{2}dx={\hat {m}}^{T}A{\hat {m}}.}$

где элементы A — ${\displaystyle \int f_{i}''(x)f_{j}''(x)dx}$. Базисные функции и матрица A зависят от конфигурации независимых переменных ${\displaystyle x_{i}}$, но не от ${\displaystyle Y_{i}}$ или ${\displaystyle {\hat {m}}}$.

Теперь, возвращаясь к первому шагу, взвешенная сумма квадратов может быть записана как

${\displaystyle \|Y-{\hat {m}}\|^{2}+\lambda {\hat {m}}^{T}A{\hat {m}},}$

где ${\displaystyle Y=(Y_{1},\ldots ,Y_{n})^{T}}$. минимизация по ${\displaystyle {\hat {m}}}$ даёт

${\displaystyle {\hat {m}}=(I+\lambda A)^{-1}Y.}$

Из приведённого ограничения на формулу из определения ${\displaystyle x_{1}<x_{2}<\dots <x_{n}}$ мы можем заключить, что алгоритм не работает для произвольного набора данных. Если планируется использование алгоритма для произвольного набора точек в многомерном пространстве необходим алгоритм, в котором нет таких ограничений. Возможное решение заключается во введении параметра таким образом, что входные данные могут быть представлены как одномерные функции, зависящие от данного параметра; затем можно применить сглаживание для каждой функции. В двумерном пространстве решение состоит в параметризации ${\displaystyle x}$ и ${\displaystyle y}$ как ${\displaystyle x(t)}$ and ${\displaystyle y(t)}$ где ${\displaystyle t_{1}<t_{2}<\dots <t_{n}}$. Подходящее решение для ${\displaystyle t}$ это накопленное расстояние ${\displaystyle t_{i+1}=t_{i}+{\sqrt {(x_{i+1}-x_{i})^{2}+(y_{i+1}-y_{i})^{2}}}}$ где ${\displaystyle t_{1}=0}$.[2][3]

Более детальный анализ параметризации выполнен E.T.Y Lee.[4]

Сглаживающие сплайны имеют отношение, но отличаются от:

• Регрессионных сплайнов. В этом методе данные апроксимируются набором базисных сплайн-функций с уменьшенным количеством узлов, как правило по МНК. Штрафы за негладкость не используются.
• Penalized Splines. Сочетают уменьшенное количество узлов регрессионных сплайнов с штрафом за негладкость сглаживающих сплайнов.[5]
• Метод упругой карты. Данный метод сочетает МНК-штрафы для ошибки аппроксимации со штрафами за кривизну и растяжение аппроксимирующего множества и использует крупный шаг дискретизации для оптимизации проблемы.

Исходный код для сглаживающих сплайнов может быть взят из примеров к книге Carl de Boor’s A Practical Guide to Splines. Примеры написаны на Фортране. Обновлённые исходные коды также доступны на официальном сайте Carl de Boor’s .

• Wahba, G. (1990). Spline Models for Observational Data. SIAM, Philadelphia.
• Green, P. J. and Silverman, B. W. (1994). Nonparametric Regression and Generalized Linear Models. CRC Press.
• De Boor, C. (2001). A Practical Guide to Splines (Revised Edition). Springer.
• Березовский, М. В. Сглаживающие изогеометрические и робастные сплайны: методы и алгоритмы. Диссертация.