Поиск наилучшей проекции

Джером Фридман и Джон Тьюки (1974) измеряли, насколько «интересно» многомерное распределение ${\displaystyle X}$, рассматривая индекс

${\displaystyle I_{FT,\;h}(a)=n^{-1}\sum _{j=1}^{n}{\hat {f}}_{h,\;a}^{2}(a^{T}X_{i})}$,

где ${\displaystyle {\hat {f}}_{h,\;a}}$ обозначает ядерную оценку плотности, полученную по спроектированным данным,

${\displaystyle {\hat {f}}_{h,\;a}(z)=n^{-1}\sum _{j=1}^{n}K_{h}(z-a^{T}X_{j})}$.

Если многомерная случайная величина ${\displaystyle X}$ имеет нормальное распределение, то каждая проекция ${\displaystyle z=a^{T}X}$ имеет стандартное нормальное распределение, пока ${\displaystyle \|a\|=1}$ и ${\displaystyle X}$ центрировано. Изменения в ${\displaystyle I_{FT,\;h}(a)}$ относительно ${\displaystyle a}$ указывают отклонения от нормальности.

Индекс проекции определяется как ${\displaystyle \int (f')^{2}}$, где ${\displaystyle f}$ — плотность распределения многомерной случайной величины ${\displaystyle X}$, которая является матрицей данных. Очень часто плотность нельзя посчитать явно или гораздо удобнее вместо плотности использовать её оценку.

Ходжес и Леман (1956) показали, что, если ${\displaystyle E(X)=0}$ и ${\displaystyle D(X)=1}$, то минимум ${\displaystyle \int (f')^{2}}$ достигается на плотности Епанечникова, которая имеет вид ${\displaystyle f(z)=\max {\{0,\;c(b^{2}-z^{2})\}}}$, где ${\displaystyle c={\frac {3}{20{\sqrt {5}}}}}$ и ${\displaystyle b={\sqrt {5}}}$. Это — параболическая функция плотности, которая равна нолю вне интервала ${\displaystyle (-{\sqrt {5}},\;{\sqrt {5}})}$. Таким образом, при использовании такого индекса наименее интересной будет являться плотность Епанечникова. Большое значение индекса указывает большое отклонение от параболической формы.

Альтернативный индекс Ходжеса — Лемана основан на максимизации энтропии, то есть ${\displaystyle \int (-f\log f)}$.

Если ${\displaystyle E(X)=0}$ и ${\displaystyle D(X)=1}$, то минимум индекса ${\displaystyle \int (f\log f)}$ достигается на стандартной нормальной плотности. Это свойство является достоинством индекса, по сравнению с предыдущим вариантом.

Действительно, интуитивно кажется, что нормальное распределение «менее интересно», чем распределение Епанечникова. Таким образом, используя индекс ${\displaystyle \int (f\log f)}$, мы измеряем отклонение распределения от нормального.

В качестве ещё одного индекса можно рассмотреть информацию Фишера, ${\displaystyle \int (f')^{2}/f}$.

Вычисляя индекс энтропии, мы встречаемся с большими вычислительными сложностями, при выполнении которых приходится затрачивать много времени, что, конечно же, не очень удобно.

Джонес (Jones) и Сибсон (Sibson) (1987) предложили рассмотреть отклонения от нормальной плотности как ${\displaystyle f(x)=\varphi (x)\{1+\varepsilon (x)\}}$, где функция ${\displaystyle \varepsilon }$ удовлетворяет условиям

${\displaystyle \int \varphi (u)\varepsilon (u)u^{-r}du=0}$, при ${\displaystyle r=0,\;1,\;2.}$

Чтобы упростить вычисление индекса Джонеса — Сибсона, удобно перейти к кумулянтам ${\displaystyle \kappa _{3}=\mu _{3}=E(X^{3})}$, ${\displaystyle \kappa _{4}=\mu _{4}=E(X^{4})-3}$.

Поскольку стандартная нормальная плотность удовлетворяет условию ${\displaystyle \kappa _{3}=\kappa _{4}=0}$, индекс должен, по крайней мере, включить информацию до уровня симметрических отклонений (${\displaystyle \kappa _{3}}$ или ${\displaystyle \kappa _{4}}$ — не ноль) от нормальности. Самые простые из таких индексов — положительная определённая квадратичная форма от ${\displaystyle \kappa _{3}}$ и ${\displaystyle \kappa _{4}}$. При этом должна присутствовать инвариантность при замене знака данных, начиная с ${\displaystyle a^{T}X}$ и ${\displaystyle -a^{T}X}$, мы должны получить тот же самый вид отклонения от нормальности. Заметим, что ${\displaystyle \kappa _{3}}$ — нечётно, то есть ${\displaystyle \kappa _{3}(a^{T}X)=-\kappa _{3}(-a^{T}X)}$. А ${\displaystyle \kappa _{4}}$ — чётно, то есть ${\displaystyle \kappa _{4}(a^{T}X)=\kappa _{4}(-a^{T}X)}$. Квадратичная форма от ${\displaystyle \kappa _{3}}$ и ${\displaystyle \kappa _{4}}$, измеряющая отклонение от нормальности, не включает смешанный коэффициент ${\displaystyle \kappa _{3}\kappa _{4}}$.

Следовательно, индекс, предложенный Джонсом и Сибсоном — это

${\displaystyle I_{JS}(a)=\{\kappa _{3}^{2}(a^{T}X)+\kappa _{4}^{2}(a^{T}X)/4\}/12}$.

Этот индекс фактически измеряет различие ${\displaystyle \int f\log f-\int \varphi \log \varphi }$.