Статистическая теория обучения

Целью обучения является понимание и предвидение. Обучение распадается на несколько категорий, включая обучение с учителем, обучение без учителя, онлайновое обучение и обучение с подкреплением. С точки зрения статистической теории обучения обучение с учителем является наиболее понятным[3]. Обучение с учителем вовлекает обучение с помощью тренировочного набора данных. Любой момент тренировки является парой вход/выход, где входное значение отображается в выходное. Задача обучения состоит в реконструкции функции, которая отображает входные значения в выходные так, что функция может быть использована для предсказания вывода при будущих вводах.

В зависимости от типа вывода, задачи обучения с учителем либо являются задачами регрессии, либо задачами классификации. Если вывод может принимать непрерывную область значений, это задача регрессии. Используя закон Ома в качестве примера, регрессия могла бы брать напряжение в качестве входа и выдавать ток как выход. Регрессия могла бы найти связь напряжения и тока как ${\displaystyle {\frac {1}{R}}}$, так что

${\displaystyle I={\frac {1}{R}}V}$

Задачи классификации — это те, для которых выводом будет элемент из набора меток. Классификация очень обычна для приложений обучения машин. В системе распознавания лиц, например, изображение лица будет входом, а выходом может быть фамилия человека. Вход может быть представлен как большой многомерный вектор, элементы которого представляют пиксели в изображении.

После обучения функция, основанная на тренировочном наборе данных, это функция проверяется на тестовом наборе данных, которые не появляются в тренировочном наборе.

Пусть ${\displaystyle X}$ будет векторным пространством всех возможных входных данных, а ${\displaystyle Y}$ — векторным пространством всех возможных выходов. Статистическая теория обучения предполагает, что имеется некоторое неизвестное распределение вероятности над произведением пространств ${\displaystyle Z=X\times Y}$, то есть существует некоторая неизвестная ${\displaystyle p(z)=p({\vec {x}},y)}$. Тренировочное множество состоит из ${\displaystyle n}$ экземпляров этого распределения вероятности и обозначается

${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}=\{{\vec {z}}_{1},\dots ,{\vec {z}}_{n}\}}$

Каждый ${\displaystyle {\vec {x}}_{i}}$ является входным вектором из тренировочных данных, а ${\displaystyle y_{i}}$ является выходом, соответствующим этому входному вектору.

В такой формализации задача вывода состоит в нахождении функции ${\displaystyle f:X\to Y}$, такой что ${\displaystyle f({\vec {x}})\sim y}$. Пусть ${\displaystyle {\mathcal {H}}}$ — пространство функций ${\displaystyle f:X\to Y}$, которое называется пространством гипотез. Пространство гипотез — это пространство, которое алгоритм будет просматривать. Пусть ${\displaystyle V(f({\vec {x}}),y)}$ будет функцией потерь, метрикой разницы между предсказанным значением ${\displaystyle f({\vec {x}})}$ и истинным значением ${\displaystyle y}$. Ожидаемый риск определяется как

${\displaystyle I[f]=\displaystyle \int _{X\times Y}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy}$

Целевая функция, лучшая функция ${\displaystyle f}$, которая может быть выбрана, это функция, удовлетворяющая условию

${\displaystyle f=\inf _{h\in {\mathcal {H}}}I[h]}$

Поскольку распределение вероятности ${\displaystyle p({\vec {x}},y)}$ неизвестно, должны быть использованы косвенные показатели ожидаемого риска. Эти показатели основываются на тренировочном множестве, выборке из этого неизвестного распределения вероятности. Такой показатель называется эмпирическим риском:${\displaystyle I_{S}[f]={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})}$ Алгоритм обучения, который выбирает функцию ${\displaystyle f_{S}}$, минимизирующую эмпирический риск, называется минимизацией эмпирического риска.

Выбор функции потерь — это определение определяющего фактора для функции ${\displaystyle f_{S}}$, которая будет выбрана обучающим алгоритмом. Функция потерь влияет также на скорость сходимости алгоритма. Важно, чтобы функции потерь была выпуклой [4].

Используются разные функции потерь в зависимости от того, является задача регрессией или классификацией.

Классификация

Основная статья: Задача классификации

В некотором смысле 0-1 индикаторная функция является наиболее естественной функцией потерь для задач классификации. Функция принимает значение 0, если предсказанный результат совпадает с верным значением и значение 1, если предсказанный результат не совпадает с верным значением. Для двоичной классификации ${\displaystyle Y=\{-1,1\}}$ это будет:

${\displaystyle V(f({\vec {x}}),y)=\theta (-yf({\vec {x}}))}$

где ${\displaystyle \theta }$ — функция Хевисайда.

Рисунок показывает пример переобучения при обучении машин. Красные точки представляют тренировочные данные. Зелёная линия представляет истинную функциональную зависимость, в то время как синяя линия показывает функцию — результат обучения, ставшую жертвой переобучения.

В задачах обучения машин главной проблемой становится переобучение. Поскольку обучение является задачей предсказания, целью является не поиск функции, которая наиболее близко подходит для (предварительно просмотренных) данных, а поиск функции, которая будет наиболее точно предсказывать выход из будущих входных данных. Минимизация эмпирического риска попадает в этот риск переобучения — нахождение функции, которая соответствует в точности данным, но не в состоянии предсказать будущее.

Переобучение является симптомом нестабильных решений — малые изменения в тренировочном наборе могут вызвать большие вариации в функции обучения. Можно показать, что стабильность решения может быть гарантирована[5][6]. Регуляризация может решить проблему переобучения и обеспечить стабильность.

Регуляризация может быть осуществлена путём ограничения пространства гипотез ${\displaystyle {\mathcal {H}}}$. Можно ограничить, например, ${\displaystyle {\mathcal {H}}}$ линейными функциями — это можно рассматривать как ограничение до стандартной задачи линейной регрессии. ${\displaystyle {\mathcal {H}}}$ можно ограничить до многочленов степени ${\displaystyle p}$, экспонент или ограниченных функций на L1. Ограничение на пространстве гипотез исключает переобучение ограничением вида потенциальных функций, что не даёт выбирать функции, дающие эмпирический риск произвольно близким нулю.

Одним из примеров регуляризации является регуляризация Тихонова. Она состоит в минимизации

${\displaystyle {\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i},y_{i}))+\gamma \|f\|_{\mathcal {H}}^{2}}$,

где ${\displaystyle \gamma }$ фиксированный положительный параметр. Метод регуляризации Тихонова обеспечивает существование, единственность и стабильность решения[7].