Обучение на примерах

Вводится функция потерь ${\displaystyle {\mathcal {L}}(y,y')}$, характеризующая величину отклонения ответа ${\displaystyle y=a(x)}$ от правильного ответа ${\displaystyle y'=y^{*}(x)}$ на произвольном объекте ${\displaystyle x\in X}$.

Типичный выбор функции потерь:

• В задачах классификации ${\displaystyle {\mathcal {L}}(y,y')=[y'\neq y]}$;
• В задачах регрессии ${\displaystyle {\mathcal {L}}(y,y')=(y'-y)^{2}}$.

Вводится функционал качества, характеризующий среднюю ошибку (эмпирический риск) алгоритма ${\displaystyle a}$ на произвольной выборке ${\displaystyle X^{m}}$

${\displaystyle Q(a,X^{m})={\frac {1}{m}}\sum _{i=1}^{m}{\mathcal {L}}(a(x_{i}),y^{*}(x_{i})).}$

Метод минимизации эмпирического риска — один из наиболее распространённых подходов к обучению алгоритмов по прецедентам. Он заключается в том, чтобы в заданной модели алгоритмов ${\displaystyle A=\{a\colon X\to Y\}}$ найти алгоритм, минимизирующий среднюю ошибку на обучающей выборке:

${\displaystyle a=\mathrm {arg} \min _{a\in A}Q(a,X^{m}).}$

Тем самым задача обучения сводится к оптимизации и может быть решена численными методами оптимизации.

Малое значение функционала качества на обучающей выборке не гарантирует, что построенный алгоритм будет хорошо восстанавливать целевую зависимость на всём пространстве ${\displaystyle X}$. Существует опасность переподгонки или переобучения, когда делается попытка описать конкретные данные точнее, чем в принципе позволяет уровень шума в данных и погрешность самой модели.

Легко указать пример алгоритма, который минимизирует эмпирический риск до нуля, но при этом не обладает способностью к обобщению. Получив обучающую выборку ${\displaystyle X^{m}}$, он запоминает её, и потом сравнивает предъявляемый объект ${\displaystyle x}$ с обучающими объектами ${\displaystyle x_{i}}$ из ${\displaystyle X^{m}}$. В случае совпадения ${\displaystyle x=x_{i}}$ алгоритм выдаёт правильный ответ ${\displaystyle y_{i}}$. Иначе выдаётся произвольный ответ. Эмпирический риск принимает наименьшее возможное значение, равное нулю. Однако этот алгоритм не способен восстановить зависимость вне объектов обучения. Этот пример убедительно показывает, что для успешного обучения необходимо не только запоминать, но и обобщать.

Практически в каждом методе предпринимаются специальные усилия, чтобы избежать переобучения. Границы применимости метода минимизации эмпирического риска и проблему переобучения изучает статистическая теория обучения.

Признаком называется отображение ${\displaystyle f\colon X\to D_{f}}$, где ${\displaystyle D_{f}}$ — множество допустимых значений признака. Если заданы признаки ${\displaystyle f_{1},\dots ,f_{n}}$, то вектор ${\displaystyle {\mathbf {x} }=(f_{1}(x),\dots ,f_{n}(x))}$ называется признаковым описанием объекта ${\displaystyle x\in X}$. Признаковые описания допустимо отождествлять с самими объектами. При этом множество ${\displaystyle X=D_{f_{1}}\times \dots \times D_{f_{n}}}$ называют признаковым пространством.

В зависимости от множества ${\displaystyle D_{f}}$ признаки делятся на следующие типы:

• бинарный признак: ${\displaystyle D_{f}=\{0,1\}}$;
• номинальный признак: ${\displaystyle D_{f}}$ — конечное множество;
• порядковый признак: ${\displaystyle D_{f}}$ — конечное упорядоченное множество;
• количественный признак: ${\displaystyle D_{f}}$ — множество действительных чисел.

Часто встречаются прикладные задачи с разнотипными признаками, для их решения подходят далеко не все методы.

Исходная информация представляется в виде признаковых описаний. Значения некоторых признаков для некоторых объектов могут отсутствовать. Такие случаи часто возникают на практике. Например, экспериментатор может не записать результат наблюдения; респондент может отказаться отвечать на вопрос анкеты; пациент может не пройти данный вид обследования; и т.д. Однако многие методы анализа данных требуют, чтобы входная матрица признаковых описаний была заполнена полностью. Для заполнения отсутствующих значений часто применяют следующий подход. Считая данный признак целевым, строят алгоритм, прогнозирующий его значение в зависимости от других признаков. Пропущенные значения заполняют прогнозами. Эта операция проделывается со всеми признаками, имеющими пропущенные значения.

Если признак количественный, применяются методы восстановления регрессии, если признак качественный (номинальный), применяются методы классификации.