Метод релевантных векторов
Метод релевантных векторов (МРВ, англ. Relevance Vector Machine, RVM) — это техника машинного обучения, которая использует байесовский вывод для получения решений на принципе экономности для регрессии и вероятностной классификации[1]. МРВ имеет тот же функциональный вид, что и метод опорных векторов, но обеспечивает вероятностную классификацию.
Описание
Метод, фактически, эквивалентен модели гауссовского процесса с функцией ковариации:
- ,
где является ядерной функцией (обычно, гауссианом), являются априорными дисперсиями вектора весов , а являются входными векторами тренировочного набора[2].
По сравнению с методами опорных векторов байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе последовательной минимальной оптимизации, используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).
Метод релевантных векторов запатентован в США компанией Microsoft[3].
См. также
- Ядерный метод
- Масштабирование Платта: превращает SVM в вероятностную модель
Примечания
- Tipping, 2001, с. 211-244.
- Candela, 2004.
- Michael E. Tipping, "Relevance vector machine", US 6633857
Литература
- Michael E. Tipping. Sparse Bayesian Learning and the Relevance Vector Machine // Journal of Machine Learning Research. — 2001. — Т. 1.
- Joaquin Quiñonero Candela. Sparse Probabilistic Linear Models and the RVM // Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines. — Technical University of Denmark, 2004. — (Ph.D.).
Программное обеспечение
- dlib Библиотека на языке C++
- Библиотека ядерных машин
- rvmbinary: пакет на языке R для двоичной классификации
- scikit-rvm
- fast-scikit-rvm, Обучающий курс по методу релевантных векторов