Исключение (нейронные сети)

Исключение или дропаут (от англ. dropout) — метод регуляризации искусственных нейронных сетей, предназначен для уменьшения переобучения сети за счет предотвращения сложных коадаптаций отдельных нейронов на тренировочных данных во время обучения.[1]

Термин «dropout» (выбивание, выбрасывание) характеризует исключение определённого процента (например 30%) случайных нейронов (находящихся как в скрытых, так и видимых слоях) на разных итерациях (эпохах) во время обучения нейронной сети. Это очень эффективный способ усреднения моделей внутри нейронной сети. В результате более обученные нейроны получают в сети больший вес.[2][3] Такой приём значительно увеличивает скорость обучения, качество обучения на тренировочных данных, а также повышает качество предсказаний модели на новых тестовых данных.[1]

См. также

Свёрточная нейронная сеть

Ссылка

Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov. Dropout: A Simple Way to Prevent Neural Networks from Overfitting // Journal of Machine Learning Research. — 2014. — Т. 15.

Примечания

Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya & Salakhutdinov, Ruslan R. (2012), Improving neural networks by preventing co-adaptation of feature detectors, arΧiv:1207.0580 [cs.NE]
Dropout: A Simple Way to Prevent Neural Networks from Overfitting (неопр.). Дата обращения: 26 июля 2015.
Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron & Bengio, Yoshua (2013-12-20), An empirical analysis of dropout in piecewise linear networks, arΧiv:1312.6197 [stat.ML]

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[MyUser_Arxiv.org_July_26_2015c-1] Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya & Salakhutdinov, Ruslan R. (2012), Improving neural networks by preventing co-adaptation of feature detectors, arΧiv:1207.0580 [cs.NE]

[MyUser_Jmlr.org_July_26_2015c-2] Dropout: A Simple Way to Prevent Neural Networks from Overfitting (неопр.). Дата обращения: 26 июля 2015.

[3] Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron & Bengio, Yoshua (2013-12-20), An empirical analysis of dropout in piecewise linear networks, arΧiv:1312.6197 [stat.ML]