Нейронная сеть Элмана

Нейронная сеть Элмана — один из видов рекуррентной сети, которая так же как и сеть Джордана получается из многослойного перцептрона введением обратных связей, только связи идут не от выхода сети, а от выходов внутренних нейронов. Это позволяет учесть предысторию наблюдаемых процессов и накопить информацию для выработки правильной стратегии управления. Эти сети могут применяться в системах управления движущимися объектами, так как их главной особенностью является запоминание последовательностей.

Нейронная сеть RAAM

На основе сети Элмана строится нейронная сеть класса RAAM, которая по своей структуре повторяет элмановскую. RAAM (Рекурсивная авто-ассоциативная память) — это двойная сеть Элмана вида 2N-N-2N, которую используют для сжатия и шифрования информации. На вход сети подаётся битовый сигнал из 2N битов. Обычно сеть имеет размер 20-10-20, первые 10 бит называются «левыми», вторые 10 бит — «правыми». В самом начале на левую матрицу подаётся нулевой вектор бит (0000000000), а на правую — код символа или предложения (например, 0010000000="А"). То же самое подаётся на выходные матрицы. Методом обратного распространения ошибки сеть обучается. Затем 10 бит из скрытого слоя передаются на левую входную матрицу, а на правую поступает очередной символ. В процессе такого рекурсивного обучения информация сжимается и шифруется, что было применено на практике Тома Вёгтленом в 2002 году в работе «Neural Networks and Self-Reference».

См. также

Нейронная сеть Джордана

Литература

Elman, J.L. Finding structure in time. // Cognitive Science. — 1990. — С. 179-211.

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

Машинное обучение и data mining
Задачи	Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение
Обучение с учителем	Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей Бэггинг Бустинг Random forest Метод релевантных векторов
Кластерный анализ	Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift
Снижение размерности	Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE
Структурное прогнозирование	Графовая вероятностная модель Байесовская сеть Скрытая марковская модель CRF
Выявление аномалий	Метод k-ближайших соседей Локальный уровень выброса
Графовые вероятностные модели	Байесовская сеть Марковская сеть Скрытая марковская модель
Нейронные сети	Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации Сигмоида Softmax Радиально-базисная функция Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть Долгая краткосрочная память Управляемый рекуррентный блок Свёрточная нейронная сеть U-Net Автокодировщик
Обучение с подкреплением	Марковский процесс Уравнение Беллмана Жадный алгоритм Q-обучение SARSA Temporal difference (TD)
Теория	Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения
Журналы и конференции	NeurIPS ICML ML JMLR ArXiv:cs.LG