Нейронная сеть Хопфилда

Схема сети Хопфилда с тремя нейронами

Нейронная сеть Хопфилда устроена так, что её отклик на запомненные ${\displaystyle m}$ эталонных «образов» составляют сами эти образы, а если образ немного исказить и подать на вход, он будет восстановлен и в виде отклика будет получен оригинальный образ. Таким образом, сеть Хопфилда осуществляет коррекцию ошибок и помех.

Сеть Хопфилда однослойная и состоит из ${\displaystyle N}$ искусственных нейронов. Каждый нейрон системы может принимать на входе и на выходе одно из двух состояний (что аналогично выходу нейрона с пороговой функцией активации):

${\displaystyle y_{i}=\left\{{\begin{matrix}1,\\-1\end{matrix}}\right.}$

Из-за их биполярной природы нейронные сети Хопфилда иногда называют спинами.

Каждый нейрон связан со всеми остальными нейронами. Взаимодействие нейронов сети описывается выражением:

${\displaystyle E={\frac {1}{2}}\sum _{i,j=1}^{N}w_{ij}x_{i}x_{j}}$

где ${\displaystyle w_{ij}}$ — элемент матрицы взаимодействий ${\displaystyle W}$, которая состоит из весовых коэффициентов связей между нейронами. В процессе обучения формируется выходная матрица ${\displaystyle W}$, которая запоминает ${\displaystyle m}$ эталонных «образов» — N-мерных бинарных векторов: ${\displaystyle S_{m}=(s_{m1},s_{m2},...,s_{mN})}$, эти образы во время эксплуатации сети будут выражать отклик системы на входные сигналы, или иначе - окончательные значения выходов ${\displaystyle y_{i}}$ после серии итераций.

В сети Хопфилда матрица связей является симметричной (${\displaystyle w_{ij}=w_{ji}}$), а диагональные элементы матрицы полагаются равными нулю (${\displaystyle w_{ii}=0}$), что исключает эффект воздействия нейрона на самого себя и является необходимым для сети Хопфилда, но не достаточным условием устойчивости в процессе работы сети. Достаточным является асинхронный режим работы сети. Подобные свойства определяют тесную связь с реальными физическими веществами, называемыми спиновыми стёклами.

Матрица взаимодействий хранится на самих нейронах в виде весов при связях нейронов с другими нейронами.

Так например, если входной сигнал определяется 10 параметрами, то нейронная сеть Хопфилда формируется из одного уровня с 10 нейронами. Каждый нейрон связывается со всеми остальными 9-ю нейронами, таким образом в сети образуется 90 (10 x 9) связей. Для каждой связи определяется весовой коэффициент ${\displaystyle w_{ij}}$. Все веса связей и образуют матрицу взаимодействий, которая заполняется в процессе обучения.

Обучение сети заключается в том, что находятся веса матрицы взаимодействий так, чтобы запомнить ${\displaystyle m}$ векторов (эталонных образов, составляющих "память" системы).

Вычисление коэффициентов основано на следующем правиле: для всех запомненных образов ${\displaystyle X_{i}}$ матрица связи должна удовлетворять уравнению

${\displaystyle X_{i}=WX_{i}}$

поскольку именно при этом условии состояния сети ${\displaystyle X_{i}}$ будут устойчивы — попав в такое состояние, сеть в нём и останется.

Запоминаемые векторы должны иметь бинарный вид. Расчёт весовых коэффициентов проводится по следующей формуле:

${\displaystyle w_{ij}={\frac {1}{N}}\sum _{d=1..m}X_{id}X_{jd}}$

где ${\displaystyle N}$ — размерность векторов, ${\displaystyle m}$ — число запоминаемых выходных векторов, ${\displaystyle d}$ — номер запоминаемого выходного вектора, ${\displaystyle X_{ij}}$ — i-я компонента запоминаемого выходного j-го вектора.

Это выражение может стать более ясным, если заметить, что весовая матрица ${\displaystyle W}$ может быть найдена вычислением внешнего произведения каждого запоминаемого вектора с самим собой и суммированием матриц, полученных таким образом. Это может быть записано в виде

${\displaystyle W={\frac {1}{N}}\sum _{i}X_{i}X_{i}^{T}}$

где ${\displaystyle X_{i}}$ — i-й запоминаемый вектор-столбец.

Расчёт этих весовых коэффициентов и называется обучением сети, которое проводится только за одну эпоху.

Пороговая функция ${\displaystyle F}$, реализуемая нейроном сети Хопфилда.

Как только веса заданы, обученная сеть становится способной "распознавать" входные сигналы - то есть, определять, к какому из запомненных образцов они относятся.

Входной вектор проходит некоторое количество итераций до достижения сходимости (конвергенции). При этом должны распознаваться частично искажённые или неполные образцы. На вход сети сначала придают значения исходного вектора (поэтому обозначение на схеме сети входных синапсов в явном виде носит чисто условный характер). Затем сеть последовательно меняет свои состояния согласно формуле:

${\displaystyle X_{i+1}=F(WX_{i})}$

где ${\displaystyle F}$ — активационная функция, ${\displaystyle X_{i}}$ и ${\displaystyle X_{i+1}}$ — текущее и следующее состояния сети, до тех пор, пока состояния ${\displaystyle X_{i}}$ и ${\displaystyle X_{i+1}}$ не совпадут (или, в случае синхронного режима работы, не совпадут состояния ${\displaystyle X_{i-1}}$ с ${\displaystyle X_{i+1}}$ и одновременно ${\displaystyle X_{i-2}}$ с ${\displaystyle X_{i}}$). Именно этот процесс называется конвергенцией сети. Полученное устойчивое состояние ${\displaystyle X_{i}}$ (статический аттрактор), или, возможно, в синхронном случае пара {${\displaystyle X_{i},X_{i+1}}$} (динамический аттрактор), является ответом сети на данный входной образ.

На выходе сети может получаться также инверсный вектор (в котором значения -1 и 1 в запомненных образцах перевёрнуты). В случае, если система не нашла решения, на выходе системы могут получаться также тривиальные вектора, состоящие только из 1 или только из -1.

Так как сети с обратными связями имеют пути, передающие сигналы от выходов к входам, то отклик таких сетей является динамическим, то есть после приложения нового входа вычисляется выход и, передаваясь по сети обратной связи, модифицирует вход. Затем выход повторно вычисляется, и процесс повторяется снова и снова. Для устойчивой сети последовательные итерации приводят к все меньшим изменениям выхода, пока в конце концов выход не становится постоянным. Для некоторых сетей процесс никогда не заканчивается, такие сети называют неустойчивыми. Проблема устойчивости будет рассмотрена в следующем разделе, а здесь мы рассмотрим основной цикл работы сети.

Как только веса заданы, сеть может быть использована для получения запомненного выходного вектора по данному входному вектору, который может быть частично неправильным или неполным. Для этого выходам сети сначала придают значения этого начального вектора. Затем сеть последовательно меняет свои состояния согласно формуле:

${\displaystyle X(t+1)=F(WX(t))}$

где F — активационная функция, ${\displaystyle X(t)}$ и ${\displaystyle X(t+1)}$ — текущее и следующее состояния сети, до тех пор, пока состояния ${\displaystyle X(t)}$ и ${\displaystyle X(t+1)}$ не совпадут (или, в случае синхронного режима работы, не совпадут состояния ${\displaystyle X(t-1)}$ с ${\displaystyle X(t+1)}$ и одновременно ${\displaystyle X(t-2)}$ с ${\displaystyle X(t)}$). Именно этот процесс называется конвергенцией сети.

Это же можно описать так называемым локальным полем ${\displaystyle a_{i}}$ действующим на нейрон ${\displaystyle x_{i}}$ со стороны всех остальных нейронов сети: ${\displaystyle a_{i}(t)=\sum _{j=1,j\neq \;i}^{N}w_{ji}x_{j}(t-1)}$.

После расчёта локального поля нейрона ${\displaystyle a_{i}(t)}$ это значение используется для расчёта значения выхода через функцию активации, которая в данном случае является пороговой (с нулевым порогом). Соответственно, значение выхода нейрона і в текущий момент времени ${\displaystyle x_{i}(t)}$ рассчитывается по формуле:

${\displaystyle x_{i}(t)=sign\left(\sum _{j=1,j\neq \;i}^{N}w_{ji}x_{j}(t-1)\right)}$,

где ${\displaystyle w_{ij}}$ — весовой коэффициент между нейронами i и j, ${\displaystyle x_{j}(t-1)}$ — значения выходов нейрона j в предыдущий момент времени.

Во время работы сети Хопфилда признаком нахождения решения является момент, когда достигается аттрактор, статический (когда на каждом следующем шаге повторяется устойчивое состояние ${\displaystyle X(t)}$) или, возможно, динамический (когда до бесконечности чередуются два разных состояния {${\displaystyle X(t),X(t+1)}$}). Это конечное состояние сети и является её реакцией на данный образ.

Нормальным ответом является такое устойчивое состояние, которое совпадает с одним из запомненных при обучении векторов. Но при некоторых условиях (в частности, при слишком большом количестве запомненных образов) результатом работы может стать так называемый ложный аттрактор («химера»), состоящий из нескольких частей разных запомненных образов. В синхронном режиме сеть может к тому же прийти к динамическому аттрактору. Обе эти ситуации в общем случае являются нежелательными, поскольку не соответствуют ни одному запомненному вектору — а соответственно, не определяют класс, к которому сеть отнесла входной образ.

Для сети Хопфилда могут существовать две модификации, отличающиеся по времени передачи сигнала: асинхронный и синхронный режимы. Практически используется только асинхронный режим.

Если во время обучения сформировать матрицу весовых коэффициентов (межнейронных связей) на основании эталонных бинарных векторов, то нейронная сеть в процессе работы под действием описанных выше полей будет менять состояния нейронов до тех пор, пока не перейдёт к одному из устойчивых состояний.

Пусть имеется нейронная сеть размерностью ${\displaystyle N=100}$, в матрицу связей записан набор чёрно-белых картинок (−1 — чёрный цвет, +1 — белый), среди которых есть изображение собачки (рисунок справа). Если установить начальное состояние сети близким к этому вектору (рисунок слева, искажённый образ), то в ходе динамики нейронная сеть восстановит исходное изображение (эталон). В этом смысле можно говорить о том, что сеть Хопфилда решает задачу распознавания образов (хотя, строго говоря, полученное эталонное изображение ещё нужно превратить в номер класса, что в некоторых случаях может быть весьма вычислительно ёмкой задачей).

Искажённый образ	Эталон

Принципиальная разница между двумя режимами работы сети состоит в том, что в асинхронном случае сеть обязательно придёт к одному устойчивому состоянию. При синхронном же возможны ситуации с бесконечным циклическим переходом между двумя разными состояниями.

Определить, устойчиво или нет состояние нейрона, можно на основании так называемой искусственной энергии нейрона в данном поле ${\displaystyle E_{i}=-s_{i}h_{i}}$. Если знак выхода (+1 или −1) нейрона совпадает с направлением локального поля (${\displaystyle E_{i}<0}$), то его положение энергетически устойчиво и в следующий момент времени состояние нейрона остаётся неизменным. В противном случае (${\displaystyle E_{i}>0}$) положение нейрона неустойчиво и он меняет свой знак, переходя в состояние ${\displaystyle s_{i}(t+1)=-s_{i}(t)}$ с энергией ${\displaystyle E_{i}(t+1)<E_{i}(t)}$.

Устойчивость при асинхронном способе достигается потому, что выполняется условие на общую энергию сети ${\displaystyle E(t+1)\leq E(t)}$. В синхронном случае условие несколько изменяется, а именно: ${\displaystyle E(t+1)\leq E(t-1)}$. В ситуации, когда происходят бесконечные циклические переходы, энергия двух разных состояний соответственно равна ${\displaystyle E(t)}$ и ${\displaystyle E(t+1)}$. При этом состояния ${\displaystyle t+1}$ и ${\displaystyle t-1}$, а также ${\displaystyle t}$ и ${\displaystyle t+2}$ — совпадают. Если образуется такое состояние, то его называется динамическим аттрактором. Если же совпадают состояния ${\displaystyle t}$ и ${\displaystyle t+1}$, аттрактор называют статическим. В большинстве случаев динамические аттракторы являются нежелательными, так как не соответствуют какому-либо определённому ответу сети.

Сеть с обратной связью формирует ассоциативную память. Сеть Хопфилда можно отнести к автоассоциативной памяти, то есть такой, которая может завершить или исправить образ, но не может ассоциировать полученный образ с другим образом. Чтобы организовать устойчивую автоассоциативную память с помощью сети с обратными связями, веса нужно выбирать так, чтобы образовывать энергетические минимумы в нужных вершинах единичного гиперкуба.

Обработка визуальных образов (фильтрация и ассоциативная память) — не единственная область применения модели Хопфилда. Динамическая процедура, описанная выше, на каждом шаге понижает значение энергии нейронной сети. Это позволяет решать комбинаторные задачи оптимизации, если они могут быть сформулированы как задачи минимизации энергии. Классической проблемой такого типа является задача коммивояжёра.

К сожалению, у нейронной сети Хопфилда есть ряд недостатков.

1. Относительно небольшой объём памяти, величину которого можно оценить выражением:

${\displaystyle M\approx \;{\frac {N}{2\ln N}}}$

Попытка записи бо́льшего числа образов приводит к тому, что нейронная сеть перестаёт их распознавать.

2. Достижение устойчивого состояния не гарантирует правильный ответ сети. Это происходит из-за того, что сеть может сойтись к так называемым ложным аттракторам, иногда называемым «химерами» (как правило, химеры склеены из фрагментов различных образов).

• Перцептрон
• Рекуррентные нейронные сети
• Нейронная сеть Хэмминга

• J. J. Hopfield, «Neural networks and physical systems with emergent collective computational abilities», Proceedings of National Academy of Sciences, vol. 79 no. 8 pp. 2554–2558, April 1982. PNAS Reprint (Abstract) PNAS Reprint (PDF)

• J. J. Hopfield. Neural with graded response have collective computational properties like those of two-state neurons.. — 1984.

• J. J. Hopfield. Learning algorithms and probability distributions in feed-forward and feed-back networks. — 1987.

• Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика = Neural Computing. Theory and Practice. — М.: Мир, 1992. — 240 с. — ISBN 5-03-002115-9. Архивная копия от 30 июня 2009 на Wayback Machine

• McEliece R.J., Posner E.C., Rodemich E.R., Venkatesh S.S., The capacity of the Hopfield associative memory, IEEE Transactions on Information Theory, Volume 33, Issue 4 (July 1987), 461—482.
• B.V.Kryzhanovsky, L.B.Litinskii, A.L.Mikaelian. «Vector-neuron models of associative memory», Proc. of Int. Joint Conference on Neural Networks IJCNN-04, Budapest-2004, pp. 909–1004.
• B.V.Kryzhanovsky, B.M.Magomedov, A.L.Mikaelian. «A Domain model of neural network», Doklady Mathematics vol.71, pp. 310–314 (2005).

• Лекция по сети Хопфилда