Перцептрон с переменными S-A связями

Для того, чтобы для обучения всех слоев перцептрона можно было применять метод коррекции ошибки нужно определить ошибку не только для внешних R — элементов, но и для внутренних A — элементов. Трудность состоит в том, что если желаемая реакция ${\displaystyle R^{*}}$ задается из условий задачи, то желаемое состояние А-элемента остается неизвестным. Можно лишь утверждать, что желаемым состоянием А-элемента является состояние при котором его активность скорее способствует, чем препятствует обучению перцептрона заданной реакции[1]. Можно было бы анализировать систему глобально, но это означало бы, что система подкрепления знала бы решение заранее, то есть собственно обучения не происходило бы. Собственно Бонгард именно это и предлагал сделать, но такое решение не гарантирует сходимости и является более ресурсоёмким, чем итерационное обучение. Поэтому Розенблаттом было предложено правило локальной информации:

Для любого А-элемента ${\displaystyle a_{i}}$ значение допустимой ошибки ${\displaystyle E_{i}(t)}$ зависит только от информации, связанной с его активностью или поступающими на него сигналами, от веса его выходных связей и от распределения ошибки на его выходе в момент времени t.

Другими словами, ошибку А-элемента может определять только сам А-элемент и те элементы, с которыми он непосредственно связан.

Розенблатт доказал следующую теорему:

Даны трехслойный перцептрон с последовательными связями, простыми A и R элементами и переменными S-A связями и классификация C(W), для которой известно, что решение существует. Тогда может оказаться, что решение недостижимо при использовании детерминистического процесса коррекции, подчиняющегося правилу локальной информации.

Частным случаем такого процесса коррекции является метод обратного распространения ошибки.

Чтобы показать, что решение может быть достигнуто при недетерминистическом (стохастическом) методе, Розенблатт доказал следующую теорему:

Дан трехслойный перцептрон с последовательными связями, простыми А и R элементами, переменными S-A связями, ограниченными весами A-R связей и классификацией C(W), для которой решение существует. Тогда с вероятностью, равной единице, решение для C(W) может быть получено за конечное время при использовании метода коррекции с обратной передачей сигнала ошибки при условии, что каждый стимул из W обязательно предъявляется более одного раза за конечный отрезок времени и что все вероятности ${\displaystyle p_{1}}$, ${\displaystyle p_{2}}$ и ${\displaystyle p_{3}}$ больше 0 и меньше 1.

Таким образом, чтобы обучать более одного слоя в нейронной сети, и иметь 100 % сходимость нужно выполнить достаточно много условий. И такой алгоритм был предложен Розенблаттом под названием метод коррекции с обратной передачей сигнала ошибки, что не нужно путать с методом обратного распространения ошибки.

• Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М.: Мир, 1965. — 480 с.