Искусственный нейрон

Сигнал на выходе нейрона линейно связан со взвешенной суммой сигналов на его входе.

${\displaystyle f(x)=tx}$,

где ${\displaystyle t}$ — параметр функции. В искусственных нейронных сетях со слоистой структурой нейроны с передаточными функциями такого типа, как правило, составляют входной слой. Кроме простой линейной функции могут быть использованы её модификации. Например полулинейная функция (если её аргумент меньше нуля, то она равна нулю, а в остальных случаях ведет себя как линейная) или шаговая (линейная функция с насыщением), которую можно выразить формулой[10]:

${\displaystyle f(x)={\begin{cases}0&{\text{if }}x\leq 0\\1&{\text{if }}x\geq 1\\x&{\text{else}}\end{cases}}}$

При этом возможен сдвиг функции по обеим осям (как изображено на рисунке).

Недостатками шаговой и полулинейной активационных функций относительно линейной можно назвать то, что они не являются дифференцируемыми на всей числовой оси, а значит, не могут быть использованы при обучении по некоторым алгоритмам.

Пороговая функция активации

Другое название — функция Хевисайда. Представляет собой перепад. До тех пор, пока взвешенный сигнал на входе нейрона не достигает некоторого уровня ${\displaystyle T}$, сигнал на выходе равен нулю. Как только сигнал на входе нейрона превышает указанный уровень — выходной сигнал скачкообразно изменяется на единицу. Самый первый представитель слоистых искусственных нейронных сетей — перцептрон[11] состоял исключительно из нейронов такого типа[5]. Математическая запись этой функции выглядит так:

${\displaystyle f(x)={\begin{cases}1&{\text{if }}x\geq T\\0&{\text{else}}\end{cases}}}$

Здесь ${\displaystyle T=-w_{0}x_{0}}$ — сдвиг функции активации относительно горизонтальной оси, соответственно под ${\displaystyle x}$ следует понимать взвешенную сумму сигналов на входах нейрона без учёта этого слагаемого. Ввиду того, что данная функция не является дифференцируемой на всей оси абсцисс, её нельзя использовать в сетях, обучающихся по алгоритму обратного распространения ошибки и другим алгоритмам, требующим дифференцируемости передаточной функции.

Сигмоидальная функция активации

Один из самых часто используемых на данный момент типов передаточных функций. Введение функций сигмоидального типа было обусловлено ограниченностью нейронных сетей с пороговой функцией активации нейронов — при такой функции активации любой из выходов сети равен либо нулю, либо единице, что ограничивает использование сетей не в задачах классификации. Использование сигмоидальных функций позволило перейти от бинарных выходов нейрона к аналоговым[12]. Функции передачи такого типа, как правило, присущи нейронам, находящимся во внутренних слоях нейронной сети.

Математически логистическую функцию можно выразить так:

${\displaystyle \sigma (x)={\frac {1}{(1+\exp(-tx))}}}$

Здесь t — это параметр функции, определяющий её крутизну. Когда t стремится к бесконечности, функция вырождается в пороговую. При ${\displaystyle t=0}$ сигмоида вырождается в постоянную функцию со значением 0,5. Область значений данной функции находится в интервале (0,1). Важным достоинством этой функции является простота её производной:

${\displaystyle {\cfrac {d\sigma (x)}{dx}}=t\sigma (x)(1-\sigma (x))}$

То, что производная этой функции может быть выражена через её значение, облегчает использование этой функции при обучении сети по алгоритму обратного распространения[13]. Особенностью нейронов с такой передаточной характеристикой является то, что они усиливают сильные сигналы существенно меньше, чем слабые, поскольку области сильных сигналов соответствуют пологим участкам характеристики. Это позволяет предотвратить насыщение от больших сигналов[14].

Использование функции гиперболического тангенса

${\displaystyle \operatorname {th} (Ax)={\frac {e^{Ax}-e^{-Ax}}{e^{Ax}+e^{-Ax}}}}$

отличается от рассмотренной выше логистической кривой тем, что его область значений лежит в интервале (-1;1). Так как верно соотношение

${\displaystyle \operatorname {th} \left({\frac {t}{2}}x\right)=2\sigma (x)-1}$,

то оба графика различаются лишь масштабом осей. Производная гиперболического тангенса, разумеется, тоже выражается квадратичной функцией значения; свойство противостоять насыщению имеет место точно так же.

Использование функции модифицированного гиперболического тангенса

${\displaystyle \operatorname {mth} x={\frac {e^{x}-e^{-x}}{e^{ax}+e^{-bx}}},(a,b>1),}$

масштабированной по оси ординат до интервала [-1;1] позволяет получить семейство сигмоидальных функций.

Радиально-базисная функция передачи (RBF) принимает в качестве аргумента расстояние между входным вектором и некоторым наперед заданным центром активационной функции. Значение этой функции тем выше, чем ближе входной вектор к центру[15]. В качестве радиально-базисной можно, например, использовать функцию Гаусса:

${\displaystyle y=\exp \left(-{\frac {(S-R)^{2}}{2\sigma ^{2}}}\right)}$.

Здесь ${\displaystyle S=||\mathbf {X} -\mathbf {C} ||}$ — расстояние между центром ${\displaystyle \mathbf {C} }$ и вектором входных сигналов ${\displaystyle \mathbf {X} }$. Скалярный параметр ${\displaystyle \sigma }$ определяет скорость спадания функции при удалении вектора от центра и называется шириной окна, параметр ${\displaystyle R}$ определяет сдвиг активационной функции по оси абсцисс. Сети с нейронами, использующими такие функции, называются RBF-сетями. В качестве расстояния между векторами могут быть использованы различные метрики[16], обычно используется евклидово расстояние:

${\displaystyle S={\sqrt {\sum _{j=1}^{N}{(x_{j}-c_{j})^{2}}}}}$.

Здесь ${\displaystyle x_{j}}$ — ${\displaystyle j}$-я компонента вектора, поданного на вход нейрона, а ${\displaystyle c_{j}}$ — ${\displaystyle j}$-я компонента вектора, определяющего положение центра передаточной функции. Соответственно, сети с такими нейронами называются вероятностными и регрессионными[17].

В реальных сетях активационная функция этих нейронов может отражать распределение вероятности какой-либо случайной величины, либо обозначать какие-либо эвристические зависимости между величинами.

Перечисленные выше функции составляют лишь часть от множества передаточных функций, используемых на данный момент. В число других передаточных функций входят такие, как[18]:

• Экспонента ${\displaystyle f(x)=\exp(-Ax)}$;
• Тригонометрический синус;
• Модульная: ${\displaystyle f(x)=\left|x\right|}$;
• Квадратичная.