Теорема Цыбенко

Пусть ${\displaystyle \varphi }$ любая непрерывная сигмоидная функция, например, ${\displaystyle \varphi (\xi )=1/(1+e^{-\xi })}$. Тогда, если дана любая непрерывная функция действительных переменных ${\displaystyle f}$ на ${\displaystyle [0,1]^{n}}$ (или любое другое компактное подмножество ${\displaystyle \mathbb {R} ^{n}}$) и ${\displaystyle \varepsilon >0}$, то существуют векторы ${\displaystyle \mathbf {w_{1}} ,\mathbf {w_{2}} ,\dots ,\mathbf {w_{N}} ,\mathbf {\alpha } }$ и ${\displaystyle \mathbf {\theta } }$ и параметризованная функция ${\displaystyle G(\mathbf {\cdot } ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } ):[0,1]^{n}\to R}$ такая, что для всех ${\displaystyle \mathbf {x} \in [0,1]^{n}}$ выполняется

${\displaystyle {\big |}G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )-f(\mathbf {x} ){\big |}<\varepsilon ,}$

где

${\displaystyle G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )=\sum _{i=1}^{N}\alpha _{i}\varphi (\mathbf {w} _{i}^{T}\mathbf {x} +\theta _{i}),}$

и ${\displaystyle \mathbf {w} _{i}\in \mathbb {R} ^{n},}$ ${\displaystyle \alpha _{i},\theta _{i}\in \mathbb {R} ,}$ ${\displaystyle \mathbf {w} =(\mathbf {w} _{1},\mathbf {w} _{2},\dots ,\mathbf {w} _{N}),}$ ${\displaystyle \mathbf {\alpha } =(\alpha _{1},\alpha _{2},\dots ,\alpha _{N}),}$ и ${\displaystyle \mathbf {\theta } =(\theta _{1},\theta _{2},\dots ,\theta _{N}).}$

• Cybenko, G. V. Approximation by Superpositions of a Sigmoidal function // Mathematics of Control Signals and Systems. — 1989. — Т. 2, № 4. — С. 303—314.
• Hassoun, M. Fundamentals of Artificial Neural Networks. — MIT Press, 1995. — С. 20, 48.

• Теорема Колмогорова — Арнольда
• Теорема сходимости перцептрона
• Перцептрон
• Победитель получает всё