Стохастическая аппроксимация

Стохастическая аппроксимациярекуррентный метод построения состоятельной последовательности оценок решений уравнений регрессии и экстремумов функций регрессии в задачах непараметрического оценивания. В биологии, химии, медицине используется для анализа результатов опытов. В теории автоматического управления применяется как средство решения задач распознавания, идентификации, обучения и адаптации[1]. Основоположниками метода стохастической аппроксимации являются Кифер, Вольфовиц[2], Робинс, Монро [3].

Поиск решения уравнения регрессии

Пусть каждому значению параметра соответствует измеряемая опытным путём случайная величина с функцией распределения , причем математическое ожидание величины при фиксированном параметре . Требуется найти решение уравнения регрессии . Предполагается, что решение уравнения регрессии единственно, а функции и неизвестны.

Процедура стохастической аппроксимации для получения оценок корня уравнения регрессии заключается в использовании полученной на основании опыта обучающей выборки измеряемых случайных величин .

Оценка искомого корня находится на основе предыдущей оценки с помощью обучающего значения измеренной случайной величины с помощью соотношения , где , - произвольное число[3].

Если последовательность коэффициентов удовлетворяет условиям , , , то при оценка стремится по вероятности к корню уравнения .

При некоторых дополнительных требованиях к функции регрессии оценки могут сходится в среднеквадратическом к решению уравнения регрессии [4][5].

Примеры

  • Твёрдость сплава меди с железом зависит от времени , в течение которого сплав подвергается воздействию высокой температуры. В этом случае измеряемой случайной величиной является твёрдость сплава , а задача состоит в определении времени , при котором сплав имеет заданную твёрдость [6].

Поиск экстремума функции регрессии

Оценка экстремального значения функции регрессии находится на основе предыдущей оценки и обучающих значений измеренной случайной величины и с помощью соотношения , где , - произвольное число, - последовательность положительных чисел, а последовательности и независимы и соответствуют значениям параметра и [2].

Если последовательности коэффициентов и удовлетворяют условиям , , при , , , , то при оценка стремится по вероятности к экстремальному значению функции регрессии.

При некоторых дополнительных требованиях к функции регрессии оценки могут сходится в среднеквадратическом к экстремуму функции регрессии[5].

Примеры

  • Урожайность участка земли зависит от количества удобрений . В этом случае измеряемой случайной величиной является урожайность , а задача состоит в определении количества удобрений , при котором участок земли имеет макcимальную урожайность[6].

Примечания

  1. Цыпкин Я.З. “Адаптация, обучение и самообучение в автоматических системах”, // Автоматика и телемеханика. — 1966. — № 1. — С. 23–61. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at10991
  2. Кiefer J., Wolfowitz J. Stochastic Estimation of the Maximum of a Regression Function // Ann. Math. Statistics. — 1952. — v. 23. — № 3.
  3. Robbins Н., Monro S. A stochastic approximation method // Annals of Math. Stat. — 1951. — v. 22. — № 1. — С. 400—407.
  4. Вазан, 1972, с. 18.
  5. Логинов Н. В. “Методы стохастической аппроксимации” // Автоматика и телемеханика. — 1966. — № 4. — С. 185–204. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at11080
  6. Вазан, 1972, с. 10.

Литература

  • Вазан М. Стохастическая аппроксимация. М.: Мир, 1972. — 295 с.
  • Цыпкин Я.З. Основы теории обучающихся систем. М.: Наука, 1970. — 251 с.
  • Цыпкин Я.З. Адаптация и обучение в автоматических системах. М.: Наука, 1968. — 399 с.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.