Нейронные сети,

Появление и дальнейшее развитие алгоритма обратного распространения представляет собой своеобразную «веху» в теории и практике нейронных сетей в том смысле, что этот алгоритм обеспечивает вычислительно эффективный метод обучения многослойного перцептрона. И хотя нельзя гарантировать, что алгоритм обратного распространения может обеспечить решение всех значимых проблем статистической классификации и распознавания, можно с полной определенностью утверждать, что именно появление этого алгоритма окончательно устранило пессимизм в отношении нейронных сетей, который возник и сохранялся в течение почти 20 лет, начиная с 1969 года, а именно, после известной монографии Минского и Пайперта (MinskyandPapert) (Минский М., Пайперт С. Перцептроны.  М.: Мир, 1971.  261 с.), содержавшей, в частности, целую серию изящных математических примеров, демонстрировавших ряд фундаментальных ограничений, присущих однослойным перцептронам.

Нейронные сети, упоминавшиеся выше и  составлявшие предмет исследований до середины восьмидесятых годов, не имели обратных связей, т.е. связей, идущих от выходов сетей к их входам, что гарантирует безусловную устойчивость нейронной сети. Данные сети не могут войти в режим, при котором их выходные значения беспрерывно блуждают от состояния к состоянию. Такое поведение, тем не менее, широко распространено в  нейронных сетях с обратными связями.[1] Проблема устойчивости рекуррентных нейронных сетей длительное время являлась предметом интенсивного исследования и была решена Коэном и Гроссбергом



[1] Неустойчивые сети с обратными связями обладают интересными свойствами и являются аналогами и моделями хаотических систем [14].

Ссылка на основную публикацию
Adblock detector