Алгоритм метода наискорейшего спуска Коши

1.    Задаем начальное значение вектора переменных Р0.

2.    Находим направление антиградиента минимизируемой функции в заданной точке.

3.    Находим точку локального экстремума Р1 . в полученном направлении.

 

 

Данный алгоритм прекращает работу, когда  ÑФ(P1)=0.

     Среди методов, использующих градиент для выбора направления поиска, этот метод наиболее прост. Однако его существенным недостатком является его чрезвычайно медленная сходимость при плохой обусловленности матрицы вторых частных производных функции, т.е. если отношение наибольшего собственного значения матрицы к наименьшему в некоторой точке минимума велико. Траектория движения в окрестности такой точки при этом имеет зигзагообразный характер (см. рис 3), что требует иногда проведения сотен итераций для достижения минимума с приемлемой точностью. Поэтому в этом случае метод наискорейшего спуска практически не применяют.

  Графическая  иллюстрация метода наискорейшего спуска Коши.

 

Наиболее перспективными методами первого порядка являются методы, основанные на использовании сопряженных направлений. Как уже отмечалось, минимизация  квадратичной функции по сопряженным направлениям позволяет получить  её минимум не более, чем за  m шагов. Отличительной особенностью этих методов является использование информации о предыдущих направлениях поиска при определении очередного направления. Рассмотрим два наиболее распространенных метода, отличающихся способом определения сопряженных направлений

Ссылка на основную публикацию
Adblock detector