2.2.1. Методы первого порядка

2.2.1.1. Метод градиентного спуска

Алгоритм метода:   

здесь:

• - направление антиградиента функции;
• - шаг выбирается из условия убывания функции в точках последовательности: .

На каждой итерации шаг  выбирается произвольно, если при выбранном  функция в точке возросла, итерация повторяется с новым шагом , как правило, уменьшенным вдвое.

Геометрическая интерпретация метода: 

Основной критерий окончания метода:

 построение последовательности заканчивается в точке, для которой:

, где - заданное малое положительное число.

Дополнительные критерии окончания метода:

• при выполнении предельного числа итераций: .
• при однократном или двукратном одновременном выполнении двух условий: , где - малое положительное число.          

Начальными параметрами метода являются:  (дополнительно или ).

Пример 2.3.

Дано: .

Сделать 2 итерации методом градиентного спуска из начальной точки .

Решение:

Найдем градиент функции

Итерация 0 алгоритма (соответствует начальной точке)

;

;

;                       .

Итерация 1 алгоритма ()

.

Зададим шаг , тогда .

Вычислим значение функции в точке : , т.к. шаг выбран удачно.

;                    .

Итерация 2 алгоритма ()

.

Зададим шаг , тогда .

Вычислим значение функции в точке : , т.к.  шаг выбран удачно.

;                  .