2.2. Прямые методы поиска безусловного экстремума

Все прямые методы имеют один и тот же алгоритм: , где

·      - текущая точка последовательности, причем – задается из физического содержания задачи или произвольно;

·       - последующая точка последовательности;

·      - приемлемое направление перехода из точки в точку – направление спуска. Приемлемым при решении задачи поиска минимума функции будет только то направление, для которого , что обеспечивается выполнением условия ;

·      - шаг (число >0).

Процесс преобразования точки  в точку  называют итерацией, а сам процесс построения последовательности точек по определенному правилу, оканчивающийся согласно выполнению критерия окончания – итерационным.

Компьютерная реализация прямых методов подразумевает два режима функционирования:

·      автономный, при котором алгоритм выполняется до выполнения критерия окончания счета без участия пользователя, необходимая корректировка параметров метода при этом осуществляется автоматически на основании, заложенных в программу правил;

·      интерактивный, при котором на каждой итерации пользователь имеет возможность принимать решение об изменении параметров алгоритма.

Все прямые методы отличаются друг от друга способом задания и выбором .

В зависимости от наивысшего порядка частных производных функции , используемых для формирования направления , численные методы решения задачи безусловной минимизации принято делить на три группы:

(1) методы первого порядка, использующие информацию о 1-х производных функции , это:

·      метод градиентного спуска;

·      метод наискорейшего (градиентного) спуска;

·      метод покоординатного спуска;

·      метод Гаусса-Зейделя;

·      метод сопряженных градиентов (метод Флетчера-Ривса, метод Полака-Рибьера) и др.

(2) методы второго порядка, использующие для своей реализации информацию о 1-х и 2-х производных функции , это:

·      метод Ньютона;

·      метод Ньютона-Рафсона;

·      метод Марквардта и др.

(3) методы нулевого порядка, использующие информацию только о значении функции , это:

·      метод конфигураций (Хука-Дживса);

·      метод деформируемого многогранника (Нелдера-Мида);

·      метод случайного поиска и др.