Проблема многоэкстремальности.
Выше рассмотрены задачи оптимизации, в которых целевая функция имела только один экстремум (минимум). Однако на практике нередко встречаются задачи, у которых целевая функция может иметь больше одного экстремума. Представим себе, что, не зная о многоэкстремальности целевой функции, мы начали поиск её наименьшего значения с помощью метода градиентного спуска. Поиск приведёт нас в точку, которую мы примем за искомый ответ. Однако, если мы начнём поиск с другой точки, то придём к совершенно другой точке. Как бороться с многоэкстремальностью? Универсального ответа на этот вопрос нет. Самый простой приём состоит в том, что проводят поиск несколько раз, начиная его с разных точек. Если при этом получают разные ответы, то сравнивают в них значение целевой функции и выбирают наименьшее. Вычисления останавливают после того, как несколько новых поисков не меняют полученного ранее результата. Выбор начальных точек поиска и обоснованность прекращения вычислений в значительной степени зависят от опыта и интуиции специалиста, решающего задачу.