Градиентный спуск

Cтраница 1

Градиентный спуск обеспечивает сходимость поиска к глобальному минимуму функции S лишь в случае, когда в области допустимых значений имеется один экстремум функции. В задаче об отыскании описанной окружности минимальной площади это условие выполняется, так как по теореме Юнга [75] существует только одна окружность минимальной площади, описанная около точечного множества. [1]

Градиентный спуск всегда приводит к какой-либо экстремали ф ( 0 дающей локальный минимум функционала Ф, однако скорость сходимости низкая. Причины медленного поиска минимума заключены в конструкции функционала, хотя, разумеется, определение ф ( 0 можно ускорить путем применения других итерационных процедур, например, метода сопряженного градиента. [2]

Обычно градиентный спуск целесообразно применять лишь на начальных этапах минимизации, используя найденные в результате сравнительно небольшого числа итераций величины 6Я в качестве начального приближения для более сложных методов, обладающих большей скоростью сходимости. [3]

Метод градиентного спуска часто называют методом наискорейшего спуска. [4]

Поиск наименьшего значения функции методом градиентного спуска.| Поиск наименьшего значения функции методом наискорейшего спуска. [5]

Метод градиентного спуска требует вычисления градиен та целевой функции на каждом шаге. Если она задана аналитически, то это, как правило, не проблема: для частных производных, определяющих градиент, можно получить явные формулы. [6]

Методы градиентного спуска изменяют веса и смещения так, чтобы найти ( достичь) глобальный минимум ошибки сети. [7]

Метод градиентного спуска обладает тем же недостатком, что и метод покоординатного спуска: при наличии оврагов на поверхности сходимость метода очень медленная. [8]

Идея метода градиентного спуска состоит в следующем. Выбираем некоторую начальную точку и вычисляем в пей градиент рассматриваемой функции. Делаем шаг в направлении, обратном градиентному. В результате приходим в точку, значение функции в которой обычно меньше первоначального. В новой точке процедуру повторяем: вычисляем градиент и снова делаем шаг в обратном к нему направлении. Процесс продолжается до получения наименьшего значения целевой функции. Момент окончания поиска наступит тогда, когда движение из полученной точки с любым шагом приводит к возрастанию значения целевой функции. Строго говоря, если минимум функции достигается внутри рассматриваемой области, то в этой точке градиент равен нулю, что также может служить сигналом об окончании процесса оптимизации. [9]

Такая модификация градиентного спуска делает его значительно более экономным с точки зрения расхода машинного времени, поскольку не тратится время на вычисления малых производных. [10]

При использовании градиентного спуска в задачах оптимизации основной объем вычислений приходится обычно на вычисление градиента целевой функции в каждой точке траектории спуска. Поэтому целесообразно уменьшить количество таких точек без ущерба для самого решения. Это достигается в некоторых методах, являющихся модификациями градиентного спуска. Одним из них является метод наискорейшего спуска. Согласно этому методу, после определения в начальной точке направления, противоположного градиенту целевой функции, решают одномерную задачу оптимизации, минимизируя функцию вдоль этого направления. [11]

О называется шагом градиентного спуска. [12]

С помощью градиентного спуска минимум гладких функций находится значительно быстрее, чем при использовании координатного спуска. Однако наряду с вычислением функции f на каждой итерации градиентного метода приходится вычислять составляющие градиента этой функции. Кроме того, сходимость итерационного процесса (8.7) может быть медленной для функций, имеющих овражный рельеф. [13]

Однако, применяя метод обобщенного градиентного спуска и другие методы минимизации функций без применения их производных, можно успешно преодолеть указанную трудность. [14]

Модификация предыдущего алгоритма, когда градиентный спуск производится из случайной точки с наименьшим значением показателя качества. Для реализации этого алгоритма необходимо на первом этапе произвести случайный перебор ( § 20.4) заданного объема. [15]

Страницы: 1 2 3 4