Вычисление - градиент
Cтраница 3
Два рассмотренных метода относятся к градиентным, так как в основу их положено вычисление градиента целевой функции. Достоинством градиентных методов является высокая скорость отыскания оптимальной точки, но это достоинство приходится оплачивать дорогим и сложным оборудованием, которое вычисляет, запоминает и использует величину градиента. Обычно это делает управляющая вычислительная машина. [31]
При использовании градиентного спуска в задачах оптимизации основной объем вычислений приходится обычно на вычисление градиента целевой функции в каждой точке траектории спуска. Поэтому целесообразно уменьшить количество таких точек без ущерба для самого решения. Это достигается в некоторых методах, являющихся модификациями градиентного спуска. Одним из них является метод наискорейшего спуска. Согласно этому методу, после определения в начальной точке направления, противоположного градиенту целевой функции, решают одномерную задачу оптимизации, минимизируя функцию вдоль этого направления. [32]
Это определение градиента векторной величины ( v) является естественным обобщением обычной операции вычисления градиента скаляра, где роль скаляров играют компоненты вектора. [33]
Расчеты показывают, что метод относительно прост, позволяет избежать трудоемких операций по вычислению градиента ( обычно применяемых в методах наискорейшего спуска), удобен для реализации на цифровых машинах. Результаты корректировки модели удовлетворительно совпали с экспериментом. [34]
Среди детерминированных методов поиска необходимо отметить также ряд методов, не связанных с вычислениями градиента функции качества: метод Гаусса - Зей-деля [5.27], метод Пауэлла [5.28, 5.29], метод Розенбро-ка [5.30, 5.31] и др. В этих методах процесс минимизации осуществляется последовательно вдоль п ортогональных направлений, причем для каждой серии поиска может быть выбрана своя ортогональная система векторов. Такая стратегия поиска более инвариантна к положению функции относительно координатных осей и в ряде случаев позволяет более быстрым путем, не производя громоздких вычислений градиентов, находить экстремальные значения функции качества. [35]
 |
Поиск оптимума методом проектирования вектора-градиента. [36] |
По сравнению с рассмотренным выше методом прямого поиска с возвратом, для реализации которого требуется вычисление градиента только для целевой функции при выполнении одного шага спуска, метод проектирования вектора-градиента зачастую оказывается все же более быстрым, поскольку в данном случае движение к оптимуму происходит вблизи от гиперповерхности ограничений и необходимость возврата на нее возникает значительно реже. [37]
В случаях, когда указанные зависимости заданы посредством аналитических формул, которые можно явно продифференцировать, вычисление градиента часто лишь немногим более трудоемко, чем вычисление значения функции. Для определения же градиента, если мы умеем вычислять лишь значения функции в точке, требуется ( s 1) таких вычислений. [38]
Хотя стратегия тРагТап требует больше памяти, чем kParTan, при длительном функционировании необходимо только одно вычисление градиента на два шага обучения, тогда как в kParTan - стратепт требуется ( К) вычислений градиента на ( Л 1) шагов обучения. [39]
 |
Классификация поисковых методов. [40] |
К таким методам относятся градиентные, в которых для определения направления движения в области поиска используется вычисление градиента функции цели, симплексный метод и созданный на его основе метод деформируемого многогранника Нелдера и Мида [30], а также методы случайного поиска. В последних для формирования очередной изображающей точки4 используется информация о значениях Q в окрестности предыдущей точки в случайно выбранных направлениях. [41]
Здесь первые члены выражений справа и слева равны и взаимно уничтожаются, а член справа - ogradpv - со grad Nvp можно по правилам векторной алгебры вычисления градиента скаляров Wv и р преобразовать в - соЛГу grad p - cop grad Nv. Но такие же точно члены имеются и слева. [42]
Хотя стратегия тРагТап требует больше памяти, чем kParTan, при длительном функционировании необходимо только одно вычисление градиента на два шага обучения, тогда как в kParTan - стратепт требуется ( К) вычислений градиента на ( Л 1) шагов обучения. [43]
Многослойные персептроны были предложены и исследованы в 1960 - х годах Розенблаттом, Минским, Пейпертом и др. Лишь в середине 1980 - х годов был предложен эффективный алгоритм обучения многослойных персептронов, основанный на вычислении градиента функции ошибки и названный обратным распространением ошибки. [44]
Как уже говорилось, везде далее предполагается, что источник информации, доступный методам, сообщает как значения, так и градиенты ( опорные функционалы) компонент задачи, возможно, с ошибками. Вычисление градиентов иногда представляет значительно большие трудности, чем вычисление значений. Соответственно важным в прикладном отношении является вопрос о-построении численных методов оптимизации, использующих оракул ( так мы ( будем называть источник информации) нулевого порядка, вычисляющий лишь значения, но не градиенты функционалов задачи. Остановимся коротко на этой проблеме. [45]
Страницы: 1 2 3 4