Алгоритм - обратное распространение - ошибка
Cтраница 3
Выход состоит в использовании контрольной кросс-проверки. Для этого резервируется часть обучающей выборки, которая используется не для обучения сети по алгоритму обратного распространения ошибки, а для независимого контроля результата в ходе алгоритма. [31]
Представляется, что нейронные сети лучше, чем другие методы, подходят для выявления нелинейных закономерностей в отсутствие априорных знаний об основной модели. Чтобы лучше представить себе возможности нейронных сетей, рассмотрим процесс обучения очень простой многослойной сети с алгоритмом обратного распространения ошибки ( MBPN) на искусственно смоделированном псевдохаотическом временном ряде. [32]
Вообще говоря, теоретически, системы с нечеткой логикой и искусственные нейронные сети эквивалентны друг другу, однако, в соответствии с изложенным выше, на практике у них имеются свои собственные достоинства и недостатки. Данное соображение легло в основу аппарата гибридных сетей, в которых выводы делаются на основе аппарата нечеткой логики, но соответствующие функции принадлежности подстраиваются с использованием алгоритмов обучения нейронных сетей, например, алгоритма обратного распространения ошибки. Такие системы не только используют априорную информацию, но могут приобретать новые знания и для пользователя являются логически прозрачными. [33]
Во-первых, они моделируют произвольную нелинейную функцию с помощью всего одного промежуточного слоя, тем самым избавляя нас от необходимости решать вопрос о числе слоев. Во-вторых, параметры линейной комбинации в выходном слое можно полностью оптимизировать с помощью хорошо известных методов линейной оптимизации, которые работают быстро и не испытывают трудностей с локальными минимумами, так мешающими при обучении с использованием алгоритма обратного распространения ошибки. [34]
Обучение продолжается до тех пор, пока ошибка не уменьшится до заданной величины. Эмпирические результаты свидетельствуют о том, что при малых значениях г система находит достаточно хороший минимум D. Один из основных недостатков алгоритма обратного распространения ошибки заключается в том, что во многих случаях для сходимости может потребоваться многократное ( сотни раз) предъявление всей обучающей выборки. [35]
Для обучения представленной структуры необходима предварительная подготовка обучающих данных: они должны быть разделены на подмножества, образующие репрезентативные классы. На базе этих классов будут формироваться правила. Непосредственное обучение осуществляется по алгоритму обратного распространения ошибки и проводится раздельно для сети, реализующей условия правил, и для сети, реализующей заключения. [36]
Во многих случаях при минимизации функционалов применение метода фадиентного спуска и его модификаций дает отличные результаты. Именно поэтому под разными названиями в различных областях исследований он неоднократно переоткрывался. То же самое относится и к алгоритму обратного распространения ошибки. Он тоже является одним из самых известных, простых и надежных методов обучения ней-росетей. [37]
 |
Задача распознавания рукописных букв в терминах нейронной сети. [38] |
На втором этапе производится обучение выбранной сети посредством настройки ее весов. Количество весов может быть велико, поэтому обучение представляет собой сложный и длительный процесс. Для многих архитектур разработаны специальные алгоритмы обучения, наиболее популярный из которых алгоритм обратного распространения ошибки. [39]
В главе 2 представлены основные структуры одно и многослойных нейронных сетей и алгоритмы их обучения. В первой части описывается перцептрон и системы типа Адалайн. Далее приводятся два алгоритма обучения многослойных нейронных сетей: классический и наиболее часто применяемый алгоритм обратного распространения ошибки, а также значительно более быстрый алгоритм, основанный на рекуррентном методе наименьших квадратов. [40]
Начальные значения весов, образующих сеть, выбираются случайным образом и, как правило, устанавливаются близкими к нулю. Шаг коррекции г чаще всего принимает большие значения ( близкие единице) на начальных этапах процесса обучения, но впоследствии его следует уменьшать по мере того как веса приближаются к некоторым заранее определенным значениям. В литературе, посвященной нейронным сетям ( например, в [3]), рекомендуются различные модификации алгоритма обратного распространения ошибки. [41]
Свыше 80 % всех приложений нейронных сетей относится к так называемым многослойным сетям без обратных связей. В них сигнал пересылается в направлении от входного слоя через скрытые слои ( если они имеются) к выходному слою. Сети именно такого типа будут рассматриваться в последующих главах книги в контексте генетических алгоритмов и нечетких систем. Поэтому в настоящей главе мы обсудим в первую очередь базовые элементы многослойных нейронных сетей - персептрон и системы типа Адалайн ( с линейным и нелинейным выходом), после чего определим два алгоритма обучения этих сетей: алгоритм обратного распространения ошибки и рекуррентный алгоритм метода наименьших квадратов. [42]
Кроме того, при обучении многослойной сети может возникнуть явление, называемое параличом сети. Оно проявляется в том, что, несмотря на длительное время обучения, ошибка может практически не убывать, оставаясь достаточно большой. Такая ситуация может возникнуть, если веса связей и значения активностей велики по модулю. При этом вход ряда нейронов оказывается на крыльях сигмоида, где производная мала. Поэтому сеть может слабо реагировать на коррекцию весов, Это одна из причин, по которой часто используют не сам алгоритм обратного распространения ошибки, а его модификации. [43]
При обучении сети мы действуем аналогично. Предъявляя изображение буквы А на вход сети, мы получаем от нее некоторый ответ, не обязательно верный. Нам известен и верный ( желаемый) ответ - в данном случае нам хотелось бы, чтобы на выходе с меткой А уровень сигнала был максимален. Вычисляя разность между желаемым ответом и реальным ответом сети, мы получаем 33 числа - вектор ошибки. Алгоритм обратного распространения ошибки - это набор формул, который позволяет по вектору ошибки вычислить требуемые поправки для весов сети. [44]
Двухслойный перцептрон может выполнять операцию логического И над полупространствами, образованными гиперплоскостями первого слоя весов. Это позволяет формировать любые выпуклые области в пространстве входных сигналов. С помощью трехслойного перцептрона, используя логическое ИЛИ для комбинирования выпуклых областей, можно получить области решений произвольной формы и сложности, в том числе невыпуклые и несвязные. Пейперт, однако они сомневались, что для таких процедур можно открыть мощный аналог процедуры обучения простого перцептрона. В настоящее время в результате возрождения интереса к многослойным сетям предложено несколько таких процедур. Одной из них является алгоритм обратного распространения ошибки, который будет рассмотрен ниже. [45]
Страницы: 1 2 3 4